О городах и данных

2021-02-11 09:31:36 Сегодня еще один проект нашего студента - Артема Панкина
Он подготовил карты, где мы изучали плотность жилья и насколько плотность влияет на пасспоток. Основная гипотеза заключалась в поиске мест, где число пассажиров на остановке значительно превосходит число жителей вокруг. А значит требуется дополнительный анализ и усиление работы транспорта. Часто такие полигоны лежат рядом с метро или другими точками притяжения, но чаще есть другой источник спроса, про который перевозчик и комитеты по транспорту не знают.

Отношение числа пассажиров к числу жителей:
https://studio.unfolded.ai/public/daae3cad-087a-425e-a752-ad4950ed0782

Плотность населения:
https://studio.unfolded.ai/public/6f13c7b1-4a20-4adf-aea5-12fa4b241a9f

Питер в целом очень интересный для геоанализа: большое число открытых данных и масштаб города с одной стороны, огромные проблемы и потенциал развития наземного транспорта с другой. Даже невооруженным взглядом видны огромные районы высокой плотности, вообще не покрытые автобусами. Странно. Открыть/Комментировать

2021-02-10 17:57:37 Для тех, кто хотел бы освоить ГИС — в рамках Дистанционной программы Высшей школы урбанистики им. А.А.Высоковского пройдёт онлайн-курс «Геоинформационные методы анализа городских данных». Егор Котов приглашает на онлайн-презентацию курса 11 февраля в онлайне:
https://urban.hse.ru/announcements/440588837.html Открыть/Комментировать

2021-02-09 16:43:39 Для тех, кто интересуется data science и анализом данных рекомендую подписаться следующие каналы, авторы - мои коллеги из Сбербанка, люди, знающие про большие данные не понаслышке) :

@start_ds Роман (@RAVasiliev) делится полезными материалами для подготовки к собеседованиям в ДС

@dataviznews Никита (@nikitarokotyan) рассказывает о визуализации данных

@botka_chronics Алексей (@shpacman) о математике в ДС

@moir_x Мария ( @izomeraz4 ) дата инжениринг , математика , ДС

@data_events Николай (@NikolayKrupiy) держит в курсе ДС (и других data-тематических) событий в Москве и онлайне

@sv9t_channel Святослав ( @IggiSv9t) : лучший канал в тг по ДС, графам , визуализациям

Места общего сбора : @sberloga и @sberlogajobs Открыть/Комментировать

2021-02-07 21:41:45 word clouds для 2 и3 кластеров Открыть/Комментировать

2021-02-07 21:41:16 word clouds для 0 и 1 кластеров Открыть/Комментировать

2021-02-07 21:40:40 Карта кластеров на основе открытых данных о расположении магазинов Открыть/Комментировать

2021-02-07 21:39:17 На днях увидела интересную работу(https://ieeexplore.ieee.org/document/8406847), где довольно простым способом авторы автоматически выделяли функциональные зоны в городе. Имея под рукой данные по инфраструктуре Москвы с data,mos.ru захотела повторить подобный эксперимент.

Алгоритм следующий:
1. Выгружаются списки POIs для каждой локации, все слова нормализуются и удаляются "стоп-слова". На первый раз взяла только данные магазинов .
2. Вычисляется матрица tf-idf (https://ru.wikipedia.org/wiki/TF-IDF). Пример на python здесь
3. С помощью алгоритма кластеризации ( для пробы взяла k-means) локации делятся на кластеры
4. Для каждого кластера составляются облака слов, показывающие самые частые словосочетания
5. Кластеры отображают на карте разными цветами

.Заранее скажу, что это пробная попытка, цель которой - увидеть насколько хорошо можно выделять зоны в Москве ( в пределах МКАД), не погружаясь в детальный анализ и обработку "грязных" данных.

Хотя, безусловно, это может быть первым шагом в задачах не соответствия инфраструктуры потребностям жителей, например, в обнаружении, так называемых, "food deserts" - мест без продуктовых магазинов в шаговой доступности. Также для бизнеса - это быстрый способ оценить уровень конкуренции в определенном районе.

Результаты анализа:
- Карта с кластерами сформированными на основе наименований магазинов. Единица оценки - гексагон системы H3 радиусом 174 метра.
- Облака слов, позволяющие понять специфику каждого кластера из магазинов- показывают 100 самых частых слов в списке POIs.

Выводы:
1. Территория делится на 4 кластера - это оптимальное число, определенное "методом локтя"
2. Порядка 8% территории ( кластер №1) не покрыты никакими магазинами. Большая часть это парковые зоны, однако есть и жилые районы.
3. Центр города и, похоже, торговые центры- ( кластер №0) зона высокого разнообразия магазинов. Нет одного ярко выделенного сегмента
4. 50% территории приходится на жилые районы. Из них на 32% ( кластер №2) преобладают продуктовые магазины, и на остальных 20% ( кластер №3) магазины одежды. Причем кластер 2 распределен равномерно, то участки, относящиеся к кластеру №3 представляют собой островки.

Потенциальное улучшение : добавление данных о других POIs, использование других типов кластеризации, например, иерархической, разделение центральных зон и жилых за счет добавления координат и флага центральности района в модель кластеризации.

Я пока не стала добавлять новые данные по инфраструктуре, но мне стало интересно наложить получившиеся кластеры на кластеры, построенные на интересах людей в городе, рассчитанных компанией Locomizer. Что получилось - следующий пост + с меня ссылка на Github с кодом проекта Открыть/Комментировать

2021-01-31 22:54:55 И снова карательная функция Умного города Москвы в действии. Интересно, почему у московского правительства лучше всего получается та деятельность, которой даже в Стратегии нет? Это очень грустно, что власти забывают, что главная цель технологий Умного города - облегчать жизнь горожан, а не усложнять ее. Кажется, что лучше тогда совсем без технологий..

Какие выводы можно сделать из последних новостей кроме того, что мой друг и просто хороший человек, Камиль, получил 10 суток ни за что и что под горячую руку полиции может попасть каждый.

1. В очередной раз можно убедиться, что алгоритм идентификации личности с видеоизображений у правительства Москвы настроен хорошо, даже отлично. В огромной толпе с высокой вероятностью идентифицировать человека среднего роста и не особо выделяющейся внешности ни так-то просто.

2. Очевидно, для заданного массива ФИО ( в данном случае это лица идентифицированные на видео с камер) существует возможность автоматической сцепки не только с базой данных паспортов, как минимум прописанных в Москве, но и с информацией из поисковика и соц.сетей. Иначе сложно поверить, что полиция вручную забивает в поисковик 20 тыс человек.

3.Далее, по всей видимости, в столичной полиции используют алгоритмы анализа текста, которые определяют окраску сообщений и выделяют ключевые слова ( иначе как понять к кому из 20000 человек "идти в гости"). И они явно нуждаются в доработке, потому что только машина в текстах Камиля ( он автор канала Высокая порта - @sublimeporte) может увидеть угрозу, выделив такие ключевые слова как "война", "бунт", "низвержение правительства" и т.д. - человек же сразу поймет, что речь идет об исторических событиях 16-17 веков, так как Камиль -историк, а не политик).

4. В который раз можно говорить о нарушении закона о персональных данных, потому что цели, для которых камеры ставились не совпадают с целями, для которых их фактически используют. Автоматическое сопоставление с базой преступников + их идентификация и распознавание каждого жителя Москвы - очень разные вещи... Открыть/Комментировать

2021-01-13 20:51:41 В догонку про геоданные и их доступность, Максим Дубинин из NextGIS поделился статистикой их проекта [1] облачного, не государственного, сервиса российского происхождения и международной аудиторией:
- 2.1 млн скачиваний клиента для QGIS, 0.7 за последний год
- 1800+ сервисов
- 1000 авторов сервисов из 50 стран.

Максим был одним из основателей ГИС Лаборатории [2], одного их первых сообществ по открытым геоданным в России. А NextGIS - это пример коммерческого проекта на открытых данных и с открытым кодом для общественной пользы.


Ссылки:
[1] https://www.facebook.com/maxim.dubinin/posts/10111830597349957
[2] https://gis-lab.info/

#opendata #tech #opensource Открыть/Комментировать

2021-01-11 12:48:03 Департамент информационных технологий Москвы потратит 185 миллионов рублей на создание подробной и персонализированной базы данных о каждом жителе города.

Среди данных будут, в частности, номера паспортов, СНИЛС, ИНН, полиса ОМС, карты «Тройка», сведения о фактическом месте жительства, родственниках, транспорте и месте работы

https://mdza.io/sTpZgV9qS3k Открыть/Комментировать