Ivan Begtin

2022-05-24 14:15:43 Сегодня такой день что без мелкого троллинга ну никак не получается обойтись. Вот тут [1] в справочнике "Субъекты Российской Федерации" опубликованным Минздравом России на портале НСИ Госуслуг можно увидеть как у полей "Субъекты РФ", "ОКАТО_2", "Конституционно-правовой статус" и других стоит пометка "Нецензурная лексика".

Я конечно всё понимаю, конституционно правовые статусы у многих могут вызывать яркие эмоции, но неужели вот прям настолько?

Даже не смею догадываться как так получилось.

Ссылки:
[1] https://esnsi.gosuslugi.ru/classifiers/5709/structure

#opendata #data #it #humour Открыть/Комментировать

2022-05-24 12:01:36 Журналисты вчера буквально завалили меня запросами на комментарии по куче ИТ тем, причём я на часть вопросов старался отвечать: "мнения не имею, спросите специалистов".

Но какие-то комментарии важно уточнять чтобы не было кривотолков:
1. По поводу того что СМИ пишут про увольнения украинских ИТ специалистов и людей с украинским гражданством. Я таких несколько случаев знаю, где-то с результатом увольнения, где-то повышенного внимания. Ничего хорошего в этом не вижу. Системы комплаенс проверки в том числе сейчас учитывают гражданство проверяемых. Повторюсь каких-либо данных у меня лично нет, знаю только конкретные случаи и в очень небольших компаниях в рынке инфобеза. Сейчас мои слова активно трактуют СМИ не так как я их произносил, поэтому уточняю и конкретизирую.

2. По поводу рейтингов цифровой трансформации. Я повторюсь что мне не нравится то чем сейчас занимаются руководители по цифровой трансформации (РЦТшники) и как написаны ВПЦТ (ведомственные программы цифровой трансформации). Смысл в них выхолощен, тема открытости полностью исчезла из их работы. Я категорически не согласен что сервисы (госуслуги) должны быть приоритетом их работы и новый рейтинг РЦТшников оцениваю
столь же скептически как предыдущий

3. По поводу смены критерии включения ИТ компаний в реестр аккредитованных. Я бы сказал так, и хорошо, и плохо. Хорошо будет тем кто сейчас под эти критерии попадёт. А плохо будет когда налоговики и следаки оголодают и будут доначислять "незаконно полученную выгоду" от применения пониженных налоговых ставок. Сейчас в реестре аккредитованных есть те кто вообще никак нигде и никаким образом не может быть ИТ компанией. Но они там есть. И их оттуда не исключают.

В общем не читайте советских газет по утрам. Никому не верьте, мне можно (с)

#it #politics #comments Открыть/Комментировать

2022-05-23 20:14:32 В Эстонии пишут о высоком уровне открытости данных в стране [1]. Они заняли 2-е место в оценках открытости Global Data Barometer [2]. На первом месте США, что, в целом справедливо, и в GDB довольно точно указано что в США высокий уровень прозрачности по всем направлениям, кроме реестра компаний. Это известная тема с тем что общенационального реестра компаний в США нет до сих пор.

А вот с тем что сейчас измерено в России по открытости, к сожалению, это возможно последние такие результаты. Всё быстро идёт к постепенному закрытию данных по каждому из направлений. Вернее к закрытию или не открытию там где должно быть.

Особенно вопиющая ситуация в том что касается качества жизни и COVID-19. За всё время пандемии российское правительство не опубликовало _ни одного набора данных_ по теме пандемии. Медиа материалов - сколько угодно, наборов данных - ни одного.


Ссылки:
[1] https://e-estonia.com/estonia-is-leading-the-world-in-the-use-of-data/
[2] https://globaldatabarometer.org/results/

#opendata #gdb Открыть/Комментировать

2022-05-23 16:40:45 Написал заметку про DELT (Discover, Extract, Load, Transform) на английском языке [1] на Medium.

Ссылки:
[1] https://medium.com/@ibegtin/delt-discover-extract-load-transform-are-we-ready-for-etl-for-digital-preservation-ced3a08727a

#datadiscovery #digitalpreservation #etl #data Открыть/Комментировать

2022-05-23 15:08:39 Я не так давно писал про ETL выделенную из Datacrafter'а для данных в NoSQL форматах JSONlines и BSON [1]. Это кусок кода отделенный в рамках "техдолга", то что надо было сделать давно и только недавно до этого дошли руки.

Но есть задача для которой точно нет подходящего простого ETL/ELT/data pipeline engine - это как раз цифровая архивация для создания тематических коллекций архивируемых сайтов, аккаунтов в соцсетях и тд.

Задачи по цифровой / веб архивации можно разделить на несколько видов, но в части сбора данных, основных всего два.

Массовый сбор и сфокусированные коллекции.

Массовый сбор - это когда роботы вроде краулеров Archive.org обходят условно неограниченное число цифровых ресурсов и делают слепки и актуализируют ранее собранные материалы.

Сфокусированные коллекции - это когда собирается не всё а по перечню: сайтов, разделов на сайтах, отдельных файлов, каналов в телеграм, аккаунтов в соцсетях и тд.

Для массового сбора есть своя экосистема инструментов, а вот для сфокуированных коллекций категорически нехватает ETL инструментария. Причём скорее ETL чем ELT потому что много двоичных данных которые можно поместить в озеро данных и сложно хранить в хранилище данных.

Логика та что что у классических ELT продуктов.
Извлечение данных с помощью разных инструментов и стратегий, преобразование для долгосрочного сохранения и загрузка в Internet Archive, какое-то постоянное хранилище и ещё куда-то, по необходимости.

Эта логика дополняется ещё одной стадией D - Discovery. Это когда движок получает на вход набор ссылок и на их основе автоматически определяет стратегию в зависимости от типа ресурса. В итоге получается DELT (Discover Extract Transform Load).

Недостаток такого движка в узкой применимости и в больше значимости этапа Extract, поскольку извлечение и сбор данных наиболее длительны и ресурсоёмки.

В принципе развитие дата инженерии давно уже достигло той стадии когда нужны специализированные решения. В основном они сейчас строятся на готовых продуктах, но иногда функций готовых продуктов недостаточно.

#digitalpreservation #etl #dataengineering Открыть/Комментировать

2022-05-21 10:30:08 Написал очередной текст на английском о семантических типах данных и интеграции их идентификации с Wikidata [1] и особенностях ведения реестра metacrafter'а. Через какое-то время переведу его на русский на пишу в рассылку [2]. Для технологических лонгридов буду теперь писать, чаще всего, именно в такой последовательности.

Ссылки:
[1] https://medium.com/@ibegtin/semantic-data-types-metadata-sources-wikidata-wikipedia-and-other-e6023e4d7431
[2] https://begtin.substack.com

#data #articles #opensource Открыть/Комментировать

2022-05-20 20:12:07 Полезное чтение про данные:
- дорожная карта развития dbt до 2023 года [1]. Главное, конечно, поддержка моделей на Python. Очень надеюсь что работать с NoSQL данными с помощью dbt станет куда проще.
- труба данных от Stripe [2], можно данные о платежах теперь получать напрямую в свой data warehouse. Довольно интересный подход и стратегия. Не подключать внешние ELT/ETL а самим складывать в базу клиента. Если такое будет развиваться, то весь ландшафт продуктов на данных поменяется.
- batch or stream [3] о том как работать с данными, выгрузками или потоками. Интересные размышления
- State of Workflow Orchestration 2022 [4] доклад о управлении потоками задач и данных. Много любопытного, я из него узнал про Temporal [5], движке для задач с JS внутри. Из минусов - читая доклад можно подумать что движков всего 5-6, а это совсем не так

Ссылки:
[1] https://github.com/dbt-labs/dbt-core/blob/main/docs/roadmap/2022-05-dbt-a-core-story.md
[2] https://stripe.com/en-gb-fr/data-pipeline
[3] https://medium.com/@bdjidi/batch-or-stream-8627b2cd9031
[4] https://www.prefect.io/lp/gradientflow/
[5] https://temporal.io

#datatools #datengineering #opensource #reading Открыть/Комментировать

2022-05-20 16:24:28 Подготовил перевод на русский статьи про поисковики по данным и отправил в рассылку на Substack [1]․ Кстати, если Вы не подписались ещё, то приглашаю подписываться [2]. Рассылку я веду на русском языке, пишу туда редко, но только относительно большие тексты.

Ссылки:
[1] https://begtin.substack.com/p/25?sd=fs
[2] https://begtin.substack.com

#datadiscovery #data #dataportals Открыть/Комментировать

2022-05-20 14:38:52 Изучаю сейчас международные методики оценки и мониторинга политик работы с данными и вижу достаточно чёткий фокус в определении приоритетов по 6 направлениям:
- G2G - госполитика работы с данными государства для государства
- B2G - госполитика предоставления данных бизнеса для государственных задач
- G2B - госполитика предоставления данных государства для бизнеса
- G2C - госполитика предоставления данных государства гражданам
- G2S - госполитика предоставления данных государства исследователям.
- B2S - госполитика предоставления данных бизнеса исследователям.

Причём много есть регулирования по каждому из этих направлений и роль государства как регулятора особенно заметна в ЕС, Великобритании и ещё во многих странах.

Удивительно, при этом, что некоторые африканские страны делают большой прогресс по управлению и госполитикой работы с данными.

Я регулярно читаю лекции и провожу семинары по управлению основанному на данных, теперь вот планирую обновить все материалы нестандартными примерами из опыта Африки. Африканские страны же дружественные к России?;)

Например, Вы знали что в Руанде есть, не много, не мало, а National Data Revolution Policy [1] включающее, в том числе, Data Archiving Framework. Может нам есть чему поучиться у регуляторов Руанды?

Ну а кроме шуток приятно видеть что в мире регулирование работы с данными и госполитика в этой области получает качественное развитие. И расстраивает что в России подобного ничего не наблюдается.

Ссылки:
[1] https://statistics.gov.rw/file/5410/download?token=r0nXaTAv

#opendata #policy #regulation Открыть/Комментировать

2022-05-20 11:00:07 Продолжается кампания по архивации порталов открытых данных и разделов сайтов органов власти и иных организаций создававших разделы с открытыми данными.

В общей сложности собраны данные 37 сайтов в объёме 43 GB данных в сжатом виде zip и warc.gz форматах (около 320 GB в распакованном виде). Основной объём составляют слепки данных порталов opendata.mkrf.ru (15GB) и data.gov.ru (14GB) соответственно.

Порталы архивируются, либо инструментами веб-архивации , либо скриптами разработанными под конкретный портал.

Полный перечень архивируемых сайтов доступен в таблице в Airtable [1], а код для архивации ряда порталов в репозитории rudatarchive [2] на Github.

Присоединяйтесь к кампании, помогайте с архивацией данных которые ещё не отмечены как собранные. В России более 240 порталов, разделов, сайтов содержащих открытые данные, а также есть ряд ресурсов посвящённых открытости гос-ва - открытости бюджетов. Эти ресурсы также в этом списке.

Выгруженные данные можно загрузить на какой-либо временный файловый хостинг и прислать нам ссылку или же, при небольшом объёме, загрузить их в репозиторий rudatarchive на Github.

Ссылки:
[1] https://airtable.com/shr1rzsajTM5SSyoI
[2] https://github.com/ruarxive/rudatarchive

#opendata #digitalpreservation #webarchives Открыть/Комментировать