Ivan Begtin

2022-06-02 06:59:42 Государство развивает проект поддержки тюремно-приходских инновационных предприятий
И проводит для этого серию национальных мероприятий

Министерство развития тюремных акселераторов
Ищет новых менторов и кураторов
Направляйте ваши рекомендации
Через сайт Министерства внутренней дискриминации
В разделе "Клевета, доносы и ренегаты"
Расскажите какие они кандидаты

Обеспечим им гарантированное трудоустройство
Полезное в нашем мироустройстве
За хорошую рекомендацию положена награда
И такая что каждому её надо!

Много баллов в государственном приложении лояльности
Будут полезны Вам до крайности
Можно ими закрыть месяц отсидки
Или получить какие-нибудь скидки Открыть/Комментировать

2022-06-02 06:59:42 В качестве небольшого оффтопика, для тех кто не знает, я в свободное время иногда пишу едкие стихи на разные около гос и цифровые темы, в канале @ministryofpoems. Читателей у него немного, о том что я его веду также знают немногие, но вот он есть и его можно читать.

P.S. Конечно же, все совпадения там случайны, и, конечно же, все образы выдуманы. Открыть/Комментировать

2022-06-01 09:56:20 Тут российское пр-во пишет в телеграм канале [1] про сервис ФАС России по подаче жалоб на СМС рекламу [2] где обещают блокировать рекламу за 72 часа после обращения.

Я прочитав это долго думал как написать про это без матерных слов, отсылки к разного рода сексуальным девиациям и возрастным болезнями вызванные последствиями ковида. И видите, не написал и сдержался!

Так вот, в мире есть большая отрасль мобильных приложений которые помогают блокировать спамеров. Они есть у Яндекса, Касперского, есть приложения вроде Труколлера и Намбастера и десятков других которые помогают блокировать спамеров автоматически или очень автоматизировано. И мгновенно! Ими пользуются, несмотря на огромную брешь в приватности, именно потому что спамеры всех порядком достали, а официальная борьба с ними - это для очень особых людей любящих российскую бюрократию. Их немного, таких людей.

Может ли государство использовать современные методы? Да, может. И даже не нарушая приватность пользователей самостоятельно, а договорившись или отрегулировав отрасль блокировки спам звонков об автоматической передаче сведений в ФАС России, пусть пользователь сам отмечает галочкой когда он на такое согласен и хочет сделать спамерам больно. И автоматизацией расследований на основе собираемых больших данных.

Сложно ли это? Нет, это не грёбанная магия. Это очень простая регуляторная модель концепцию которой можно написать за один день, а реализовать за месяц. Есть ли другие эффективные методы? Да, есть, только работать придётся.

Так, внимание вопрос, почему этого не происходит?

Может быть потому что хвалёная цифровая трансформация в наших госорганах давно провалена, а пр-во в этом боится открыто признаться и через такие публикации нам как-бы издалека на это намекает?

Ребята, намёк понят , полностью согласен, цифровая трансформация ФАС провалилась. Спасибо что в очередной раз об этом напомнили.

Ссылки:
[1] https://t.me/government_rus/3419
[2] https://fas.gov.ru/pages/zhaloby-sms

#russia #regulation #spammers #fas #admarket Открыть/Комментировать

2022-06-01 08:02:44 UPDATE: О том же в англоязычной заметке в блоге на Medium

К вопросу о рынке инструментов работы с данными, могу сказать что за вот уже долгое наблюдение за тем как они развиваются, всё ещё явным образом есть дефицит инструментов 3-х типов с пересекающимися категориями
- data wrangling
- data quality (observation)
- data enrichment

Data wrangling
Это одна из многими нелюбимых, но актуальных тем, по очистке и подготовке данных. Особенность в что делают это обычно, или с командной строки, или в СУБД, а из удобных интерактивных инструментов только и есть открытый и бесплатный OpenRefine [1] или очень дорогие инструменты вроде Trifacta [2].

У OpenRefine очень серьёзные ограничения по объёму данных, но он весьма популярен в дата-журналистике и дата-аналитике (не дата-инженерии).

Так вот таких инструментов дефицит, бесплатных и коммерческих за небольшие-средние понятные деньги. А самое главное с меньшими ограничениями чем у OpenRefine. По моим ощущениям что если такой инструмент построить на современной колоночной или быстрой in-memory базе данных, вроде Tarantool или Clickhouse или одного из похожих движков, то можно создать очень востребованный продукт. Только надо вложить немало усилий в пользовательский интерфейс.

О дефиците инструментов по качеству и обогащению данных я ещё напишу в следующих постах.

Ссылки:
[1] https://openrefine.org
[2] https://www.trifacta.com

#datatools #datawrangling Открыть/Комментировать

2022-06-01 07:09:17 В рубрике полезных инструментов по работе с данными сервис My MLOps Stack [1] позволяет собрать собственный стек технологий для Machine Learning выбрав инструменты под определенные задачи. К инструментам есть пояснения, их категоризация и целевое назначение. Также сильный акцент на open-source инструменты, без упоминания больших платформ. Но как один из инструментов моделирования технологического стека весьма полезный инструмент.

Ссылки:
[1] https://mymlops.com/

#datatools #moderndatastack #mlops Открыть/Комментировать

2022-05-31 15:59:10 ​​Скатывание вниз по эскалатору, идущему вверх.
Падение позиций России в глобальной экосистеме стартапов.
Динамика состояния экосистемы стартапов – один из лучших показателей технологического будущего страны.
И если хотите уже сегодня понять, каким может стать это будущее, не пропустите новый 400 страничный отчет о состоянии глобальной экосистемы стартапов в 2022 году.
Отчет содержит рейтинги (интегральные и покомпонентные) ста лучших стран-экосистем и тысячи лучших городов-хабов, обзоры по регионам и индустриям с анализом текущего состояния и динамики за последние годы.

Смотреть на показатели России жутко и больно. А ведь еще год назад все было, хоть и не великолепно, но вполне прилично.

Теперь же, в сравнении с 2021, стремительное падение всех индексов:
• - 12 позиций по интегральному индексу
• -20 позиций у Москвы по индексу городов-хабов
• - 38 позиций у Санкт-Петербурга
• у остальных городов-хабов просто кошмар: -127 позиций у Казани, -177 у Томска, -189 у Новосибирска и т.д.

У Украины, по понятным причинам, ситуация еще хуже (-16 по интегральному, -45 у Киева, -348 у Одессы).

А мир едет себе дальше.
Группа лучших цветет и пахнет (ТОР 20 стран и городов см. на приложенных диаграммах.
• Лидеры (США, Великобритания, Израиль, Сан-Франциско, Нью-Йорк) держат позиции, как вкопанные.
• Китай и Пекин болтает, но Шанхай уже круче Бангалора

Группа преследователей рвётся вперед (Ангола +18, Исландия +14, Норвегия и Индонезия +7, Австрия +5).

Отчет здесь: https://www.startupblink.com/
#Стартапы Открыть/Комментировать

2022-05-31 15:23:33 Свежий апдейт по проекту metacrafter.

Обновился реестр семантических типов данных metacrafter-registry [1], теперь там появился раздел инструментов [2] со списком, пока, из 9 инструментов и того какие семантические типы данных они поддерживают.

Список неполный потому что есть инструменты вроде Microsoft Presidio [3] которые по факту поддерживают ещё и многие типы данных которые пока в этот реестр не входят, но их систематизация хотя бы начата. Каждый инструмент описывается в виде yaml файла с описанием, например, yaml файл metacrafter'а.

Сейчас metacrafter с базовыми правилами распознает 48 семантических типов данных [4], а как веб сервис поддерживает 118 семантических типов [5].

На самом деле, конечно, если говорить про ширину охвата, то можно упростить распознавание сведя все численные типы к одному семантическому типу. Например, так сделано в Google Data Studio, а можно наоборот усложинить добавив множество градаций и подтипов. Как это сделано в Metabase где есть отдельные типы данных "Creation Date", "Updated Date" и тд.


Ссылки:
[1] https://registry.apicrafter.io/
[2] https://registry.apicrafter.io/tool
[3] https://registry.apicrafter.io/tool/presidio
[4] https://github.com/apicrafter/metacrafter-registry/blob/main/data/tools/detectors/metacrafter.yaml
[5] https://github.com/apicrafter/metacrafter-registry/tree/main/data/tools
[4] https://registry.apicrafter.io/tool/metacrafter
[5] https://registry.apicrafter.io/tool/metacrafterpro

#opensource #datatools #apicrafter #metadata #pii Открыть/Комментировать

2022-05-31 10:59:28 В качестве регулярного напоминания кто я, зачем и о чём пишу, особенно для недавно подписавшихся.

Я возглавляю АНО "Инфокультура" (@infoculture), создаю общественные проекты и продукты на открытых данных и для их популяризации такие как Национальный цифровой архив (@ruarxive), а также развиваю коммерческие продукты на данных такие как APICrafter и DataCrafter и возглавляю небольшую ИТ компанию для создания дата-продуктов подобных этим. До этого 2 года я вел проект Госрасходы (spending.gov.ru) в Счетной палате РФ, а сейчас его ведёт моя коллега Ольга, канал @ahminfin.

Я пишу заметки в блоге на английском на Medium, на них также можно подписаться. Также веду рассылку на Substack на русском языке и реже пишу в свой блог на личном сайте begtin.tech.

Кроме всего прочего я регулярно читаю лекции госслужащим, общественным организациям, в просветительском или образовательном формате. Сейчас реже поскольку всё более концентрируюсь на разработке ИТ продуктов, но как минимум 5-6 лекций в год, до пандемии было до 20.

Этот телеграм канал @begtin я создавал, в первую очередь, как записную книжку, для личных публичных заметок. Читаю что-то, думаю о чём и рассуждаю вслух здесь. Реже я здесь же публикую какую-либо аналитику связанную с одним из наших проектов или моими хобби.

Поэтому подписываясь будьте готовы что здесь будет много публикаций про данные, инструменты работы с ними, госполитику в этой области, цифровую архивацию и тому подобное

#channel #topics #overview Открыть/Комментировать

2022-05-31 08:43:18 О противодействии коррупции с помощью открытых данных. У Open Data Charter не так давно появился интерактивный инструмент подготовки программ противодействия коррупции [1] через публикацию данных.

К России он малоприменим в ближайшей исторической перспективе, поскольку содержит отсылки к проектам финансируемым "нежелательными организациями" и к Open Government Partnership.

Но стоит обратить внимание что противодействие коррупции в мире сейчас - это доступность машиночитаемых данных о контрактах, имуществе, декларациях, бюджетах, добывающих отраслях и ещё много что.

Ссылки:
[1] https://fightcorruption.opendatacharter.net/

#opendata #opengov Открыть/Комментировать

2022-05-31 08:12:04 В рубрике интересных продуктов для работы с данными:
- MissionKontrol [1] админская панель для управления данными в базах данных MySQL и Postgres․ Создаёт NoCode интерфейс поверх таблиц и распространяется с открытым кодом
- Query.me [2] построитель запросов к СУБД с элементами коллаборации и в стиле а-ля Notebook. Облачный и платный
- Atlas [3] утилита командной строки для описания схем баз данных и организации их миграции. Написана на Go, с открытым кодом, поддерживает основные open-source СУБД, не поддерживает NoSQL. Хорошо документирована
- Sandman2 [4] автоматический генератор API на основе SQL СУБД
- Dragonfly [5] более производительная замена Redis. С открытым кодом

Ссылки:
[1] https://www.missionkontrol.io
[2] https://query.me/
[3] https://atlasgo.io/
[4] https://github.com/jeffknupp/sandman2
[5] https://github.com/dragonflydb/dragonfly

#opensource #datatools Открыть/Комментировать