Клуб CDO

2022-05-18 09:40:05 Методика машинного обучения Human-in-the-Loop

Всем известно, что для разработки ИИ требуется не только большая вычислительная мощность, но и участие большого количества людей, тк алгоритмам ML требуется большое количество размеченных данных для обучения. Есть даже утверждение, что внедрение ИИ в бизнес не только не уменьшает количества рабочих мест, но наоборот, создает дополнительные рабочие места. Индустрия разметки данных активно растет и развивается. Более того, разметка данных - это не конечный акт, которые надо проделать перед обучением моделей, а постоянная практика, которая выполняется на протяжении всего жизненного цикла модели.

В данной статье хорошо описываются подводные камни и лучшие практики непрерывной разметки данных.

https://habr.com/ru/post/596353/ Открыть/Комментировать

2022-05-17 18:55:08 Смотрю тут потихоньку лекции MIT курса по Blockchain. Ребята из Cryptus очень неплохо перевели их на русский язык. Так что если хотите разобраться в bitcoin и всем, что его окружает, не только в плане технологий, то и регулирования, места в экономике и в целом ознакомиться со всем спектром мнений относительно blockchain - посмотрите на досуге.

https://www.youtube.com/playlist?list=PLDTlYmDW7oIgx1WrpkEAkrQVF-hvdConK Открыть/Комментировать

2022-05-17 09:20:07 Framework for Data Preparation Techniques in Machine Learning

Очень хороший материал по теме подготовки данных для использования в моделях машинного обучения.

Написан, я так понимаю, в поддержку книги "Data Preparation for Machine Learning
Data Cleaning, Feature Selection, and Data Transforms in Python" (ссылка ниже, можете ее купить, если нужно).

Тем не менее данный материал довольно объемный, состоит из 3-х частей:

- Challenge of Data Preparation
- Framework for Data Preparation
- Data Preparation Techniques

и полноценно раскрывает область подготовки данных.

Статья: https://machinelearningmastery.com/framework-for-data-preparation-for-machine-learning/?fbclid=IwAR05IKVroMpONCdQOWRu-QNWMA4uzLE8ZPMRwJeZeJtq7Ao2eP6wN6CgEr4

Книга: https://machinelearningmastery.com/data-preparation-for-machine-learning/ Открыть/Комментировать

2022-05-17 08:44:20 Презентация с конференции HighLoad++ про видеозвонки VK Открыть/Комментировать

2022-05-16 11:05:08 Lake House Architecture @ Halodoc: Data Platform 2.0

Довольно подробный обзор архитектуры платформы сбора и обработки данных компании Halodoc.
Платформа построена на сервисах AWS, тем не менее архитектурно слои и компоненты, которые описываются в статье, принципиально общие для подобного класса решений и могут быть имплементированы и на решениях других вендоров.

https://blogs.halodoc.io/lake-house-architecture-halodoc-data-platform-2-0/ Открыть/Комментировать

2022-05-16 08:36:12 https://t.me/data_events/1967 Открыть/Комментировать

2022-05-15 10:04:30 Federated learning attack surface: taxonomy, cyber defences, challenges, and future directions

Делюсь честно нагугленной статьей на тему безопасности методов Federated Learning. Найти было не просто, многое источники просили денег, денег дать им в текущих условиях сложно, поэтому пришлось поискать.

Отдельно потом опубликую перевод и основные тезисы. Открыть/Комментировать

2022-05-14 12:19:01 Дайджест статей 14/05/22

Using Data Annotations for Quality Control Purposes
https://www.smartdatacollective.com/using-data-annotations-for-quality-control-purposes/
Is Data Mesh Fool’s Gold? Creating a Business-centric Data Strategy
https://www.datasciencecentral.com/is-data-mesh-fools-gold-creating-a-business-centric-data-strategy/

Как мы в СИБУРе делаем дашборды для людей. Часть 1: закупки и производство
https://habr.com/ru/post/665144/?utm_source=habrahabr&utm_medium=rss&utm_campaign=665144 Открыть/Комментировать

2022-05-13 11:00:11 Google, Meta, and others will have to explain their algorithms under new EU legislation

В апреле в UE принят закон (Digital Services Act), согласно которому крупные технологические игроки будут нести еще большую ответственность перед регулятором. В частности:

- запрещена таргетированная реклама на основе религии, сексуальной ориентации или этнической принадлежности человека. Несовершеннолетние также не могут быть объектом таргетированной рекламы.
- «Dark patterns» — сбивающие с толку или вводящие в заблуждение пользовательские интерфейсы, предназначенные для того, чтобы подтолкнуть пользователей к определенному выбору, — будут запрещены. В ЕС говорят, что, как правило, отменить подписку должно быть так же просто, как подписаться на нее.
- Крупные онлайн-платформы, такие как Facebook, должны будут сделать работу своих алгоритмов рекомендаций (используемых для сортировки контента в новостной ленте или предложения телешоу на Netflix) прозрачными для пользователей. Пользователям также должна быть предложена рекомендательная система, «не основанная на профилировании». В случае с Instagram, например, это будет означать хронологическую ленту (как это было введено недавно).
- Хостинг-сервисы и онлайн-платформы должны будут четко объяснить, почему они удалили незаконный контент, а также предоставить пользователям возможность обжаловать такие удаления. Однако сам DSA не определяет, какой контент является незаконным, и оставляет это на усмотрение отдельных стран.
- Крупнейшие онлайн-платформы должны будут предоставлять ключевые данные исследователям, чтобы «дать больше информации о том, как развиваются онлайн-риски».
- Крупные платформы также должны будут внедрить новые стратегии борьбы с дезинформацией во время кризисов.

https://www.theverge.com/2022/4/23/23036976/eu-digital-services-act-finalized-algorithms-targeted-advertising Открыть/Комментировать

2022-05-12 12:50:06 А всем, кто интересуется рекомендательными системами, рекомендую новый канал моего друга - Саши Петрова: https://t.me/ods_recommender_systems

Саша сейчас защищает PhD в Университете Глазго и занимается консалтингом в области RecSys. Открыть/Комментировать