Data Science News

2021-06-29 07:39:01 Распределение Пуассона, это третье, что приходит в голову, когда мы задумываемся о дискретных законах. Имея всего один параметр, этим распределением крайне удобно моделируются процессы в науках о земле, медицине, генетике и физике. Если вероятность возникновения какого-либо события низкая и вам нужно моделировать число событий в фиксированных интервалах времени (например, количество землетрясений в год), то «пуассон» практически идеальный вариант.

Задачи тестирования гипотез всегда будут актуальными. Допустим, вы бы хотели построить точный (не асимптотический) тест и оценить две «лямбды» из распределения Пуссона. Например, землетрясения происходили 40 лет, а потом на этой территории начали добывать нефть и вы интуитивно чувствуете, что сейсмический рейт изменился в бОльшую сторону. На первый взгляд может показаться, что ничего сложного, биномиальный тест же есть, здесь то же должно быть как то так же. Но, на самом деле, открытия в этой области были сделаны только в 21 веке. Вот статья (а вот препринт с текстом и формулами), методы из которой реализованы в statsmodels и в R poisson.test Открыть/Комментировать

2021-06-26 14:57:24 Инженерная заметка:

Ludwig – фреймворк для организации процесса машинного обучения. По заявлениям создателей даже код дополнительный писать не придётся. Создан на базе tf.


Flower – фреймворк для распределённых вычислений (federated Learning). Поддерживает tf и pytorch. Писать код здесь всё-таки потребуется, но простота оформления расчётов впечатляет. Подробный обзор на medium Открыть/Комментировать

2021-06-23 07:21:08 FB адаптировал свою модель GrokNet для поиска товаров по фото. Сервис выглядит просто и полезно. Вы даёте фото, а модель предоставляет вам ссылки и цены на товары. Интересно, какая сумка у вашей подруги или кроссовки у спортсмена, выигравшего забег? В общем, этот сервис определённо будет удовлетворять потребности людей. Открыть/Комментировать

2021-06-21 10:28:01 Друзья! Этот ТГК создан для нас с вами – инженеров и специалистов в области статистики и анализа данных. Цель канала в том, чтобы держать нас в курсе важных событий в огромном потоке новостей в мире data science. Приглашаю вас к соавторству. Если вы считаете какие-то события важными и полезными для сообщества, то присылайте их сюда: @telejamm. Авторство гарантировано. Открыть/Комментировать

2021-06-20 10:02:44 Дайджест новостенй из мира данных, статистики и ML

1. FB выложил набор данных FLORES-101. Это языковой датасэт из 100 различных языков плюс Английских. Поддерживается 10100 направлений. То есть, например, можно учить с Азербайджанского на Чешский. Авторы подчёркивают, что в основе лежит не только новостной контент, но и другие области знаний
2. Accentor – ещё один датасет от FB. Здесь вы найдете чаты пользователей с разметкой от человека
3. Если вы устали от Atari, то вот новый подход к соревнованиям в RL от FB
4. Классный текст с картинками на тему проблемы «сглаживания» в Graph NN
5. Спектральный анализ композиций из Spotify с примерами кода
6. Заметка на тему вечного холивара: байесовской и классической статистики
7. Гайд по построению pipeline на ванильном scikit-learn
8. Отчет о состоянии проблем математической оптимизации (по большей части маркетинговый)
9. Проекты и наборы данных для начинающих дата аналитиков
10. Набор данных человеческих нейронных связей H01 от google
11. Модель FRILL позволяет обрабатывать голос на мобильных устройствах
12. Точные физические симуляции с помощью RL
13. Анонс курса ML для инженеров
14. Руководство по квантовым вычислениям на TF
15. MIT сделал квантовые вычисления более пригодными для жизни
16. Распознавание объектов с TF-lite
17. Мощное руководство по предсказанию цен акций с глубоким обучением
18. Анализ статьи google brain на тему функций активации
19. Анализ статьи «Внимание как активация»
20. Руководство по верификации лиц на keras
21. Релиз Rqlite 6.0 - интересной технологии распределённой СУБД на базе sqlite
22. Outrun – простой запуск распределённых задач на других linux машинах Открыть/Комментировать

2021-06-03 11:29:57 Гауссовский процес – гибкий инструмент для моделирования данных. Эта техника применяется повсеместно, от финансового сектора до наук о Земле. Книга Gaussian Processes for Machine Learning (Rasmussen & Williams) охватывает основы байесовской статистики для многомерного нормального распределения, способы задать матрицу ковариаций ядерным методом, оптимизацию гиперпарамтеров, примеры приложений и более глубокие теоретические моменты. Книга имеет свой сайт и публичную версию PDF. Открыть/Комментировать

2021-05-28 07:06:29 Обзор новостей:

1. ConnectorX новая удобная библиотека для работы разными источниками данных (sql, redshift, modin, dask, pyarrow). Например, взять данные из PostgresQL и сложить их в DataFrame можно парой сточек кода. Плюс ко всему, эта библиотека очень эффективна в плане производительности. Примеры использования можно посмотреть здесь

2. Google и UC Berkeley проанализировали одинаково ли, с точки зрения ML, люди улыбаются и вообще испытывают эмоции. Исследователи оценили выражения лиц людей по всему миру и опубликовали результаты в Nature. Обзор статьи можно посмотреть в блоге.

3. Попытка запустить голосовое управление на мобильном телефоне для людей с ограниченными возможностями. Например, при пробежках, телефон с помощью камеры будет отслеживать разметку на дороге и предупреждать о том, что нужно повернуть направо.

4. Оптимизация загрузки веб-страниц (web-page prefetching) на основе ML. Авторы предлагают целый конвейер технологий: от google аналитики до tensorflow.js и Angular. Визуально сильно быстрее загружается.

5. Временные ряды, LSTM и предсказание цен акций в заметке от paperspase

Хороших выходных! Открыть/Комментировать

2021-05-23 14:43:38 На сайте Стэнфорда опубликован мощный отчет о развитии AI: Artificial Intelligence Index Report 2021. Проанализированы исследование и образование, тенденции в HR, развитие технологий по категориям, бизнес-аспекты крупных корпораций и стартапы, затронуты этические вопросы и политика ведущих AI стран в развитии направления. Это качественный материал, который будет полезен всем: от студентов в обзор дипломных работ до инвесторов и начинающих бизнесменов. Отчёт хорошо структурирован, много информативных графиков. Основные выводы можно посмотреть на странице 9. Открыть/Комментировать

2021-05-20 11:41:09 FB AI анонсировал новую либу – PyTorchVideo. Библиотека ориентирована на создание приложений для процессинга видео: классификация и распознавание объектов, самообучение (self-supervised learning), работа с оптическим потоком. Код прост в использовании и, что очень важно, оптимизирован для мобильных устройств. Есть отдельный ресурс с документацией. Открыть/Комментировать

2021-05-12 15:17:09 YOLO классная технология, которая позволяет делать сервисы для людей. Например, есть у кого-то система видеонаблюдения и нужно там объекты распознавать – достаточно недорого оборудования, обучения на специализированном датасэте и готово! Можно в гостинице людей считать и машиноместа на парковках оптимизировать. Вот вам пошаговое руководство как это всё готовить. Открыть/Комментировать