Пристанище Дата Сайентиста

2021-11-09 16:00:56 #подборка

Всем привет ! За несколько последних дней на канале добавилось очень много новых подписчиков. Рад вас приветствовать на канале. Канал активно развивается, пробую разные форматы и тематики.

Для всех подписчиков и особенно для тех кто к нам присоединился недавно публикую подборку старых постов. Надеюсь это поможет с навигацией и удобным поиском информации на канале.

Пишете в комментариях о чём было бы интересно почитать.

Про курсы и обучение хэштег #course

Как освоить Data Science — личный опыт (пост в блоге)
Как бесплатно получить сертификат на coursera  
Прокачиваемся до computer vision researcher

Production хэштег #production

Machine learning в продакшн — Flask REST API (пост в блоге)
Streamlit - быстрый способ создать приложение для работы с данными
Chalice - фреймворк для написания бессерверных приложений на Python
BentoML

Полезное хэштег #полезно

Visual Studio Code для Data Science
Тестовые задания от разных компаний, на позицию, связанную с Data Scientist
Computer Vision Leaderboard
Пост в блоге про выбор логирования в Python

Много разных интересных python библиотек хэштег #library

albumentations - Библиотека быстрых аугментаций изображений
Dostoevsky - Библиотека анализ тональности текста для русского языка
Newspaper3k - библиотека для извлечения метаданных новостей, полных текстов и статей
scikit-uplift - это модуль Python для классических подходов к моделированию uplift, построенный на основе scikit-learn
SHAP (SHapley Additive exPlanations)
Great Expectations библиотека, которая помогает тестировать данные

Задачки на канале хэштег #task

RFM-анализ
Когортный анализ
Monthly Recurring Revenue

Подборки
Основы Python
Статистический анализ данных
Pandas и А/Б тесты
Сбор и хранение данных

Еще отдельно хочу рассказать про свой мини курс , где вы изучите основы анализа медицинских изображений с помощью Python. Вы будете изучать КТ и рентген снимки, сегментировать области изображения и проводить анализ метаданных. Стоимость 500р. Открыть/Комментировать

2021-11-05 10:01:02 ​​Всем привет! Если вы не знали, то у меня еще есть канал с вакансиями удаленной работы для специалистов по работе с данными: Data Analysts, Data Scientists, Data Engineers etc: @data_remote

Все вакансии с вилками и подробным описанием вакансии и компании. Сейчас он ведётся более активно.

Так что wellcome Открыть/Комментировать

2021-11-02 16:00:24 Сбор и хранение данных

SQL
- «SQL Problems and solutionsS», I. Moiseenko Интерактивный учебник по SQL
- ByteScout SQL Trainer Быстрый и приятный тренажер, усложняющийся по мере вашего продвижения.
- Simple SQL Queries Упражнения для Постгреса
- SQL Tutorial for Beginners: Database, JOIN, WHERE, GROUP BY, HAVING, ORDER BY, LIKE, IN, BETWEEN
- Тренажер по SQL
- Как посчитать всё на свете одним SQL-запросом. Оконные функции PostgreSQL https://habr.com/ru/post/268983/
- Простенький тренажер с теорией https://sqlzoo.net/wiki/SQL_Tutorial
- Мануал по установке PostgreSQL в MacOS https://www.robinwieruch.de/postgres-sql-macos-setup
- Пример обращения к MySQL с помощью Python, используя библиотеку sqlalchemy https://pythondata.com/quick-tip-sqlalchemy-for-mysql-and-pandas/
- Пример обращения к PostgreSQL с помощью Python: https://khashtamov.com/ru/postgresql-python-psycopg2/
- window function - https://learnsql.com/course/window-functions
- window function - https://campus.datacamp.com/courses/intermediate-t-sql/window-functions?ex=4
- Хорошая статья об оконных функций SQL - https://khashtamov.com/ru/window-functions-sql/

Парсинг
- Русский перевод документации к BeautifulSoup Beautiful Soup — это библиотека Python для извлечения данных из файлов HTML и XML. Она работает с вашим любимым парсером, чтобы дать вам естественные способы навигации, поиска и изменения дерева разбора. Она обычно экономит программистам часы и дни работы.
- Статья с примером парсинга данных с веб-сайтов с применением BeautifulSoup Освещены все основные этапы: формирование запроса и получение странички с помощью requests, поиск нужного элемента в HTML через инспектор, выделение данных из элемента через методы BeautifulSoup.

API
Работа с первичной аналитикой: выгружаем сырые данные из Метрики с помощью скрипта Открыть/Комментировать

2021-10-26 16:00:55 Как рассказать историю с помощью данных

Книги
- «Говори на языке диаграмм», Джин Желязны Пособие для руководителей, консультантов, аналитиков — всех тех, кто хочет научиться четко и лаконично выражать свои мысли и доносить идеи с помощью диаграмм. Посмотреть содержание книги
- Книга «Библиотека Matplotlib» В книге «Библиотека Matplotlib» авторы постарались в форме уроков дать максимально полную информацию, которая поможет вам решить большую часть задач при построении графиков. Скачать книгу бесплатно

Визуализация
- Книга «Графики, которые убеждают всех», Александр Богачев Пособие для менеджеров, аналитиков, предпринимателей, маркетологов и всех, кто делает презентации и графики. Книгу создал очень крутой дизайнер Александр Богачев. Читать книгу
- Блог Tilda Publishing «Инструкция для недизайнеров: как правильно создать презентацию» Вы узнаете, как выбрать инструмент для презентации, с чего начать, как избежать частых ошибок и создать красивую презентацию, даже если делаете это впервые. Посмотреть инструкцию
- Python Graph Gallery (EN) This website displays hundreds of charts, always providing the reproducible python code! Перейти в галерею
- Хорошая статья по визуализации данных, что, как и почему. Коротко и ясно с примерами кода. 5 простых способов визуализации данных на Python. С кодом https://medium.com/nuances-of-programming/5-простых-способов-визуализации-данных-на-python-с-кодом-

Tableau
- BI разработчик. Основы работы в Tableau Базовый бесплатный курс по основам работы в программе Tableau Public. Задача курса - дать набор знаний, необходимый для самостоятельной разработки дашбордов. Перейти на Stepik
- Онлайн-подборка из уроков по Tableau и Qlik Эти уроки проходили в виде марафонов, но сейчас тоже доступны для самостоятельного прохождения. Плюсом идут ссылки на дополнительные материалы:
- Дата йога 8 ступеней
- QLIK SENSE МАРАФОН: ВИЗУАЛИЗАЦИЯ ДАННЫХ
- Библиотека материалов
- Вдохновиться визуализацией мастеров
- Visual Vocabulary (Интерактивный словарь графиков)
- Between Tableau and Power BI
- Бесплатные видео от самого Tableau

Библиотека Matplotlib
- Дока с примерами по matplotlib
- Перевод лаконичного руководства по Matplotlib
- 50 оттенков matplotlib

Следующая подборка будет про cбор и хранение данных Открыть/Комментировать

2021-10-19 16:01:17 Анализ бизнес-показателей и принятие решений в бизнесе на основе данных

Анализ бизнес-показателей

- Узнайте историю метрик Едадила — сервиса с каталогом скидок в супермаркетах, купонами и кэшбэками.


- Лолита Печеркина и Ярослав Семашко из команды Яндекс.Браузера вспомнили, как они сегментировали пользователей для более эффективных рекламных кампаний своего мобильного приложения.


- На примере задач, с которыми сталкиваются современные аналитики, Алексей Долотов показал, что далеко не всё под силу компьютеру.


- Как связать все метрики в единую систему CAC/CPC, LTV, Retention и даже счастье пользователей. Analytics Day, Елена Серегина — «Еще одна "Пирамида метрик"/ как навести порядок в числах и бэклоге»


- 19 метрик, о которых вы могли и не знать https://habr.com/ru/company/devtodev/blog/293776/
- Видео-лекции, которые помогут влиться в продуктовую аналитику:
-


-


-



Принятие решений в бизнесе на основе данных

- Статья «Множественные эксперименты: теория и практика» В статье рассмотрены основные методы расчёта результатов тестов и математические принципы, на которых основаны методы. Отдельный плюс — наличие примеров кода на Python, так что можно смело юзать в своих проектах. Читать статью
- Статья «Как не надо анализировать A/B тесты. Проблема подглядывания» При дизайне, запуске и анализе A/B тестов можно допустить много ошибок, но одна из них особенно коварна. Эта ошибка – побочный эффект проверки результатов A/B теста c готовностью действовать на их основе до его окончания. Ее называют «Peeking problem» или «Проблема подглядывания». Читать статью
- Видеодоклад «Дешёвые и дорогие тесты гипотез», Светлана Аюпова из Skyeng Вы узнаете, как на старте понять, какие гипотезы точно не нужно проверять, как построить цикл проверки гипотез, как шагать от дешёвой проверки с низкой достоверностью к дорогим и очень точным сплит-тестам и многое другое. Смотреть видео
- Презентация «20 simple ways to fuck up your AB testing» Наглядная, но шуточная презентация о том, как можно испортить A/B тестирование. Посмотреть презентацию
- Как это (в общем) делает Нетфликс https://telegraf.design/kak-netflix-provodit-a-b-test
- Как это (технически) делает Нетфликс http://techblog.netflix.com/2016/04/its-all-about-testing-netflix.html
- Если вы не знаете, что тестить: https://www.quicksprout.com/ab-testing-ideas/
- Отличный блог о том, как надо и не надо проводить тесты, а также сотни идей, что и как тестировать https://www.convertize.com/blog/


Следующая подборка будет про визуализацию и как рассказать историю с помощью данных Открыть/Комментировать

2021-10-15 12:01:29 ​​13 ноября выступлю на конференции «Kolesa Conf`21».

Конференция в Онлайн-конференция, можно будет смотреть из дома.

Я расскажу о проблеме антиспуфинга, видах атак на системы распознавания лиц и основные подходы в решении этой задачи.

Разберём то как её решаем мы в Beeline Казахстан и обсудим фишки, используемые в тренировке нейронных сетей.

Кто еще будет и как зарегистрироваться: https://kolesa-conf.kz/ Открыть/Комментировать

2021-10-13 16:01:37 ​​Всем привет!

Некоторое время назад я запустил на платформе свой курс Анализ медицинских изображений в Python 

На курсе вы изучите анализ медицинских изображений с помощью Python. Вы будете изучать КТ и рентген снимки, сегментировать области изображения и проводить анализ метаданных. Даже если вы никогда раньше не работали с медицинскими изображениями, то по завершению курса вы будете обладать всеми необходимы навыками.

Пререквизиты
Предполагается, что вы уже умеете программировать на Python. Курс не рассчитан на начинающих в Python. Необходимые библиотеки: matplotlib, numpy, pandas. Знание opencv и skimage будет плюсом.
Также желательно иметь опыт работы с командной строкой Linux.

Что вас ждёт в этом курсе?
- Вы познакомитесь с исследованием медицинских изображений. Разберётесь с форматами DICOM и NIfTI-1 Data Format. Научитесь анализировать метатеги, конвертировать и анонимизировать данные.
- Узнаете, что такое Windowing и единицы Хаунсфилда и как их применять.
- Разберетесь с задачей сегментацией изображений. - - - Посмотрите на сторонние библиотеки для сегментации медицинских изображений.
- Познакомитесь с fastai.medical.imaging.

Курс сопровождён несколькими тестовыми заданиями и чатом в телеграме для обсуждений.

Чего точно не будет в этом курсе?
В этом курсе не будет Deep Learning. Мы будем сфокусированы именно на формате медицинских изображений.

Ссылка на курс
Ссылка на книжечку на английском языке

Используйте промокод: BLOG и получите скидку $2 на книжку Открыть/Комментировать

2021-10-12 09:00:36 Я всё больше начал для себя обращать внимание на развитие ML продуктов. Часто так бывает, что есть data science/ machine learning команда, которая учит модельки. Потом эти модельки программистами доводятся до продакшна. И хорошо кода в компании созданы все условия для создания и развития продукта с ML составляющей, гораздо хуже когда такого нет. Пройдет несколько месяцев, а проект так и не запущен, руководство теряет интерес, и проект умирает. Просто потому, что компания не готова к продукту, а уже наняла дорогостоящих сотрудников.

Как этого не допустить? 

Я когда то давно работая в банке, написал заметку, в которой старался раскрыть мысли по поводу необходимых шагов для старта проекта в области Machine Learning. Вот собственно ссылочка на неё.

Возможно, кому-то это будет полезно.

Так же хочу порекомендовать вам авторский канал Александра Кузовлева @aheadofthepack по продуктовой разработке. Там можно взглянуть на следующие ее грани:
Продуктовый маркетинг
Инструменты стратегии и тактики
Непосредственно про разработку продукта
Ссылки на полезные книги и курсы
Интересные рабочие кейсы Открыть/Комментировать

2021-10-10 12:00:25 Уже в понедельник стартует ICCV2021, там будет 1615 постеров на основной конфе и ещё сколько-то на воркшопах.

Андрей Шадриков R&D Team Lead в компании Verigram сделал гуглотабличку для трека интересных статей.
В основном выбор был сделано по названию, потому что искать и читать 1.5к абстрактов совсем долго.

Все эти статьи в большой степени с упором на OCR, Face recognition и liveness problem

Ссылка на табличку
Весь список принятых статей можно найти здесь Открыть/Комментировать

2021-10-08 10:01:15 ​​Программа конференции для дата-инженеров SmartData 2021 готова! Начинаем уже 11 октября, онлайн

Вас будут ждать 4 дня, 33 доклада и 2 воркшопа, которые помогут пополнить арсенал инструментов, узнать о лучших практиках и сориентироваться в трендовых технологиях.

Темы конференции:
Tooling: все об инструментах, которые используют в дата-инжиниринге;
Spark: штука настолько востребованная, что о ней будет сразу три доклада;
Processes: как организовать работу и процессы в команде;
Storage: базы данных, SQL-движки и многое другое;
Architecture: доклады об архитектуре и опыте работы с ней разных команд;
Industry usecases: реальный опыт, боль, успехи и провалы коллег.

Кроме докладов и воркшопов, вас будут ждать дискуссионные зоны, возможность вернуться к записям докладов, розыгрыши и много других приятных плюшек.

Организаторы сделали нам промокод datascience2021JRGpc — он поможет приобрести Personal Standard билет со скидкой.

Заходите на сайт конференции за подробностями и билетами. Открыть/Комментировать