Пристанище Дата Сайентиста

2021-07-21 16:00:12 #подборка

Всем привет ! За несколько последних дней на канале добавилось очень много новых подписчиков. Рад вас приветствовать на канале. Канал активно развивается, пробую разные форматы и тематики.

Для всех подписчиков и особенно для тех кто к нам присоединился недавно, я решил сформировать тематические подборки старых постов. Постараюсь подборки обновлять, так что получится крутая навигация по каналу.

Пишете в комментариях о чём было бы интересно почитать.

Про курсы и обучение хэштег #course

Обзор онлайн-курсов DS/ML личный опыт - часть 1
Deep Learning курсы личный опыт
Какие еще курсы пройти пока вкатываешься в DS/ML?
Как бесплатно получить сертификат на coursera
Прокачиваемся до computer vision researcher

Production хэштег #production

Machine learning в продакшн — Flask REST API (пост в блоге)
Streamlit - быстрый способ создать приложение для работы с данными
Chalice - фреймворк для написания бессерверных приложений на Python
BentoML

Полезное хэштег #полезно

Visual Studio Code для Data Science
Тестовые задания от разных компаний, на позицию, связанную с Data Scientist
Computer Vision Leaderboard
Модель для сегментации легких на рентгене от меня и моих коллег
Пост в блоге про выбор логирования в Python

Много разных интересных python библиотек хэштег #library

albumentations - Библиотека быстрых аугментаций изображений
Dostoevsky - Библиотека анализ тональности текста для русского языка
Newspaper3k - библиотека для извлечения метаданных новостей, полных текстов и статей
scikit-uplift - это модуль Python для классических подходов к моделированию uplift, построенный на основе scikit-learn
SHAP (SHapley Additive exPlanations)
Great Expectations библиотека, которая помогает тестировать данные

Задачки на канале хэштег #task

RFM-анализ
Когортный анализ
Monthly Recurring Revenue

Еще отдельно хочу рассказать про свой бесплатный мини курс , где вы изучите основы анализа медицинских изображений с помощью Python. Вы будете изучать КТ и рентген снимки, сегментировать области изображения и проводить анализ метаданных. Даже если вы никогда раньше не работали с медицинскими изображениями, то по завершению курса вы будете обладать всеми необходимы навыками.
Пока курс бесплатный, но скоро станет платным. Все кто успеют записать буду проходить его бесплатно. Открыть/Комментировать

2021-07-19 16:01:04 Посмотрел тут на досуге видео: Собеседование Data Science: Артур Кузин/Sber Devices vs Сергей Колесников/Tinkoff 

Артур Кузин из Sber Devices и Сергей Колесников из Tinkoff собеседуют друг друга. Тематика по большей части Computer Vision (вселенная Артура), так что Сергею пришлось выступать "в гостях". Впрочем, в конце он-таки отыгрался на Артуре чатботами.

Местами было очень забавно, а из полезного вы будете знать ответы на многие шаблонные вопросы на собесах. Открыть/Комментировать

2021-07-16 12:13:03 Я уже делал подборку youtube каналов и подкастов, но вот до списка авторских телеграмм-каналов для аналитиков и ДС не успел добраться.

Спасибо ребятам из IT Resume что составили крутую подборку из 20 каналов: про анализ данных, программирование, data engineering, data science и многое другое.

Очень рад, что в посте есть и мой канал, и каналы моих друзей и коллег  
Теперь вам точно будет, что почитать на предстоящих выходных. Подробнее в статье на Хабре. Открыть/Комментировать

2021-07-13 16:01:02 Сегодня хочу поделиться подобркой интересных подкастов на тему технологий, IT и науки. Думаю пригодиться для тех кто долго добирается до работы или кому просто нравится слушать подкасты

- Rocket Американский подкаст, ведущие которого работают в транснациональных ИТ-компаниях. Девушки еженедельно обсуждают последние технологические новости и новинки — от нового релиза продукции Apple до последних случаев кражи персональных данных.

- TedTalks Технологии Выступления спикеров TedTalks всегда подталкивают на новые и неординарные мысли. Технологический блок не обновляется с 2019 года, но это не значит, что его подкасты не подойдут для утренней мотивации и правильного настроя на рабочий лад.

- Радио-Т Позиционирует себя как еженедельный hi-tech-подкаст уже на протяжении 14 лет. В его выпусках обсуждают релизы новых языков программирования, особенности шифрования информации, обновление дистрибутивов и прочие прогерские фишки вместе с последними новостями ИТ-компаний.

- DevZen Ещё один технологический подкаст в руках четырёх программистов. Они обсуждают последние новости в индустрии, «пытают» спикеров и свободно отвечают на вопросы своих слушателей.

- Make Sense Организаторы конференций ProductSense запустили свой подкаст, в котором рассказывают о прелестях и сложностях создания продуктов, а их гости делятся своими лайфхаками из индустрии.

- Как делают игры Подкаст с восьмилетней историей покажет оборотную сторону разработки игр. Он будет интересен не только разработчикам, но и обывателям, которые любят не только рубиться в World of Tanks или The Witcher.

- Zavtracast Лучший подкаст про технологии по версии Russian Podcast Awards. Здесь ещё больше новостей из мира виртуальных игрушек. Ведущие обсуждают не только Nintendo и Quantic Dream, но и Квентина Тарантино, «Мандалорца» и другие веяния поп-культуры.

- Запуск завтра В своём авторском подкасте бывший CTO Meduza, Bookmate и Pure Самат Галимов спорит с хакерами о безопасности, узнаёт, как разработчики создают необычные сервисы, которые выстреливают, и не только.

- BeardyCast Ведущие подкаста за полтора часа успевают обсудить и технологии, и фильмы, и обновления гаджетов, и актуальную медийную повестку.

- Трёп Себранта В своём подкасте директор по маркетингу сервисов «Яндекса» Андрей Себрант разговаривает с интересными спикерами — от предпринимателей до культурологов — на тему технологий и их влияния на нашу жизнь. А иногда просто делится своими наблюдениями.

- Lex Fridman Есть клёвые выпуски с людьми занимающимися ai, например с разработчиками alpha go.

- Голый землекоп — это такое удивительное животное, которое не болеет раком и почти не стареет. Поэтому Илья Колмановский выбрал его своим тотемным зверем. В подкасте рассказывают о научных открытиях, разговаривают с людьми, которые их делают, и отвечать на вопросы. Как врачи изобретают новые технологии для борьбы с Covid-19? Насколько тише стали наши города? Почему воздух — главный ресурс человечества?


Расскажите в комментариях какие подкасты вы слушаете Открыть/Комментировать

2021-07-09 10:26:44 А вы знали, что если в url гитхаба добавить 1s то можно открыть проект в VScode и пользоваться его фичами.

Очень удобно когда не хочешь скачивать проект, но нужно понять как он работает.

Например:
https://github1s.com/timesler/facenet-pytorch Открыть/Комментировать

2021-07-08 16:00:34 Всем привет, хочу поделиться подборочкой крутых YouTube каналов по аналитике и Data Science. Будем чем заняться вечерами и выходными


- куча видео с хорошим объяснением и классной подачей материалов
- Канал ТехноШаман Видео-опыты и эксперименты в таких областях, как генетические алгоритмы, нейросети, электроника, микроконтроллеры, робототехника, механика, физика, 3д-принтеры и других смежных тем
- Канал Code Bullet Just an idiot with a computer science degree trying his best.
- Канал SuperDataScience - Tableau and Data Visualisation
- Отличный плейлист видео лекций по линейной алгебре для МЛ на английском, есть русские субтитры
- Канал CSBreakdown. Обучающий канал, который, как пишут его создатели, поможет вникнуть в динамическое программирование, криптографию, логику работы жадных (greedy algorithms) и других алгоритмов.
- Канал ProgBlog. В своём авторском блоге технический рекрутёр в Кремниевой долине Виктория Бородина общается с программистами, инвесторами и предпринимателями и рассказывает о том, как устроен американский IT-мир.
 - Канал Computerphile. Рассказывают обо всем, что связано с программированием, машинным обучением и компьютерными технологиями. Есть отдельный небольшой курс лекций по анализу данных. Ролики небольшие, не заскучаете Единственный минус - если не очень хорошо с английским, то будет тяжеловато, много терминов . Правда есть субтитры, тоже английские.

Расскажите в комментариях о каналах на YouTube, которые вы смотрите Открыть/Комментировать

2021-07-07 16:00:12 ​​Конференция о дата-инжиниринге SmartData 2021 ищет спикеров

Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!

В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия).

Темы, которые ждут больше всего:
– Стриминг;
– СУБД и хранилища для больших данных;
– Архитектура DWH;
– Data governance;
– Технологии построения ETL;
– Оркестрация и MLOps.

Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.

Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выбрать правильный вектор доклада. Плюс, ребята помогут с прокачкой ваших ораторских навыков, если у вас мало опыта в публичных выступлениях. 

Подать заявку и узнать подробности можно на сайте.
Вопросы присылайте на почту program@smartdata.ru Открыть/Комментировать

2021-07-01 16:02:54 Напоминаю, что сегодня 1 июля 2021 c 17:00 до 21:00 (московское время) пройдет онлайн-событие «Митап: «MLOps или безопасный воспроизводимый ML для бизнеса»».

Все кто зарегистрированы уже должны были получить ссылки Открыть/Комментировать

2021-06-29 16:00:27 #library
PyYAML - это синтаксический анализатор YAML для Python

В своих пайплайнах для тренировки нейронных сетей я часто использую YAML файлы для конфиг файлов. YAML - это формат сериализации данных, разработанный для удобства чтения человеком и взаимодействия с языками сценариев. PyYAML - это синтаксический анализатор YAML для Python.

Посмотрим на примере конфиг файла (config.yaml):
split_train_test:
folder: experiments
train_csv: data/train.csv
test_csv: data/test.csv
test_size: 0.2

train:
cv: 5
estimator_name: svm
estimators:

logreg:
param_grid:
C: [0.001, 0.01]
max_iter: [100]

svm:
param_grid:
C: [0.1, 1.0]

Конфиг весьма простой. Он содержит информацию о разбиении данных на тренировочную и тестовую выборку и информацию об используемой модели и кроссвалидации.

Установим библиотеку и попробуем считать файл и разобрать наш конфиг на кусочки.
pip install pyyaml

import yaml

config = yaml.load(open('config.yaml'), Loader=yaml.FullLoader) # считаем файл
experiments_folder = config['split_train_test']['test_size'] # к элементам конфига можно обратиться и так

for config_name, config_params in config.items(): # возьмем каждую секцию конифг файла

filepath = f'{config_name}_config.yml'
with open(filepath, 'w') as config_file:
yaml.dump(
data=config_params,
stream=config_file,
default_flow_style=False
) # сохраним файлы
print(f'Save config: {filepath}')
На выходе получим файлы: split_train_test.yaml и train.yaml Открыть/Комментировать

2021-06-24 16:00:39 1 июля в Москве будет бесплатный митап по MLOps

MLOps - это процесс внедрения экспериментальной модели машинного обучения в производственную систему. Сравнительно новое направление.

Судя по всему на митапе будет и про то как строить MLOps в компании, и про продакшен, и про мониторинг качества моделей. 

https://cianproduct.timepad.ru/event/1674178/?utm_source=fb&utm_medium=refteam&utm_id=1 Открыть/Комментировать