Пристанище Дата Сайентиста

2022-08-31 17:01:30 ​​Я на своем канале часто рассматривал вопросы собеседований.

И тут наткнулся на канал от одного из автора популярного канала Machine learning, где публикуются вопросы с настоящих собеседований, которые могут помочь Вам успешно устроиться на работу.

@machinelearning_interview - здесь мы публикуем все возможные вопросы и ответы с собеседований по Машинному обучению, нейронным сетям и Глубокому обучению. 

Посмотреть Открыть/Комментировать

2022-08-29 13:00:54 Heroku с 28 ноября 2022 г. закрывает бесплатные Dynos

Пришла тут печальная новость, что Heroku больше не будет поддерживать бесплатные сервисы.

Я очень любил Heroku за возможность реализовать на нём MVP (minimum viable product) какой то идеи/ продукта.
Об этом я писал тут.

Поэтому скорее всего буду переходить на Streamlit или попробовать, что-то новое. Например fly.io

В любом случае будет пост, о том как я переносил проекты с Heroku. Открыть/Комментировать

2022-08-27 10:28:06 ​​#library #code

autoflake удаляет неиспользуемые импорты и неиспользуемые переменные из Python кода

В продакшен коде. крайне не желательно иметь неиспользуемые импорты и неиспользуемые переменные. 

Неиспользуемые и дублированные импорты загружают память, что приводит к не эффективному коду. 

Установка:
pip install autoflake

Будем использовать это внутри pre-commit хука:
  - id: autoflake
    name: autoflake
    language: python
    entry: autoflake
    args: [--in-place, --remove-all-unused-imports, --ignore-init-module-imports, --remove-unused-variables]
    files: \.py$
 
Обратите внимание на на опции:
 --remove-all-unused-imports - удаляет неиспользуемые импорты 
 --ignore-init-module-imports - исключить __init__.py при удалении неиспользуемого импорта
 --remove-unused-variables - удаляет неиспользуемые переменные
             

Документация

PS
На скрине пример pre-commit хука с дополнительной проверкой на flake8, подробности тут Открыть/Комментировать

2022-08-25 15:01:24 ​​ Дождались! Avito Analytics meetup #7

Крутейшие спикеры из Авито и Тинькофф поделятся своими кейсами

Андрей Васильченко — дата-аналитик из команды логистики Авито Доставки
Как правильный подход к метрикам позволяет посмотреть на продукт с другой стороны.
Как мы оптимизировали сроки: простые эвристики vs ML.
Как сроки доставки влияют на поведение пользователей.

Владислав Магеррам-Заде — руководитель отдела аналитики Тинькофф
Можно ли выбрать метрику, которая устроит аналитиков разных департаментов.
Как «примирить» риски бизнеса и маркетинга одной метрикой.
Как построить «примиряющую» метрику, если NPV не актуален для вашего проекта.

Алёна Салий — аналитик в команде Авито Авто
Как мы детектировали проблему злоупотребления правилами Авито Аукциона.
Как анализировали поведение дилеров и какое решение выбрали.
К каким результатам привело изменение.

Встречаемся 6 сентября в 18:30 в московском офисе Авито на Лесной, 7 (нужно зарегистрироваться) или онлайн — на нашем ютуб-канале. Открыть/Комментировать

2022-08-22 15:01:36 ​​#library #code

Interrogate проверка кода на docstring покрытие

Мы на работе продолжаем улучшать нашу кодовую базу. И теперь я расскажу про библиотеку Interrogate. Она проверяет нашу кодовую базу на наличие отсутствующих строк документации.

Документация должна быть так же важна, как и сам код. И он должен жить внутри кода. В Python есть стандартизированный формат документации - docstring.


Установка:
pip install interrogate

Будем использовать это внутри pre-commit хука:
  - id: interrogate
    name: interrogate
    entry: interrogate
    language: python
    args: [-vv, -i, --fail-under=80]
    files: \.py$

Таким образом мы будем считать не покрытым код с меньше чем 80% строками документации.

Пример отработки на скрине.

Документация Открыть/Комментировать

2022-08-19 10:04:52 ​​ФПМИ МФТИ приглашает пройти обучение на программах для профессионалов

Пройди тест проверки уровня подготовки и узнай, сможешь ли ты учиться в техническом № 1 в России. Открыть/Комментировать

2022-08-15 14:53:29 ​​#library #code

MonkeyType автоматическая аннотации типов

Почти год назад я писал пост о том как с помощью простых библиотек сделать ваш Python код лучше

И там я советовал использовать mypy для поиска ошибок в типах в аргументах функции и возвращаемых переменных. Но главная проблемы была в том, что подправлять ошибки нужно было ручками.

Теперь можно воспользоваться библиотекой от Instagram MonkeyType.

MonkeyType собирает типы аргументов функций и возвращаемых значений во время выполнения код и может автоматически генерировать файлы-заглушки или даже добавлять черновые аннотации типов сразу в ваш Python код на основе типов, собранных во время выполнения.

Установка:
pip install MonkeyType

Использование:
monkeytype run myscript.py

По умолчанию типы будут записаны в базу данных SQLite в файле monkeytype.sqlite3 в текущем рабочем каталоге. Затем вы можете использовать команду monkeytype для создания файла-заглушки для модуля или применить аннотации к вашему коду.

monkeytype stub some.module
monkeytype apply some.module

Ссылка на Git Открыть/Комментировать

2022-08-06 10:02:11 ​​NVIDIA приглашает на осеннюю технологическую конференцию GTC, которая пройдет онлайн 19-22 сентября 2022. Участие в конференции бесплатно.

Запланировано несколько сотен докладов, 80% из которых для технической аудитории.

Традиционно, в качестве докладчиков GTC собирает архитекторов решений и продакт-менеджеров NVIDIA и наших партнеров, рассказывающих о новинках ПО и оборудования для AI, и наших заказчиков, от которых можно узнать о новейших амбициозных проектах в сферах Conversational AI/NLP, Computer Vision, метавселенных, AI в медицине, HPC, кибербезопасности и пр. Руководителям будет интересно узнать текущие мировые тренды в области ИИ и получить новые идеи его применения в бизнесе из докладов топ-менеджмента глобальных компаний.

Зарегистрироваться и посмотреть полный каталог сессий можно по ссылке ниже:
https://bit.ly/3SAUEee

Развивающимся специалистам по AI GTC откроет доступ к обучающим воркшопам от NVIDIA Deep Learning Institute по глубокому обучению, метавселенным, ускоренным (в т.ч. квантовым) вычислениям. Участникам GTC бесплатно доступно 25 hands-on тренинга с инструктором. Вне GTC стоимость 1-го воркшопа достигает 149 $. Внимание — количество мест ограничено. Зарегистрируйтесь и составьте расписание заранее. Открыть/Комментировать

2022-08-01 10:01:16 ​​11 августа состоится Alfa Data Science MeetUp в стиле кибер-футуризма

Если вы в Москве регистрируйтесь на сайте и приезжайте в офис Альфа-Банка по адресу: проспект Андропова 18, корп. 6 или подключайтесь к онлайн трансляции! 

Темы и спикеры:
Развитие клиентской базы: моделирование LTV и прогноз будущих доходов
- Сергей Королёв, Middle Data Scientist Альфа-Банк
Uplift-моделирование в ценообразовании кредитных продуктов
- Максим Коматовский, Junior Data Scientist Альфа-Банк
Совершенный код расчёт
- Максим Cтаценко, Team Lead/Senior DWH Developer в Яндекс
Применение подхода reject/inference в нейросетевом кредитном скоринге
- Алексей Фирстов, Senior Data Scientist Альфа-Банк

Мероприятие пройдет в необычном формате. У вас будет время вспомнить «Бегущего по лезвию» или «Cyberpunk 2077», вдохновиться, поучаствовать в конкурсе и получить призы за креативность
Регистрируйтесь на сайте, приходите в гости, будет интересно! Открыть/Комментировать

2022-07-26 14:00:56 ​​ Для всех, кто интересуется Data Science — приглашаем на курс Математики для Data Science!

Курс вам подойдет, если вы:

• Начинающий Data Scientist;
• Вы прошли общие курсы по DS и вам не хватает математики;
• Вы занимаетесь DS, но хотите углубленное понимание математики для работы;
• Вы хотите поступить в Школу Анализа Данных Яндекса (курса будет достаточно для успешного поступления);
• Вы просто хотите подтянуть знания вышмата и использовать их в IT.

Программа разработана совместно с преподавателями ВМК МГУ — одного из лучших математических факультетов страны!

Курс включает 47 лекций и 150 практических заданий с проверкой.

Помимо математических заданий, в конце будет модуль машинного обучения, где на Python показаны примеры использования математики в задачах машинного обучения.

Посмотреть программу и получить пробные занятия можно тут: https://proglib.io/w/2bd648bd

На курс действует гарантия! Открыть/Комментировать