Машинное обучение RU

2022-09-01 15:11:59 Лассо- и ридж-регрессии: интуитивное сравнение

Чтобы понять, зачем нужны эти методы, обсудим дилемму смещения-дисперсии.

Дилемма смещения-дисперсии. Источник
В контролируемой среде у модели может быть два основных источника ошибок.

Смещение — ошибка, связанная с неверными предположениями в алгоритме обучения. Высокое смещение приводит к тому, что алгоритм упускает значимые взаимосвязи между признаками и целью (также называется “недостаточно близкой подгонкой”).
Дисперсия — ошибка, связанная с чувствительностью к малейшим флуктуациям в обучающих данных. Высокая дисперсия заставляет алгоритм моделировать случайный шум обучающих данных (также называется “чрезмерно близкой подгонкой”).

Читать дальше

@machinelearning_ru Открыть/Комментировать

2022-08-31 14:09:06 Ансамбли методов в алгоритмах поиска выбросов

Большое число практических задач, например, поиск мошеннических операций, выявление брака или аномалий, обнаружение вирусных атак на основе нетипичной активности сводятся к задачам определения выбросов в данных. Для определения выбросов обычно используют стандартные методы, например, метод ближайших соседей (KNN) или метод локального уровня выбросов (LOF). Применение ансамблей позволяет улучшить точность работы стандартных методов. В посте рассмотрю, как это сделать.

Идея ансамблей методов проста. Буду делать подвыборки из обучающей выборки и обучать на них базовые алгоритмы. Получаю набор из независимых детекторов (этот набор называется ансамбль), которые выдают оценки для каждой точки данных. Комбинируя оценки выбросов от базовых алгоритмов, обученных на различных подвыборках, получаю более точное предсказание выбросов.

Читать дальше

@machinelearning_ru Открыть/Комментировать

2022-08-31 11:02:11 Готовитесь стать дата-сайентистом?
Начните обучение с области машинного обучения Natural Language Processing (NLP), которая занимается автоматической обработкой текстов.

Приглашаем на открытый урок «NLP сегодня: от истоков до трансформеров» 5 сентября в 18:00 мск в OTUS.

На вебинаре обсудим алгоритмы и подходы, которые сегодня применяются в NLP, начиная от самых простых и заканчивая трансформерными моделями, являющимися стандартом в области.

Спикер: Мария Тихонова, Senior Data Scientist Сбера.

Больше полезных знаний об NLP и других областях ML ждет вас на углубленном онлайн-курсе «Machine Learning. Professional» для людей со знанием высшей математики и знакомых с Python.

РЕГИСТРАЦИЯ
https://otus.pw/FLeS/ Открыть/Комментировать

2022-08-30 13:48:55 Полный список вопросов с собеседований по Python для дата-сайентистов и инженеров

Бывает, что компания ищет дата-сайентиста, а на самом деле ей нужен Python-разработчик. Поэтому при подготовке к собеседованию есть смысл освежить в памяти информацию по Python, а не только штудировать алгоритмы.

Читать дальше

@machinelearning_ru Открыть/Комментировать

2022-08-29 12:56:08 ИИ для рисования: раскрываем секреты нейронного переноса стиля

Раскладываем по полочками, как «думает» нейронная сеть VGG-19, когда ей прилетает задача скопировать стиль художника из вида Homo sapiens.

Читать дальше
Ноутбук на Kaggle
Код
Нейронный алгоритм переноса стиля

@machinelearning_ru Открыть/Комментировать

2022-08-29 12:55:46 machinelearning_interview - канал подготовит к собеседованию по машинному обучению, статисике ,алгоритмам и науке о данных.

golang_interview - Вопросы с настоящих Golang собеседований, помогут Вам получить успешно пройти интервью.

python_job_interview - здесь собраны все возможные вопросы и ответы с собеседований по Python.

data_analysis_ml - аналитика данных. Открыть/Комментировать

2022-08-28 11:48:49 Является ли новый искусственный интеллект Google таким же умным, как человек?

Смотреть
️ Статья

@machinelearning_ru Открыть/Комментировать

2022-08-27 13:08:00 Ускорение алгоритмов машинного обучения.

С ростом потребности в распараллеливании алгоритмов машинного обучения из-за экспоненциального увеличения размеров данных и даже размеров моделей было бы очень полезно, если бы у нас был инструмент, который мог бы помочь распараллелить нашиPandasобработка DataFrame, которая может парализовать нашNumpyвычисления, и даже распараллелить наши алгоритмы машинного обучения (возможно, алгоритмы изsklearnа такжеtensorflow) без особых хлопот.

Но такая библиотека существует, и ее имя Dask,Dask библиотека параллельных вычислений, которая не только помогает распараллелить существующие инструменты машинного обучения (Pandasа такжеNumpy) [то есть используя коллекцию высокого уровня], но также помогает распараллеливать задачи / функции низкого уровня и может обрабатывать сложные взаимодействия между этими функциями, создавая график задач. [то есть используя планировщики низкого уровня] Это похоже на многопроцессорные или многопроцессорные модули Python.

Читать дальше

@machinelearning_ru Открыть/Комментировать

2022-08-26 14:50:51 Автоматическое МО (AutoML) с использованием PyCaret: основные принципы

Почему AutoML?
Когда-то давно модели машинного обучения с автоматическим обучением были мечтой исследователей данных. Типичная работа специалиста по изучению данных проходит по следующему алгоритму:

- Определение
- Понимание
- Получение
- Анализ
- Подготовка
- Обучение
- Оценка
- Передача

Читать дальше

@machinelearning_ru Открыть/Комментировать

2022-08-26 12:46:35 16-18 сентября пройдет третий онлайн-хакатон от АО «Россельхозбанк» — AgroCode Hack 2022

Командам предстоить решить одну из трех технологичных задачи агроиндустрии:

Разработать алгоритм для автоматизированной сборки урожая.
Вычислить самые неэффективные протоколы лечения коров.
Создать сервис по поиску перспективных земель для выращивания винограда.

Команды-победители смогут разделить призовой фонд в 1 400 000 рублей!

До конца регистрации осталось меньше 2-х недель

Регистрация и все подробности по ссылке

А ещё у нас проходит DS-чемпионат для студентов, где вы сможете улучшить работу агромаркетплейса Открыть/Комментировать