DataWorkshop - AI & ML

2022-02-09 11:25:54 Готовы к новым испытаниям ?

В рамках DWClub мы запускаем 2-дневный бесплатный интенсив по прогнозированию оптимальных продаж с помощью машинного обучения.

Старт - 10 февраля
Продолжительность - 2 дня

В этот раз будем находить скрытые закономерности во временных рядах и делать оптимальные прогнозы в будущем в условиях неопределенности .

Будем использовать реальные данные магазина.

Для участников клуба материал остается на все время подписки.

Запись по ссылке ЗДЕСЬ Открыть/Комментировать

2022-02-03 17:20:19 7 февраля стартует 2-й выпуск нашего курса "Практическое введение в Python для Data Science" на русском языке.

Что получите от курса за 3 недели:

Изучите переменные и их типы, функции, циклы, словари, списки
Навыки по работе с одними из самых популярных и практически применимых библиотек для Python: NumPy, NumPy, Matplotlib и др.
Навыки по работе с векторами
Изучите группировку, сортировку, агрегирование, фильтрацию для работы с данными
Научитесь преобразовывать данные, управлять отсутствующими значениями, создавать сводные таблицы и кросс-таблицы
Навык по работе с реальными данными и др.

Кому подойдет курс:
Новичкам, которые хотят изучить самый популярный язык программирования, чтобы начать осваивать новую профессию в IT
Тем, кто хочет научиться применять Python для Data Science и Machine Learning

Приобретая данный курс, получаете скидку 25% на наш курс по Data Science. Открыть/Комментировать

2022-02-01 09:59:00 Открыть/Комментировать

2022-02-01 09:48:04 2 февраля мы запускаем онлайн-интенсив по Data Science.
Продолжительность - 5 дней .

Реальные данные магазина из Великобритании
100% практика
Автор интенсива - практик с опытом 14 лет в коммерческом программировании
Получите навыки по работе с языком Python
Создадите и обучите свои модели машинного обучения
Получите доступ к готовой среде (устанавливать ничего не нужно)
Получите опыт по работе с самыми популярными библиотеками для Python - Pandas, NumPy, Matplotlib
Получите опыт в feature engineering
Получите доступ к закрытой группе в Slack
Увидите как работает на практике золотой принцип Парето - какие 20% усилий нужно приложить, чтобы получить 80% результата

Только для первой 1000 записавшихся участие бесплатное.

Запись по ссылке >>>> https://bit.ly/3KYjZuE Открыть/Комментировать

2022-01-27 16:39:02 Открыть/Комментировать

2022-01-27 16:32:28 Автомобильные компании и военные используют ML, чтобы сделать вождение более безопасным.

Беспилотные автомобили работают на основе ML, которое идентифицирует объекты поблизости, предсказывает их движения и оптимизирует навигацию.

Железнодорожные компании предсказывают сломанные рельсы, которые являются основной причиной серьезных железнодорожных аварий, и отказы отдельных колес.

И морская индустрия остается на плаву, предсказывая, какие крупные корабли столкнутся с опасным происшествием. Каждый уровень риска рассчитывается по возрасту судна, типу, грузоподъемности, происхождению, собственности, управлению и другим факторам.

Спрос на авиаперевозки продолжает расти быстрыми темпами, соответственно, управление воздушным движением становится все более сложным.

Метод опорных векторов (SVM) используется для обнаружения конфликта нескольких самолетов в воздушном пространстве и определения вероятности конфликта. Открыть/Комментировать

2022-01-24 10:40:26 Random Oversampling.
Случайная переборка включает в себя выбор случайных примеров из класса меньшинства с заменой и дополнение обучающих данных несколькими копиями этого экземпляра, поэтому возможно, что один экземпляр может быть выбран несколько раз.

Random Undersampling
Метод случайной неполной выборки противоположен методу случайной переборки. Этот метод направлен на случайный отбор и удаление примеров из класса большинства, что, соответственно, уменьшает количество примеров класса большинства в преобразованных данных.

Undersampling и Oversampling с imbalanced-learn
(библиотека Python для борьбы с проблемами несбалансированных датасетов).
Cодержит несколько различных методов для проведения ресэмплинга:

Андерсэмплинг
Tomek Links - удаление элемента пары из большего набора, которое позволит классификатору отработать лучше.
Cluster Centroids
NearMiss и др.

Oversampling со SMOTE:
SMOTE - создаются элементы в непосредственной близости от уже существующих в меньшем наборе.
ADASYN
bSMOTE Открыть/Комментировать

2022-01-24 10:40:21 Главные алгоритмы сэмплинга, которые должен знать каждый Data Scientist:

Simple Random Sampling - самый простой метод случайного сэмплинга, где каждый элемент датасета имеет равную вероятность быть отобранным в выборку.

Преимущества:
минимальные знания о датасете;
простота интерпретации результатов.

Reservoir sampling - формирует подмножество из k элементов совокупности, называемое резервуаром. Изначально в него помещаются k первых элементов. Затем элементы перебираются последовательно до тех пор пока не будет достигнут конец ввода.

Преимущество - не требуется знать размер совокупности и он всегда использует один и тот же объем памяти.
Недостаток — алгоритм работает достаточно медленно.

Stratified sampling. Стратификация — это разделение набора данных на несколько групп (страт) перед сэмплингом .

Использование стратифицированного сэмплинга позволяет снизить ошибку выборки, которая возникает из-за того, что анализ производится не на основе всей совокупности, а только на основе выборки. Открыть/Комментировать

2022-01-19 15:09:10 Открыть/Комментировать

2022-01-19 15:06:58 Сэмплинг - важный этап в анализе данных. От того насколько правильно он будет выполнен, зависит успешность результата.

В ML сэмплинг стал механизмом формирования обучающих, тестовых и валидационных выборок, используемых при построении обучаемых моделей.

Процедура сэмплинга должна обеспечить два свойства выборки — репрезентативность и полноту.

Репрезентативность — способность выборки отражать зависимости и закономерности совокупности из которой она была извлечена.

Полнота — значит, что выборка должна содержать достаточное ко-во вариантов для построения модели, обладающей обобщающей способностью.

Методы сэмплинга делятся на 2 вида — детерминированные и вероятностные.

В детерминированных процесс формирования выборки производится в соответствии с заданными правилами. Например «выбрать учеников от 7 до 14 лет» - тогда все объекты, удовлетворяющие правилу, будут помещены в выборку обязательно.

В вероятностных для каждого объекта определяется вероятность, с которой он может быть взят в выборку. Открыть/Комментировать