DataWorkshop - AI & ML

2022-06-16 19:21:02 Открыть/Комментировать

2022-06-16 19:19:28 Data Wrangling (Обработка данных) — это процесс очистки и преобразования необработанных данных в пригодный для использования формат.

Только на основании качественных данных можно сделать качественный анализ и прогноз.

Собранные данные могут иметь различные проблемы, например:

Отсутствующие значения, которые не указаны, бессмысленны или не определены

Дублирующиеся данные

Недопустимые значения, которые лежат вне нужного диапазона

Орфографические ошибки, перестановка слов

Шум

Противоречивость информации и др.

Очистка данных - это обязательный шаг, потому что ценность данных определяется не только, и не столько объемами данных, сколько качеством собранной информации.

Существует много методов обработки, способных повысить качество данных, начиная от использования вручную написанных скриптов и заканчивая нейросетями . Открыть/Комментировать

2022-06-14 13:54:06 Открыть/Комментировать

2022-06-14 13:52:52 Ожидания и реальность в Data Science

Что студенты думают о Data Science :
• прогон данных через алгоритмы

Что Data Science значит на практике (зависит еще конкретно от компании, но все же ):

• общение/митинги с заказчиками

• понимание чего хотят заказчики (тут не все так просто )

• преобразование пожеланий в практические действия

• управление ожиданиями

• сбор данных (как правило, чем больше данных, тем лучше результат)

• очистка данных (об этом еще поговорим в следующем посте)

• прогон данных через алгоритмы (наконец-то!)

• построение пайплайнов обучения/логического вывода

• написание документации

• тимбилдинг Открыть/Комментировать

2022-06-13 16:45:26 Data Preparation (Подготовка данных)

На практике, качество итоговых моделей намного сильнее зависит от качества подготовленных данных, чем от выбора самой модели и её оптимизации.

После сбора данных нам необходимо подготовить их к дальнейшим шагам. На этапе подготовки данных мы помещаем наши данные в подходящее место и готовим их для использования в машинном обучении.

На этом этапе сначала мы объединяем все данные, а затем рандомизируем их порядок.

Этот шаг можно разделить на два процесса:

Исследование данных:
Он используется для понимания природы данных, с которыми нам приходится работать. Нам необходимо понимать:
​​ характеристики данных,
формат данных
качество данных.

Лучшее понимание данных приводит к эффективному результату. При этом мы находим:
корреляции
общие тенденции
выбросы.

Предварительная обработка данных для их анализа. Открыть/Комментировать

2022-06-11 17:32:41 Открыть/Комментировать

2022-06-11 17:31:24 Gathering Data (Сбор данных) — это первый этап жизненного цикла машинного обучения. Целью этого шага является выявление и получение всех проблем, связанных с данными.

На этом этапе необходимо определить различные источники данных.

Возможные источники сбора данных:
базы данных
интернет ресурсы
различные файлы

Это один из важнейших этапов жизненного цикла. Количество и качество собранных данных будут определять эффективность выходных данных. Чем больше будет данных, тем точнее будет прогноз .

Этот шаг включает в себя следующие задачи:
Определение различных источников данных
Сбор данных
Интеграция данных, полученных из разных источников

После выполнения вышеуказанных задач, мы получаем согласованный набор данных, который будет использоваться на следующих этапах жизненного цикла машинного обучения . Открыть/Комментировать

2022-06-10 15:06:48 Открыть/Комментировать

2022-06-10 15:03:29 Жизненный цикл моделей машинного обучения можно определять по-разному, вот один из примеров:

Gathering data (сбор данных)
Data preparation (подготовка данных)
Data Wrangling (обработка данных)
Data Analysis (анализ данных)
Train Model (тренировка/обучение модели ML)
Test Model (тестирование модели ML)
Deployment (развертывание/внедрение модели)

Каждый пункт подробно рассмотрим в следующих постах.
7-й пункт, внедрение модели в продакшн, один из самых сложных.
А большинство моделей ML так и остаются на этапе обучения .

В нашем DW Club сегодня стартовал 2-х дневный интенсив, на котором как раз и затронется тема - Deployment . Материалы этого интенсива и 10+ других останутся на вашем аккаунте на все время подписки в клубе .

Deployment - это полезная, интересная, очень важная и
сложная тема, но обязательная для всех, кто планирует связать свою жизнь с Data Science . Открыть/Комментировать

2022-06-08 17:11:26 Открыть/Комментировать