Data science | Machinelearning [ru]

2023-05-21 20:07:10 ​​ Как ускорить пилотные проекты по анализу больших данных

В этой статье автор расскажет, с какими типовыми проблемами можно столкнуться при внедрении F5 Platform, какой инструмент нужно разработать для их преодоления, и как он помог нам ускорить проведение пилотных проектов, а также вы узнаете почему платформенное решение — это сложный ИТ‑продукт, требующий развитой инфраструктуры и квалифицированных специалистов.

Читать... Открыть/Комментировать

2023-05-21 15:07:39 ​​ Clickhouse: сжимаем данные эффективно

В этой статье автор расскажет, какой есть способ оптимизации хранения данных и запросов, который поможет ускорить процесс выполнения задачи с помощью использования кодеков сжатия в колонках, и какие результаты можно получить при использовании кодеков, а также вы узнаете почему в clickhouse есть несколько алгоритмов сжатия.

Читать... Открыть/Комментировать

2023-05-20 20:07:45 ​​ Как определить оптимальную подпоследовательность тем при автоматизации чатов

В этой статье автор расскажет, как автоматизируя чаты, можно снять типовые вопросы с агентов, высвобождая человеческий ресурс на действительно сложные задачи, а боту оставить рутину, и почему автоматизация чатов подразумевает целый спектр работ: обучение ML моделей новым темам, доработка функционала бота, подготовка текстов ответов их переводов и тестирование, а также вы узнаете почему автоматизация тем — очень растянутый по времени процесс.

Читать... Открыть/Комментировать

2023-05-20 15:07:14 ​​ Неудачный опыт: выявление аномалий в данных методами кластеризации

В этой статье автор расскажет, почему модель машинного обучения не может воспринимать текст в принципе, и как для визуализации результатов работы моделей можно использовать стохастическое вложение соседей с t-распределением, а также вы узнаете почему адекватные результаты показали только две модели: DBSCAN и иерархическая кластеризация.

Читать... Открыть/Комментировать

2023-05-19 20:07:21 ​​ Пять причин, по которым вам нужны синтетические данные

В этой статье автор расскажет, почему сбор и разметка данных в реальном мире может быть длительным и дорогостоящим занятием, и почему у этих данных могут быть проблемы с качеством, разнообразием и количеством, а также вы узнаете какие проблемы можно решать с помощью синтетических данных.

Читать... Открыть/Комментировать

2023-05-19 15:07:30 ​​ Как упростить анализ данных с помощью использования готовой виртуальной машины для аналитики

В этой статье автор расскажет, почему раньше для исследования данных и разработки моделей можно было выбрать один из трех путей, и как можно настроить весь набор инструментов на своем компьютере или на арендованной инфраструктуре самостоятельно, а также вы узнаете в текущих условиях работать одновременно с несколькими SaaS не всегда удобно.

Читать... Открыть/Комментировать

2023-05-19 11:07:59 ​​Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны?

Александр Ледовский, тимлид команды аналитики и DS в Авито, делится опытом использования Apache Spark для работы с поисковыми логами.

Всё, что нужно знать аналитикам, дата-инженерам, специалистам по обработке больших данных и тимлидам команд, чтобы задавать параметры Spark-сессии и получать ресурсы.

Переходите и читайте по ссылке.

Реклама. ООО «Авито Тех». LdtCKJT9n Открыть/Комментировать

2023-05-18 20:07:37 ​​ Кто я аналитик данных или датасаентист

В этой статье автор расскажет, почему в 50% статей в интернете написано, что аналитик данных и Data Scientist это одно и тоже, а другие 50% - за абсолютную разницу данных профессий, и почему одной из ключевых задач аналитика является обработка данных, а также вы узнаете почему аналитическая работа часто предполагает работу в команде, особенно над крупным проектом, взаимодействие с другими сотрудниками, сбор информации для анализа.

Читать... Открыть/Комментировать

2023-05-18 15:07:26 ​​ Частотный vs байесовский подходы: оцениваем True Positive Rate при неполной разметке данных

В этой статье автор расскажет, как на основе серии проверки гипотез получить доверительный интервал, используя под капотом гипергеометрическое распределение, что будет, если скрестить биномиальное распределение с бета-распределением, и как этот гибрид используется в качестве сопряженного априорного распределения для гипергеометрического распределения, а также вы узнаете почему аналитики центра должны расследовать каждый алерт и в случае обнаружения угроз предупреждать клиентов, формируя рекомендации по устранению опасности.

Читать... Открыть/Комментировать

2023-05-18 10:37:36 ​​Специально для тех, кто всё пропустил, — напоминаем, что осталось не так много времени до конца приёма заявок в Академию Аналитиков Авито!

Онлайн-программа для аналитиков данных и DS-инженеров стартует в сентябре, но успеть податься нужно до 13 июня.

На курсе с каждым студентом работает команда профессионалов — куратор, экспертные преподаватели и ментор из числа действующих опытных аналитиков или DS-инженеров Авито.
Курс будет особенно интересен студентам, но ждём всех желающих научиться чему-то новому или прокачать свои навыки. Потребуются знания мат. статистики, теории вероятностей и умением программировать на любом языке.

За подробностями ныряем по ссылке — изучаем программу и заполняем заявку.

Реклама. ООО «Авито Тех». LdtCK2yB2 Открыть/Комментировать