Big Data Science [RU]

2021-04-09 13:59:52 Оффер от Яндекса за выходные!
С 24 по 25 апреля пройдёт Weekend Offer для аналитиков — онлайн-встреча Яндекса, на которой можно пройти собеседования и получить оффер за выходные!
Чтобы попасть на Weekend Offer, необходимо решить 2-5 задач на платформе Яндекс.Контест. 24 апреля пройдут две часовые секции с кодом, а 25 апреля — часовые финалы с командами, на которых ваш потенциальный руководитель расскажет о сервисе, вашей роли и, возможно, даст ещё одну задачу. При взаимном интересе вы тем же вечером получите оффер.
Подробности и регистрация: https://clck.ru/UAzfb  Открыть/Комментировать

2021-04-08 06:23:30 В январе 2021 года Open.AI представила новую ML-модель, нейронную сеть под названием DALL·E, которая создает изображения из текстовых подписей к понятиям естественного языка. Она имеет 12 миллиардов параметров и основана на GPT-3. DALL·E обучен генерировать изображения из текстовых описаний, используя набор данных из пар текст-изображение. Сеть может создавать антропоморфизированные версии животных и предметов, комбинировать несвязанные концепции правдоподобными способами, отображать тексты и применять преобразования к существующим изображениям.
Как и GPT-3, DALL·E - это языковая модель-трансформер: она получает текст и изображение в виде единого потока данных, содержащего до 1280 токенов, и обучается с максимальной вероятностью генерировать все токены один за другим. Токен - это любой символ из дискретного словаря, например, каждая английская буква - это токен из 26-буквенного алфавита. В словарном запасе DALL·E есть символы текстовых и графических концепций. В частности, каждая подпись изображения представлена с использованием максимум 256 токенов, закодированных с помощью BPE, с размером словаря 16384, а изображение представлено с использованием 1024 токенов из словаря размером 8192.
Во время обучения изображения предварительно обрабатываются до разрешения 256x256. Подобно VQVAE, каждое изображение сжимается до сетки 32x32 дискретных скрытых кодов с использованием дискретного предварительно обученного VAE. Это обеспечивает масштабирование до больших размеров словаря и позволяет DALL·E генерировать изображение с нуля и регенерировать любую прямоугольную область существующего изображения до нижнего правого угла в соответствии с текстовой подсказкой.
https://openai.com/blog/dall-e/ Открыть/Комментировать

2021-04-05 08:03:58 Как повысить качество производства продукции на 25% с помощью ИИ: опыт Fujitsu
Японский технологический гигант разработал AI-систему, которая выявляет отклонения во внешнем виде продукции, чтобы определить производственные проблемы еще до того, как материалы будут потрачены впустую.
ML-модель, обученная на смоделированных изображениях продуктов с отклонениями, способна обнаруживать различные проблемы. Например, изношенная резьба, дефектный рисунок проводки на разноцветных коврах или электронных деталях с разной формой проводов. ML-алгоритм получил высокую оценку качества: показатель AUROC составляет более 98%. Технология была протестирована на заводе Fujitsu в Нагано, который производит электронное оборудование. В результате трудозатраты на проверку качества печатных плат были уменьшены на ¼ от первоначального количества человеко-часов.
https://artificialintelligence-news.com/2021/03/29/fujitsu-develops-ai-product-abnormalities-manufacturing/ Открыть/Комментировать

2021-04-03 14:22:39 Будьте здоровы с DCNN!
В течение многих лет врачи полагались на визуальный осмотр для выявления подозрительных пигментных поражений (SPL), которые могут указывать на рак кожи. Выявление SPL на ранней стадии помогает оперативно выявить меланомы и значительно снизить стоимость лечения. Но быстро найти SPL и определить их важность не так-то просто из-за большого объема пигментных поражений. Исследователи из MIT разработали новый ИИ-конвейер на глубоких сверточных нейросетях (DCNN, deep convolutional neural networks) и реализовали его для анализа SPL через камеру обычного смартфона. Система автоматически обнаруживает, извлекает и анализирует все пигментные поражения кожи, наблюдаемые на широкоугольном фотоснимке. Предварительно обученные ML-модели DCNN определяют подозрительность отдельных пигментных образований и маркируют их: нужен дальнейший осмотр - желтым, требуется направление к дерматологу - красным. Извлеченные признаки используются для последующей оценки пигментных поражений и отображения результатов в виде тепловой карты. Напомним, DCNN – это алгоритмы глубокого обучения, которые используются для классификации изображений с последующей их кластеризацией, например, при поиске по фотографиям.
https://news.mit.edu/2021/artificial-intelligence-tool-can-help-detect-melanoma-0402 Открыть/Комментировать

2021-03-29 06:44:08 Весна в самом разгаре, пора просыпаться от зимней спячки, учиться новому и заводить еще больше друзей в Data Science – встречаемся онлайн и офлайн на митапах, конференциях, форумах и прочих познавательных мероприятиях для DS-любителей и профессионалов. Выбирайте апрельское событие по вкусу и участвуйте!
3 апреля в 15:00 МСК - День открытых дверей знаменитой Школы анализа данных Яндекса-2021: узнайте о программе, процессе отбора, различиях между направлениями обучения и совместных программах с ВУЗами https://events.yandex.ru/events/den-otkrytyh-dverej-sh-ad
8-9 апреля — международная практическая онлайн-конференция по продвинутой продуктовой аналитике Aha! от команды Матемаркетинга – 30 лекций и дискуссий и 10 мастер-классов https://aha.matemarketing.ru/
15 апреля – конференция «Большие данные и аналитика 2021» от CNews – 14 докладов от CDO, ТОП-менеджеров цифровой трансформации и ведущих Data Scientist’ов из банков, страховых компаний, телекома, ритейла и других бизнесов https://events.cnews.ru/events/bolshie_dannye_i_analitika_2021.shtml
16 апреля в 19:00 МСК – онлайн-митап от Яндекса «Большая дата» для аналитиков, дата-сайентистов и ML-специалистов: 3 тематических доклада и дискуссии по интересам https://events.yandex.ru/events/bolshaya-data/16-04-2020/
22 апреля – 9-я межотраслевая конференция ScoringDay 2021 о современных технологиях продвинутого анализа данных для развития компаний-лидеров на финансовом рынке. Ключевая тема конференции – «Data Science: выйти в топ» https://scorconf.ru/
22-23 апреля в 10:00 МСК - конференция о технологиях в ритейле - Retail TECH, новое мероприятие, которое стартовало в 2020 году, чтобы объединить участников рынка ритейла для обсуждения технологий и инноваций. https://retailtech.ru/konferencziya/
24 апреля в 10:00 МСК – онлайн-конференция Data Science fwdays’21 - 300 минут докладов, диалогов, дискуссий экспертов, а также знакомства, новые технологии, инструкции, а также контент о Data Science буднях https://fwdays.com/en/event/data-science-fwdays-2021
27–29 апреля в 10:00 МСК - XX Юбилейный Customer Contacts World Forum – доклады и мастер-классы от экспертов, визиты в действующие контактные центры крупнейших российских компаний, вечерние networking-мероприятия и выставка прикладных решений по клиентской аналитике, цифровизации, автоматизации и роботизации сервисных бизнес-процессов с помощью AI, ML, Big Data и DS https://ccwf.ru/
28 апреля в 10:00 МСК - конференция «Big Data и BI Day 2021» от TAdviser для руководителей, бизнес-аналитиков, разработчиков аналитических решений, специалистов по технологиям Big Data и Data Science https://www.tadviser.ru/index.php/Конференция:Конференция_Big_Data_и_BI_Day_2021 Открыть/Комментировать

2021-03-27 12:21:56 19 марта прошел Яндекс Дзен-митап: алгоритмы и рекомендации. Для тех, кто не смог, по той или иной причине, посмотреть это классное онлайн-мероприятие, оставляем ссылку на видео —



Программа митапа была довольно насыщенная и состояла из следующих тем:
— «Aquarius: рекомендации с ограничениями в Яндекс.Дзен» Борис Шарчилев, Яндекс.Дзен
— «Как многорукие бандиты главную страницу оптимизировали» Турал Гурбанов, ivi
​— «Многорукие бандиты в динамическом ценообразовании» Алексей Чернобровов, Консультант по data science

Приятного просмотра, и ставьте пальцы вверх!;) Открыть/Комментировать

2021-03-08 08:13:02 Третий – не лишний: к LightGBM и XGBoost присоединился еще один ML-алгоритм вероятностного прогнозирования - Natural Gradient Boosting (NGBoost). Выпущенный в 2019 году, NGBoost состоит из трех абстрактных модулей: базового обучающегося, параметрического распределения вероятностей и оценочных правил. Все три компонента рассматриваются как гиперпараметры, выбранные заранее перед обучением. NGBoost упрощает вероятностную регрессию с помощью гибких древовидных моделей и позволяет проводить вероятностную классификацию, возвращая вероятности по каждому классу. Например, логистическая регрессия возвращает вероятности классов в качестве выходных данных. Эксперименты с несколькими наборами данных регрессии доказали, что NGBoost обеспечивает конкурентоспособные прогностические характеристики как оценок неопределенности, так и традиционных показателей. С другой стороны, его время вычисления намного больше, чем у других двух алгоритмов, и нет некоторых полезных опций, например, отсутствует ранний останов, отображение промежуточных результатов, гибкость выбора базового обучающегося параметра, установка случайного начального состояния. Несмотря на то, что пока можно работать лишь с деревом решений и регрессией Риджа, этот ML-алгоритм вероятностного прогнозирования показывает весьма достойные результаты в сравнении с другими популярными градиентными методами.
Подробнее о том, как работает NGBoost, читайте здесь:
http://www.51anomaly.org/pdf/NGBOOST.pdf
https://medium.com/@ODSC/using-the-ngboost-algorithm-8d337b753c58
https://towardsdatascience.com/ngboost-explained-comparison-to-lightgbm-and-xgboost-fda510903e53
https://www.groundai.com/project/ngboost-natural-gradient-boosting-for-probabilistic-prediction/1 Открыть/Комментировать

2021-02-28 12:46:24 В марте 2021 нас ждут интересные события: митапы, конференции, хакатоны и другие познавательные мероприятия для DS-любителей и профессионалов, большинство из которых пройдет онлайн и абсолютно бесплатно по предварительной регистрации. Выбирайте свой ивент и участвуйте!
02 марта - Cloud Day от Яндекса для сферы образования: узнайте, как технологии Yandex.Cloud помогают образовательным учреждениям решать задачи цифровой трансформации. Особенно выделим доклад Алёны Дробышевской «Сервисы Yandex.Cloud для ML-разработчиков» о Yandex DataSphere, который объединяет наиболее востребованные инструменты и динамически масштабируемые ресурсы для анализа данных, разработки и эксплуатации моделей машинного обучения. Начало в 20:00 по МСК онлайн https://cloud.yandex.ru/events/304
06 марта - День открытых данных от Ассоциации участников рынка данных в рамках международной инициативы International Open Data Day: лекции, дискуссии, мастер-классы и вручение премии Moscow Dataviz Awards за проекты на основе открытых данных. Начало в 11:00 по МСК онлайн https://opendataday.ru/msk
18-19 марта – финал профессионального конкурса "ПРОФ-IT.Инновация" по новым решениям в области цифровизации, которые могут быть использованы в государственном и муниципальном управлении, способствуют достижению цифровой зрелости ключевых отраслей экономики и социальной сферы. Начало в 10:00 по МСК онлайн http://digit.d-russia.ru/
19 марта – онлайн-митап от Яндекс.Дзен по стратегиям ценообразования, рекомендательным методам и алгоритмам: примеры и бизнес-кейсы, а также квест с призами. Начало в 19:30 по МСК онлайн https://events.yandex.ru/events/zen-meetup/19-03-2021
25 марта – ежегодный Форум BIG DATA: data-driven бизнес-проекты, глубокая аналитика как инструмент принятия решений, практическое применения прорывных алгоритмов искусственного интеллекта. Вас ждет встреча с топ-менеджерами цифровой трансформации и ведущими DS/ML-экспертами из госуправления и коммерческих компаний. Москва, EVENT-холл ИнфоПространство (1-й Зачатьевский пер., д. 4) и онлайн-трансляция https://www.osp.ru/lp/bigdata2021
30-31 марта - Data Fusion - международная конференция и финал соревнования по синергии межотраслевых данных и качественно новым модельным подходам к их монетизации и объединению. Ведущие игроки бизнеса и научного сообщества обсудят последние DS-решения, которые позволяют обеспечить новый уровень персонализации общения с клиентом. Начало в 15:00 по МСК онлайн https://data-fusion.ru/conference/ Открыть/Комментировать