DLStories | Нейронные сети и ИИ

2022-06-14 17:52:48 Открыть/Комментировать

2022-06-14 17:36:21 Начала писать вам пост о новой модели от OpenAI, которая умеет исправлять ошибки, но он опять получился слишком длинным
Поэтому вот вам снова статейка в Telegraph с обзором модели =)

P.S. Я понимаю, что "модель, которая умеет исправлять ошибки", звучит непонятно. Но я так и не придумала, как нормально описать одной фразой то, что модель делает. Поэтому лучше сходите прочтите обзор, чтобы это понять)) Открыть/Комментировать

2022-06-07 16:01:25 Мнение компаний о том, какие бизнес-задачи выполняет ИИ, и что в реальности сегодня он делает — сильно отличаются.
ИТ-компания Naumen опросила свыше 1,5 тыс. представителей российского бизнеса из различных отраслей и написала этот пост — ожидания от роботов в бизнесе VS реальность.

Рутина и однообразие

Ожидание:
80% опрошенных компаний считают, что самые подходящие задачи для робота — простые и рутинные. Например, фиксация нарушений.

Реальность:
На самом деле искусственный интеллект не так часто используют для подобных процессов. Технологии компьютерного зрения фиксируют нарушения требований пожарной безопасности или охраны труда в 14% российских компаний. В 10% — эти технологии выполняют функцию контроля качества выпускаемой продукции. Ещё в 7% организаций ИИ помогает составлять и проверять документацию.

Опасный труд

Ожидание:
54% компаний считает, что роботы активно помогают людям на опасных или труднодоступных объектах.

Реальность:
Это мнение близко к истине. Свыше 20% организаций используют беспилотный транспорт для разведки новых месторождений и добычи полезных ископаемых. В 15% компаний беспилотники диагностируют поломку оборудования в труднодоступных местах. Например, отыскивают повреждения трубопровода. Ещё у 11% технология помогает контролировать состояние промышленных объектов.

Человеческий капитал

Ожидание:
24% компаний уверены — искусственный интеллект легко справится с отбором и предварительным собеседованием кандидатов на массовые вакансии. Ещё 22% считают, что роботы могут оценить эффективность персонала. Например, по анализу взаимодействия сотрудников на корпоративных порталах.

Реальность:
Мимо . Ни одна из опрошенных компаний не рассказала об использовании искусственного интеллекта в подборе персонала или управлении им. В этой области есть лишь единичные кейсы.

Клиентское обслуживание

Ожидание:
17% компаний думают, что роботы отлично справятся с консультированием клиентов.

Реальность:
Это действительно так. Если брать по всем отраслям в целом, голосовые и чат-боты есть у 8% компаний. Но если смотреть на отрасли, где, как правило, технологически продвинутые контакт-центры — ритейл, страховые и банки, ситуация меняется. В этих сегментах ИИ обслуживает клиентов каждой пятой компании.

На своём канале «Охотники за цифровизацией» эксперты Naumen продолжают рассуждения на тему использования технологий в бизнесе: читайте, какие цели российские компании ставят перед цифровой трансформацией и чего фактически добились.

Чтобы не пропустить новые исследования и кейсы по использованию ИИ в бизнесе, подписывайтесь на канал компании:
@naumen_channel

#промо Открыть/Комментировать

2022-06-05 19:25:19 AI помог астрономам уточнить научную теорию интерпретации гравитационного микролензирования.

Но давайте по порядку. Что такое гравитационное микролинзирование:
В астрономии существует несколько способов поисков новых планет. Некоторые планеты обнаруживают себя во время, когда пролетают перед большой звездой и заслоняют свет, идущий от звезды. Другие планеты находятся с помощью метода доплеровской спектроскопии. Но еще есть третий метод, с помощью которого можно искать многие планеты, которые нельзя найти двумя первыми методами (например, малые по массе и далекие от звезд планеты), и это — гравитационное микролинзирование.

Суть его вот в чем. Пусть у нас есть две звезды: Х и Y. Когда звезда X пролетает перед звездой Y, свет от звезды Y становится насыщеннее. Наблюдая за этими двумя звездами с Земли, можно построить кривую изменения насыщенности света от звезды Y во времени. Она будет выглядеть примерно как на второй картинке к посту слева: очень похоже на гауссово распределение. Однако если при этом вокруг звезды X крутится планета, то на некоторых позициях своей орбиты эта планета будет искажать (distort) свет планеты Y, делая ее свет еще в несколько раз ярче (схему эффекта см. на первой картинке к посту) В этом случае на кривой изменения насыщенности будут возникать "спайки": кратковременные всплески насыщенности. Выглядит это примерно так, как показано на второй картинке справа.

Чем же помог AI:
Разные положения и характеристики планет вызывают разные виды спайков и у астрономов есть несколько математических теорий о том, как эти спайки интерпретировать. Однако недавно случилось вот что: ученые из Berkeley обучили AI алгоритм предсказывать характеристики планеты по данным наблюдений. И получили неожиданное: ответы AI-модели немного не сходились с теми, которые ученые получали, пользуясь математическими теориями. Ученые предположили, что астрономы ошиблись и их теории неполны, и что все они на самом деле являются частными случаями одной, более общей теории. Последующие тесты на разных данных разных планет показали, что так оно и есть: новая теория объясняет все полученные астрономами данные гораздо точнее.

Это еще один пример того, как AI помогает людям в лучшем понимании сложных математических конструктов. Если помните, в декабре 21 года я писала пост о том, как AI помог математикам найти неочевидные связи между различными представлениями гиперболических узлов. Эти два примера открытий с помощью AI объединяет то, что здесь AI помогает человеку смотреть шире и глубже. У людей восприятие довольно ограничено: мы не всегда можем охватить всю многомерность и сложность процессов во Вселенной и заметить сложные связи. А вот AI это дается суперлегко: он отлично справляется с тем, чтобы выделять сложные зависимости в данных.

Источник: SciTechDaily
Статья на arxiv Открыть/Комментировать

2022-06-05 19:25:17 Открыть/Комментировать

2022-06-04 19:48:09 Очень часто модели компьютерного зрения при обработке картинок обращают достаточно много внимания на фон, а не на сами объекты. Из-за этого модели получаются не очень устойчивы (robust), т.е. при малейших изменениях в распределениях картинок (domain shift) начинают хуже работать. Такому подвержены даже самые современные модели вроде vision transformers (ViT). Например, на первой картинке к посту показано, как модель ViT классифицирует картинку лимона как 'golf ball', потому что фон картинки — трава.

Статья "Optimizing Relevance Maps of Vision Transformers Improves Robustness" предлагает метод для решения этой проблемы. Он довольно простой и заключается вот в чем:

Берем предобученный ViT. Также берем по 3 изображения из 500 классов ImageNet (всего 1500 картинок), у которых есть сегментационная разметка вида объект-фон. Теперь дообучаем ViT 50 эпох на этих 1500 картиках, используя обычный классификационный лосс + дополнительный relevance лосс. Relevance loss заставляет модель фокусироваться преимущественно на пикселях объекта на картинке, и как можно меньше внимания обращать на пиксели фона.

Вычисляется relevance лосс очень просто (cм. 2 фото к посту). Здесь S(i) — segmentation map изображения i, S(i) с чертой — inverse segmentation map, R(i) — rclass elevance map. Class relevance map — это карта, отражающая релевантность пикселей картинки классам задачи. Идея class relevance map позаимствована из статьи "Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers", в которой авторы предлагают новый метод для интерпретации работы (explainability) transformer-like моделей.

Эта идея действительно улучшает robustness различных моделей ViT, в среднем увеличивая top-1 accuracy на 5% на датасетах INet-A, ObjectNet. На третьей картинке к посту показаны того, как идея статьи помогает исправить предсказания модели.
При этом идея довольно простая в исполнении: нужно всего по паре-тройке сегментированных картинок из каждого класса и чуть времени на дообучение. Более того, карты сегментации для стадии дообучения можно получать в unsupervised режиме, с помощью метода для object localization, предложенного в этой статье. В таком unsupervised режиме дообучение также улучшает accuracy.

Больше результатов на разных датасетах в статье на arxiv.
Также к статье есть отлично структурированный код на GitHub с демо на колабе Открыть/Комментировать

2022-06-04 19:48:07 Открыть/Комментировать

2022-06-01 15:01:31 И еще немного про генеративные модели и текст: у Imagen, в отличие от DALL-E 2, отлично получается генерировать изображения с надписями.

Вот в этом посте на канале "Мишин лернинг" показаны примеры генерации двух картинок с текстом от Imagen. Качество просто огонь: текст передан очень точно. DALL-E же таким умением, к сожалению, не обладает, текст на картинках из DALL-E получается неточный и плохо читаемый.

Дело тут, конечно, в том, каким образом модели получают эмбеддинг текста для подачи на вход диффузии. У DALL-E эмбеддинг генерируется из CLIP, затем перегоняется в пространство эмбеддингов диффузионной модели, которая уже генерирует картинку. Диффузия и CLIP здесь обучаются, по сути, отдельно: у них разные пространства эмбеддингов и при "перегоне" вектора CLIP в вектор для диффузии теряется много информации. У Imagen же диффузия принимает на вход ровно тот эмбеддинг, который выдает языковая модель, и генерирует итоговое изображение. Информация здесь не теряется, а использование больших предобученных языковых моделей вместо CLIP для генерации вектора текста позволяет уместить в вектор еще больше полезной информации.

О том, как устроены Imagen и DALL-E 2, я писала в этих постах:
Imagen
DALL-E 2

Ну и напоследок: чем DALL-E 2 превосходит Imagen
Что-то так получается, что при сравнении DALL-E 2 и Imagen последний все время выигрывает =) Поэтому давайте скажем пару слов в защиту DALL-E 2: эта модель все же обладает свойством, которого нет у Imagen. Так как DALL-E 2 использует CLIP для получения эмюеддингов, с помощью модели можно не только генерировать картинки по текстовому описанию, но и изменять детали уже существующих картинок, и это отлично работает. С Imagen такое провернуть нельзя, у Imagen на вход может подаваться только текст.

Ждем версию Imagen с возможностью менять картинки и порабощать мир Открыть/Комментировать

2022-05-31 21:46:50 Посмотрите какая интереснейшая находка! Оказывается Dall-E 2 придумала свой собственный язык.

Мы можем сгенерировать картинку "Два кита разговаривают о еде, с субтитрами". получаем изображение с текстом "Wa ch zod ahakees rea". Используем полученный текст ("Wa ch zod ahakees rea") в качестве промпта и получаем изображения всякой морской еды. По-видимому, киты действительно говорят о еде на языке DALLE-2.

Ещё больше примеров тут. За наводку спасибо Just Links.

Что ж, надеюсь что на этот язык набросятся какие-нибудь лингвисты и разберут его на молекулы. Человечество давно мечтало попрактиковаться в расшифровке какого-нибудь реально чужого языка (например как в фильме Arrival). Мне кажется это их шанс Открыть/Комментировать

2022-05-30 13:37:33 Бесплатные летние школы и конференции по искусственному интеллекту

Этим летом в России пройдут как минимум две научные школы и одна конференция по теме ИИ и deep learning:

Лето с AIRI: 4-недельная школа по ИИ для студентов и аспирантов. Участники проведут две недели с ведущими учёными из AIRI, МФТИ, ВШЭ, Сколтеха, University of Massachusetts Lowell, Mila Quebec AI Institute, МГТУ им. Баумана, РАН и других авторитетных научно-исследовательских организаций и ВУЗов. В программе — лекции, практические семинары, сореванования и воркшопы на разные темы ИИ: планирование поведения, обучение с подкреплением, нейросетевые методов анализа естественного языка, компьютерное зрение, объяснимые методы в искусственном интеллекте и т.п.

Где: Сочи, Сириус
Когда: 4-17 июля 2022
Дедлайн подачи заявки: 1 июня 2022

Летняя конференция AIRI. В продолжение летней школы AIRI проведет конференцию о современных результатах в области построения предиктивных моделей машинного обучения с учетом физико-математических моделей процессов. Проводится совместно с организаторами научных школ машинного обучения (SMILES, Евгений Бурнаев) и глубокого обучения и байесовских методов (Deep Learning and Bayesian Methods, Дмитрий Ветров).

Где: Сочи, Сириус
Когда: 18-26 июля 2022
Дедлайн подачи заявки: 12 июня 2022

Научная школа по экспериментальной и теоретической нейробиологии "Сложные нейронные сети и когнитивно специализированные нейроны". На школе будет цикл лекций и семинаров ведущих ученых о новых достижениях в экспериментальной и теоретической нейробиологии, а также неформальные обсуждения ключевых проблем исследований мозга. Приглашаются студенты, аспиранты и молодые ученые, интересующиеся экспериментальной и теоретической нейробиологией.

Где: Ингушетия, Армхи
Когда: 17-24 июля 2022
Дедлайн подачи заявки: 5 июня 2022 Открыть/Комментировать