Сиолошная

2023-04-26 23:46:52 Я днём: пишу, что вот, мол, релизнут модельку, обученную писать код, а потом доучат на языке (как OpenAI)
Я вечером: китайцы...

Тезисно:
— Китайцы натренировали MOSS, модель на 16B параметров
— Модель и данные доступны на HuggingFace
— Модель инициализирована из предтренированной CodeGen, которая, как очевидно из названия, была обучена...на коде
— Base-версия moss-moon-003-base (ссылка) видела во время тренировки 700B токенов - это достаточно много (у оригинальной GPT-3 было ~300B токенов, и она была сильно недоучена, и при этом больше по размеру)
— дальше модель дообучали на диалогах, чтобы сделать модель-ассистента, которая умеет отвечать и связывать новые команды со старыми сообщениями
— значимая часть этих данных была собрана с ответов GPT-3.5 и ChatGPT: The data is consisting of 570K English and 590K Chinese conversations generated by text-davinci-003; The data is generated by gpt-3.5-turbo from a seed set of user prompts collected through our early deployed MOSS-002 API.
— (начинается интересное) модель отдельно учили использовать инструменты (tools). Это как плагины у ChatGPT - вы ей пишете, мол, "если ты хочешь вызывать калькулятор - напиши Calculator: {expression}, а мы вернём результат команды". То же - для поиска в браузере, исполнения Python кода. Да и вообще хоть какой внешний API можно превратить в tool, просто описав, как модели им пользоваться
— Дообученная модель использует: поисковик, преобразование текста в изображение (text-2-image), калькулятор и решатель уравнений. По идее, обучение с предыдущего шага должно позволять лучше понимать новые инструменты в zero-shot режиме
— для этих моделей также выложены квантизованные int4/int8 модели, чтобы их можно было гонять даже на одной видеокарточке игровой (24/12 гигов соотвественно)
— модель также учили на RLHF, чтобы она генерировала результаты, которые люди оценивают выше (preference model), однако она, а также финальная модель, дообученная с плагинами и диалогами на этом наборе данных, пока недоступна (moss-moon-003-plugin, очень ждём)
— модель тренировалась на английском и китайском в соотношении 1:5, так что не нужно быть азиатом, чтобы ей пользоваться
— для модели есть код демки, который запускает в браузере аналог сайта с ChatGPT, и прям там же под капотом используются плагины. Самый главный, конечно - поиск в интернете.

Документация (в репозитории) Открыть/Комментировать

2023-04-26 19:57:46 извините, что спамлю вашу ленту, но там вышло...ух...двухчасовое интервью с Paul Christiano из OpenAI - человеком, который в 2017м году придумал тот самый Reinforcement Learning from Human Feedback (RLHF), который лежит в основе дообучения ChatGPT и GPT-4. В оригинальной статье, где Paul является первым автором, предлагались подходы для обучения агентов играть в ...игры, а не для корректировки ответов языковых моделей. Никогда не знаешь, где найдешь золото, а где - нефть!

Байтящая вырезка из интервью: Paul говорит, что существует 50% вероятность [его] гибели, когда системы искусственного интеллекта достигнут человеческого уровня интеллекта.

— I think [superintelligent AI] is the single most likely reason that I will personally die.

Ссылка. Может быть сделаю краткое резюме позже, но не уверен. Открыть/Комментировать

2023-04-26 19:44:09 Так как у нас много новеньких на канале за последние полтора месяца, то хочу напомнить, что в закреплённом сообщении сверху канала есть краткое описание того, кто я и чем занимаюсь. А сразу же сообщением ниже - список всех материалов, в разработке которых… Открыть/Комментировать

2023-04-26 19:31:33 Так как у нас много новеньких на канале за последние полтора месяца, то хочу напомнить, что в закреплённом сообщении сверху канала есть краткое описание того, кто я и чем занимаюсь. А сразу же сообщением ниже - список всех материалов, в разработке которых я принимал участие - от курсов по базовому Python и до статей про GPT, по которым многие из подписчиков, собственно, меня знают.

Оказывается, многие пропустили, но летом 2021го года мы с Валерием Бабушкиным — трижды моим бывшим руководителем — записали мини-серию из 3 видео, где разобрали такой тип собеседований, как ML System Design:
(1) выбор рекламы к показу в ленте соцсети
(2) ценообразование на маркетплейсе
(3) матчинг товаров в онлайн-магазине

Такие собеседования в компаниях уровня Google и Facebook проверяют сеньорность человека, насколько он понимает неочевидные проблемы, лежащие в основе разработки пайплайна решения ML-задачи в реальном мире. Чем выше насмотренность человека, чем к большему числу систем он приложил руку - тем легче ему обобщить свои знания и применить их для незнакомой задачи, а значит и тем выше его эффективность и, скорее всего, ценность для компании. Результат прохождения собеседования может спокойно давать +-2 грейда, а это больше полумиллиона (а иногда и миллиона) долларов в компенсации для специалистов в FAANG.

Греет душу то, сколько положительного фидбека собрали эти видео - я прямо сейчас собеседую людей (в том числе и по дизайну, ха!), и некоторые прям говорят, как мини-серия интервью им помогла в поиске предыдущих работ или повышении собственного уровня. Про это также писали в слаке ODS/Singularis. С нетерпением жду, когда снова соберёмся компанией и запишем продолжение!

...а пока новых видео нет — могу предложить вот что: оказалось, что Валера пишет книгу по ML System Design, где на пару с Арсением Кравченко (@partially_unsupervised) делится своим опытом построения систем в IT-компаниях. Первые главы уже частично доступны бесплатно - обязательно почитаю на выходных, чтобы освежить память - и вам рекомендую. Насколько я понял, сейчас будет выходить по главе каждые две недели. Также Валера передаёт промо-код mlbabushkin, который до 9го мая даёт скидку в 45%.

Ссылка на книжку Открыть/Комментировать

2023-04-26 17:43:38 На канале @j_links увидел ссылку на презентацию, которая описывает процесс тренировки in-house Large Language Model (правда, всего 2.7B, это разве LLM вообще...? Многие проблемы на таком масштабе даже не возникают). Как раз от ребят из Repl.it, про которых мы говорили сегодня. Открыть/Комментировать

2023-04-26 11:34:53 И последнее, почему ещё это круто: OpenAI заметили, что если сначала модель учить на коде, а после этого - на обычных текстах, то это улучшает качество. Я не видел исследования по этому поводу, однако GPT-3.5 была получена именно таким образом. Если у вас… Открыть/Комментировать

2023-04-26 11:25:16 И последнее, почему ещё это круто:

OpenAI заметили, что если сначала модель учить на коде, а после этого - на обычных текстах, то это улучшает качество. Я не видел исследования по этому поводу, однако GPT-3.5 была получена именно таким образом. Если у вас есть ссылочка - поделитесь, пожалуйста, в комментах.

Интуиция здесь такая, что код - он более структурирован и логичен, в нем нет ошибок (если его предварительно валидировать на предмет компиляции, ну, чтобы он хотя бы запускался. Баги то ясно, что останутся), и при этом он всё равно обладает свойствами языка (к тому же, еще и комментарии встречаются!). А после того, как модель уже выучила паттерны, что и как взаимодействует - можно наполнять её знаниями реального мира, разными языками, и так далее.

Соответственно, релиз такой мощной и очень хорошо затюненной модели для кода может положить начало разработке качественной языковой модели, при этом маленькой - а значит легкой на подъем (для дообучения и для инференса, то есть применения). Открыть/Комментировать

2023-04-26 11:18:30 Открыть/Комментировать

2023-04-23 19:21:53 Ночью прилетел в Дубай, заселился в AGI Tower (домик ИИ, хи-хи)

ЮДКОВСКИЙ В ШОКЕ... Открыть/Комментировать

2023-04-22 09:31:51 На канале Ильи Варламова вышло 30-минутное видео про нейросети. Мне посчастливилось быть одним из приглашенных экспертов, дающих комментарии. Ещё там засветился мой приятель Лёша Хахунов, СТО Dbrain (компании, откуда я знаю оооочень много крутых инженеров).… Открыть/Комментировать