Сиолошная

2023-05-31 20:47:15 Let’s Verify Step by Step (pdf)

Новая работа от OpenAI. Каждый раз сердечко замирает, как вижу уведомление от них...

Если вы смотрели мою лекцию или изучали RLHF самостоятельно, то знаете, что фидбек модели дается на весь результат целиком. Иными словами нейронка генерирует целый ответ, который после проверяется человеком или другой моделью, и получает единственную оценку. А что если оценивать промежуточные шаги, рассуждение модели? Тогда получится Process-supervised reward modelling (PRMs).

Работа большая, поэтому тезисно:
— в качестве проблемы для исследования выбираются математические задачки на несколько действий
— отдельная модель хорошо выучивает функцию оценки промежуточных шагов и может успешно использоваться в качестве критика, чтобы указывать на ошибочные суждения
— всё это приводит, конечно, к улучшению метрик
— OpenAI выкладывают датасет из 800 ТЫСЯЧ размеченных суждений (отдельных этапов решения задач)
— этот датасет собран ВРУЧНУЮ. Если для математических задачек можно столько ресурсов потратить на разметку - представьте, сколько данных собрали на всё про всё? на программирование? на открытые вопросы? Ужос...
— уже вовсю ведется дообучение GPT-4 как бейзлайн-модели, эксперименты именно над ней проводятся (причем, без RLHF-части, берется чистая языковая модель)
— упоминается, что есть несколько версий GPT-4, причем самая маленькая требует в 200 раз меньше ресурсов для обучения
— метод хорошо обобщается, в качестве валидации ему подсунули задачки с экзаменов, не похожие по формату на то, что было во время обучения, и качество там тоже увеличивается


Пример того, как модель оценивает каждый отдельный шаг решения, вы видите на скриншоте в посте. В решении справа есть ошибки, и именно им проставлена никзая оценка правильности (выделено красным).

Интересно, что OpenAI опять выкладывают инструкции для разметчиков - краудсорсервам есть чем поживиться! Внутри 2 PDF-ки по ~8 страниц.

P.S.: первый пост с нового ноутбука, как же классно на нём печатать.... Открыть/Комментировать

2023-05-31 18:07:45 В комментариях к предыдущему посту многие отметили темы AI Alignment и регулирование ИИ.
И неспроста!

Про риски ИИ, этику и AI Alignment мы уже записали большую беседу с Павлом Комаровским @RationalAnswer
Пока я пишу вам TLDR, вот что мы обсудили:
Почему у ИИ вообще есть какие-то риски и кто ими занимается;
Кто ими должен заниматься и почему нам нужна вычислительная этика для LLM и AGI;
Почему законы робототехники не работают
Почему open source нас всех спасёт.

Смотреть интервью:



В формате подкаста можно прослушать здесь или на Яндекс Музыке.

У Павла уже вышла целая серия материалов, которые рассказывают про языковые модели популярно, например, chatGPT.

Надеюсь, вам будет интересно послушать, а мне — почитать комментарии! Открыть/Комментировать

2023-05-30 23:01:39 Подъехал свежий видео-мем про очередную ML-конференцию. Ссылка: https://fxtwitter.com/postrat_dril/status/1663177876605206528 Имхо в этот раз не так смешно, но с выпуска прошлого года я умирал со смеху (ознакомиться можно тут). Пишите, сколько мемов и отсылок… Открыть/Комментировать

2023-05-30 22:58:49 Подъехал свежий видео-мем про очередную ML-конференцию. Ссылка: https://fxtwitter.com/postrat_dril/status/1663177876605206528
Имхо в этот раз не так смешно, но с выпуска прошлого года я умирал со смеху (ознакомиться можно тут).
Пишите, сколько мемов и отсылок поняли!


Спасибо автору @j_links за наводку. Открыть/Комментировать

2023-05-30 20:55:36 Сегодня вышел долгожданный ремейк легендарной игры 1994го года "System Shock". Деньги на него собирали всем миром на Kickstarter, а релиз переносился несколько раз.

Оригинальная игра была одной из первых в моём любимом жанре - Immersive Sim. В нем упор делается на выбор и креативность игрока. Определяющей чертой является использование хорошо проработанных систем, которые реагируют на различные действия, что в сочетании со сравнительно широким набором возможностей позволяет игре поддерживать разнообразные и творческие решения проблем, а также формирующийся игровой процесс, выходящий за рамки предзаготовленного разработчиками.

Игра стала в некотором смысле прорывной, а развитые версии игровых механик можно наблюдать и в наши дни. Например, записки и аудиодневники, обрывки информации, которые все вместе создают у игрока ощущение конкретного места и его реальности.

Сам же жанр тесно связывают со студией Looking Glass, именно её символ вы видите на скриншоте первого достижения в System Shock 2023го года. Это достижение дают за введение правильного пароля "0451" для первой встреченной закрытой двери — таким же он был и в 90-ых. "Простая отсылка к Рэю Брэдбери, и все тут" — скажете вы. Код появился и в последующих играх студии, став в каком-то смысле их узнаваемой подписью. Однако на рубеже нулевых дебет не сошелся с кредитом, и они закрылись.

Разработчики разошлись по разным студиям. Код 0451 начал появляться и в других играх, в каком-то смысле отражая идеи геймдизайнеров и став визитной карточкой Immersive Sim-игр.

Очень рекомендую посмотреть видео: 0451 в immersive sim. Краткая история игрового мема

А если понравится, то приглашаю узнать чуть больше про жанр, его философию и современные проблемы:
— интро в жанр за 7 и 25 минут
— видео-эссе на 50 минут: Как погибли иммёрсив симы и почему это хорошо
— анализ падения утопии в Bioshok (текст). Сценарий игры включает в себя критическое переосмысление творчества и философии Айн Рэнд, и в видео как раз представлен разбор истории. Открыть/Комментировать

2023-05-29 22:50:25 Возможно, наиболее часто упоминаемой возможностью GPT-4 на момент релиза было прохождение Uniform Bar Exam (UBE, экзамен на юриста в США) лучше 90% людей (говорят "90й перцентиль"). В недавно опубликованной статье (ссылка) делается проверка сего заявления.… Открыть/Комментировать

2023-05-12 18:47:40 Продолжая тему образования и ChatGPT. Посмотрел 15-минутный TED Talk от Sal Khan, создателя Khan Academy, некоммерческой образовательной организация, предлагающей онлайн-курсы и площадку для обучения. В своем рассказе Sal поделился первым опытом интеграции… Открыть/Комментировать

2023-05-12 15:21:51 Mark Brown, автор канала Game Maker's Toolkit, анонсировал Game Jam 2023 - ежегодный 48-часовой марафон по созданию игр на заданную тематику.

В анонсе марафона делается акцент на Generative AI и его применимости для разработки игры в столь короткие сроки.
можно использовать модели для генерации и улучшения кода
можно использовать модели для брейншторма идей, сценария игры
нельзя генерировать арты, музыку, написанный текст (диалоги?) итд — это должно быть сделано человеком

Еще интереснее объяснение от Mark'а:
— программисты (как сообщество профессионалов) в целом не против использования AI-ассистентов, и в некоторых компаниях инструменты вроде Codex активно используются большинством. Это очень помогает в работе и сохраняет кучу времени;
— в то же время многие артисты (художники/дизайнеры) "see AI as a real, existential threat to their livelihoods". А ещё неразрешенными остаются этические вопросы, касающиеся тренировки моделей на работах реальных людей (почти всегда - без одобрения авторов).

Поэтому предлагается ценить время и людские ресурсы, затрачиваемые на работу — вместо замены их на роботов.

¯\_(ツ)_/¯ вот она, разница отношений

P.S.: Вообще когда-то давно я хотел разрабатывать игры, а не шатать эти ваши нейросети, да и сейчас я активно играю, поэтому очень интересуюсь игровым дизайном, мелкими деталями, у которых есть функции, но которые легко пропустить (или просто не задуматься). Канал Mark'а — один из лучших и интереснейших в этом плане. Вот мои фавориты (без упорядочивания), даже если вы не играете в игры — дайте этим видео шанс, принципы и идеи из них во многом применимы и к кинематографу, и к книгам:
1. How Nintendo Solved Zelda's Open World Problem (как раз актуально - сегодня выходит новая Zelda, потенциально игра года)
2. How To Analyse A Video Game’s Design
3. How Game Designers Solved These 11 Problems
4. How The Forgotten City Creates The Perfect Mystery
5. Can we Improve Tutorials for Complex Games?

Я уверен, что из каждого видео можно подчерпнуть что-то полезное (даже неиграющим, да). Те, кто по моему совету посмотрят видео — обязательно пишите впечатления в комментарии Открыть/Комментировать

2023-05-12 13:05:17 Презентация скорее обзорная, и если вы чего-то не знали, то, вероятно, и не поймете, однако на основе этого можно уже выписать вопросы, составить план и начать закрывать дыры в знаниях (если это актуально).

Не забывайте про промпт для GPT-4, чтобы попросить модель объяснить вам что-либо в роли учителя и предоставить примеры с решением :) Открыть/Комментировать

2023-05-12 13:05:17 #ml

Начался удаленный блок летней школы OxfordML 23. Утащил для вас презентацию Fundamentals of Mathematics for Machine Learning.

Хорошее саммари минимального необходимого материала: линейная алгебра, матанализ, оптимизация, теория вероятностей. Приятно, что все с примерами.

Лично я буду использовать ее как шпаргалку для подготовки к собеседованиям. Открыть/Комментировать