Сиолошная

2024-05-26 07:06:57 Случайно удалил посты в чате (не канале), но из-за этого пропадает возможность комментировать посты. Кстати, именно так отключают комментарии у рекламных постов в других каналах.

Оставляйте комментарии для двух сообщений выше здесь. Открыть/Комментировать

2024-05-26 07:04:44 Слева на каждой картинке рейтинг модели по всем запросам, справа — лишь по тем, что были классифицированы как Hard. За основу шкалы взята самая первая GPT-4: сделано так, чтобы её рейтинг не менялся (такое называется anchor model, в русском, наверное, якорная модель), а вот остальные модели вокруг неё уже поднимались или опускались в рейтинге.

Первая картинка — изменение рейтинга топ-моделей, вторая — моделей попроще. На всякий случай проясню, что рейтинг измеряется по голосам реальных людей, которые задали свой запрос (который мы отметили как «Hard», в некотором смысле качественный) и выбрали, какая из моделей отвечает лучше. То есть это не «GPT-4 сама себя оценивает высоко»

Легко заметить, что Llama-3-8B-Instruct, качество которой якобы был сопоставимо с GPT-4-0314 (по запросам на английском, в мультиязе то она плоха), значительно падает в рейтинге. Это говорит о том, что модель буксует на вопросах с возросшей сложностью. Также видно, что Claude-3-Opus теперь располагается выше Llama-3-70B-Instruct (у меня-то и сомнений не было), а GPT-4o даже показывает небольшое улучшение относительно множества «обычных» запросов

Но это про дорогие проприетарные модели, давайте посмотрим на вторую картинку. Тут самое интересное — как кроха Phi-3-mini (всего 3.8B параметров!) подбирается вплотную к GPT-3.5-Turbo. Жаль, Microsoft не делятся деталями обучения и генерации синтетических данных.

И для справки: лучшая GPT-4o выигрывает LLAMA-3-70B на 103 очка, в 77% случаев. Если запомните из этого поста одну вещь, то это «на более сложных запросах открытые модели даже не близки к закрытым» А ведь это ещё даже не запросы на реализацию агентов. Открыть/Комментировать

2024-05-26 07:04:36 Немного запоздалая новость, лежавшая с неделю в закладках. LMSYS добавляет 2 среза для сравнения моделей на Chatbot Arena (что это такое — писал тут).

Первый очень простой, и скоро станет рейтингом по умолчанию. В нём отфильтровали порядка 10% голосов, убрав примерно 1000 самых повторяющихся вопросов (те, что встречаются больше 25 раз). В основном там были запросы типа «привет» и вариации на разных языках. Так как всего 1000 запросов брали на себя 10% голосов (порядка 100000), то это вызывало перекос в их сторону — а сообщения-то были не сказать что самыми полезными для оценки LLM.

Второй — куда более интересный. Помните я писал про Arena Hard? Авторы тогда подготовили пайплайн для выделения самых сложных, комплексных и интересных запросов для того, чтобы сравнивать модели на вопросах не по типу «2+2=?». Для того, чтобы это сделать, было выделено 7 аспектов (например, важна ли точность ответа, должна ли модель решить какую-то конкретную проблему, нужна ли креативность, итд). Один промпт может относиться хоть ко всем категориям сразу.

Hard вопросами назвали те, из которых выделяется как минимум 6 аспектов (для определения использовали запромпченную LLAMA-3-70B, дав ей описания классов). Всего их вышло порядка 20% — больше всего отфильтровалось по критериям креативности и комплексности (то есть необходимости сделать несколько шагов, чтобы дать ответ).

Чтобы посмотреть рейтинг моделей, нужно перейти на https://chat.lmsys.org/?leaderboard и выбрать вкладку «Hard Prompts». Ниже — моё саммари результатов.

Примеры промптов:

(сложность: 6) tell me how to make a hydroponic nutrient solution at home to grow lettuce with precise amount of each nutrient

(сложность: 6) write me GLSL code which can gennrate at least 5 colors and 2 waves of particles cross each other

(сложность: 7) Write me a python script for the foobar problem, but make it so that if read aloud, each pair of lines rhymes. (i.e. lines 1/2 rhyme, 3/4 rhyme and so on) Открыть/Комментировать

2024-05-24 19:18:22 Подглядел у @j_links ссылку на невероятную историю (твиттер тред тут)

Исследователи обучали агента играть в игру NetHack. Это очень старая ролевая игра из времён (1987 г.), когда нормальных пользовательских интерфейсов не было, и всё происходило в консоли. Игрок проходит уровни, собирает вещи и награды, участвует в сражениях и набирает очки — и всё выражается самыми простыми символами.

Агент научился стабильно набирать примерно 5000 очков. Но однажды после запуска он достиг лишь ~3000, то есть показал результат существенно хуже. Отладка решений всегда дело весёлое, поэтому автор треда попробовал:
— найти проблему в коде загрузки модели агента
— откатить код на пару дней назад
— откатить код на несколько недель назад (ну там то ТОЧНО всё работает?)
— пересобрать окружение
— поменять версию CUDA (драйверов для запуска нейросетей на видеокарте)
— запустить код на персональном ноутбуке, а не сервере

...и ничего не помогало: агент предательски, но стабильно играл на 3000 очков.

После этого автор треда написал автору модели, тот ответил:
— А, да, вероятно, сегодня полнолуние

Что??

И да, в тот день и вправду было полнолуние. Чувак запустил игру, и увидел ... надпись «Ты — везунчик! Сегодня полнолуние»

Оказывается, в NetHack есть механика, которая немного меняет процесс игры каждый раз, когда наступает полнолуние (проверка происходит по времени вашей системы). В этот день у героя увеличивается удача, и меняется ещё пара вещей. Это не делает игру сложнее, но модель просто не понимает, как изменились правила, и старается играть так, как привыкла — отсюда и просадка в очках. Для проверки можно сменить время на компьютере — и агент снова набирает 5000 очков.

вот так и сиди отлаживай программу Открыть/Комментировать

2024-05-24 18:15:53 SpaceX объявили, что следующая попытка запуска Starship состоится 5-го июня в 15:00 мск.

Четвертое летное испытание переключает внимание компании с выхода на орбиту (что уже было достигнуто) к демонстрации возможности возвращения и повторного использования Starship (корабль, верхняя ступень) и Super Heavy (ускоритель, нижняя ступень). Основными задачами будут выполнение приземления и мягкое приводнение сверхтяжелой ракеты-носителя в Мексиканском заливе, а также контролируемый вход корабля в атмосферу.

В прошлый раз корабль не пережил этот этап и сгорел на высоте ~45 километров. Причина — частичная потеря контроля над двигателями ориентации и незапланированный крен. Корабль начал падать боком, а не тепловым щитом вниз. Наиболее вероятная причина — засорение клапанов. С тех пор SpaceX добавила дополнительные дублирующие двигатели на все будущие корабли Starship.

Среди других изменений — теперь после разделения будет сбрасываться кольцо, соединяющее две ступени. Это сделано для облегчения ускорителя и упрощения посадки.

SpaceX пишут, что лицензия на следующий полёт может быть выдана без официального закрытия расследования по поводу прошлого пуска, так как не было никаких негативных последствий для общественной безопасности.

Ну и вишенка на торте — в программу посадки включен переворот корабля и включение двигателей, так что если корабль переживёт вход в атмосферу — то нас ждёт очень крутой финал! Правда, не ясно, получится ли получить запись посадки, так как это всё же центр Индийского океана. Будем надеяться, что Starlink сможет подключиться к сети и передаст кадры. Открыть/Комментировать

2024-05-24 14:36:11 Еще интересный слайд к размышлению:

В мире примерно 27 миллионов разработчиков – в OpenAI зарегистрировано 3 миллиона, то есть пока примерно ~10% разработчиков в каком-то виде использует LLM, мне кажется масс адаптация еще не случилась, и только-только начинается.

Преза целиком (видео про Sora выше – оттуда же) Открыть/Комментировать

2024-05-23 10:35:39 Пока я читаю статьи о скандале с отбором акций (PPU) у бывших сотрудников OpenAI, The Washington Post связались с несколькими источниками и пытались прояснить ситуацию с похожестью голоса Sky на Scarlet Johansson. И вы не поверите... OpenAI не виноваты. Те… Открыть/Комментировать

2024-05-23 10:33:41 Пока я читаю статьи о скандале с отбором акций (PPU) у бывших сотрудников OpenAI, The Washington Post связались с несколькими источниками и пытались прояснить ситуацию с похожестью голоса Sky на Scarlet Johansson. И вы не поверите... OpenAI не виноваты. Те, кто хочет поверить, может прочитать статью в журнале или же мою выжимку ниже:

— они валидировали, что это реально другая актриса, и что её голос идентичен голосу в ChatGPT («The actress’s natural voice sounds identical...»). Не похож, а идентичен!
— согласно опросу множества людей, которые были вовлечены в процесс прослушивания и найма, OpenAI ни разу не просили копировать голос Scarlett, и это ни разу не было отражено в документах
— также агент и актриса утверждают, что «neither Johansson nor the movie “Her” were ever mentioned by OpenA». Куда уж прямее я не знаю, но люди в шапочках из фольги видимо будут думать, что их подкупили, и платят за молчание.
— документы неназванной актрисы, с которыми ознакомились The Washington Post, подтверждают, что её наняли за несколько месяцев до появления голоса (и, как следствие, того, что Sama связался с Johansson)
— Joanne Jang, продукт менеджер из OpenAI, утверждает, что за проект отвечала Mira Murati, CTO OpenAI, и она же принимала решения. Это не написано явно, но я предположу, что это означает, что Sama не слышал голоса и не говорил сотрудникам «Ну вот этот берите, этот нет». В интервью неделю назад Altman говорил, что увидел демку за неделю до презентации.
— Зато указано, что Altman не принимал непосредственного участия в кастинге, так как в то время был занят мировым турне

То есть ни одна частичка информации, которую смогли раздобыть журналисты, и ни один человек в процессе общения, в том числе не работающие в OpenAI напрямую, не обвиняет OpenAI в нарушениях/плохой морали/etc.

И ещё:
— В заявлении актрисы Sky, предоставленном её агентом, она написала, что временами негативная реакция «чувствуется личной, поскольку это просто мой естественный голос, и люди, которые меня близко знают, никогда не сравнивали меня с ней [со Scarlett]» Открыть/Комментировать

2024-05-22 15:31:53 Наверняка вам попадались выдержки из недавнего интервью Джона Шульмана (кофаундера OpenAI) на Dwarkesh Podcast. Вернее даже одна конкретная выдержка, где Джон говорит, что его работу искусственный интеллект заменит через 5 лет

Я решила целиком посмотреть интервью, так как Джон достаточно интересный чел: он первый автор в статье про PPO, лидит команду, которая файнтюнит модели в OAI, а после недавних событий еще и видимо alignment на нем. Так что вот список каких-то интересных его тейков:
- Его главный фокус сейчас на том, чтобы научить модели выполнять длинные и сложные задачи, а не решать мелкие таски за один шаг. Например, хочется чтобы модель не просто подсказала тебе код для конкретной функции, а могла по промпту сделать целый репозиторий. С тем, чтобы обучать модели на таких “длинных” задачах много проблем, но одновременно с этим Джон считает это low-hanging fruit. Решать это он предлагает с помощью RL, видимо как-то адаптировав и улучшив текущие методы тренировки
- Fun fact №1: у gpt-3.5 изначально планировался web browsing, но потом оказалось, что своих знаний у модели достаточно для QA, и особого смысла в этом не оказалось
- Fun fact №2: изначально gpt-3.5 вообще не различала, что она может или не может делать (например, она могла сказать, что успешно отправила кому-то письмо или заказала что-то в магазине). Чтобы это пофиксить оказалось достаточно около 30 примеров в датасете для файнтюна!
- Для обучения ChatGPT данные делились на инструкции и чат. При чем, прототипы модели, которые обучались на чат-данных, оказывались более просты в использовании (лучше понимали, что от них хочет пользователь), выдавали более осмысленные ответы и лучше отдавали себе отчет, что они могут и что не могут выполнить. Объяснение этому Джон видит в том, что в формате инструкций задача “complete this text, but in a nice or helpful way” довольно мутная и непонятная, как для разметчиков, которые готовят данные, так потом и для модели. А качественные чат-данные людям было проще собирать и размечать, так как было понятнее, как именно модель должна ответить. Видимо за счет этого был скачок InstructGPT -> ChatGPT
- Интересная интуиция откуда у больших моделей emergent capabilities: можно представить, что когда у нас столько параметров, модель в латентном пространстве развивает много линий размышления параллельно, и повышается шанс, что какая-то из них будет верной (примерно как происходит в MoE)
- Также довольно необычный комментарий касательно Model Spec (это недавний вайтпейпер о том, какое поведение OAI считает желательным и нежелательным) – Джон сказал, что модели должны быть продолжением воли человека и делать, что от них просят, и что OAI не хочет тут занимать патерналистскую позицию и насаждать свои моральные представления. Снова заставляет задуматься о каком-то проигрыше фракции сейфитистов, так как я не могу представить такой ответ от OAI еще пару лет назад….
- Интересное было объяснение тому, почему модель часто выплевывает очень водянистую и обширную статью в ответ на какой-то вопрос: она тренировалась на одном ответе за раз (а не на всей истории диалога), поэтому она пытается уместить всю информацию в одно сообщение, а не ждет от вас каких-то уточняющих вопросов
- Наконец про следующие шаги в разработке моделей Джон отметил проактивность: в идеале пользователь не будет обращаться к модели как к поисковику с какими-то изолированными запросами. Модель скорее должна быть как helpful colleague, который сам тебе может предложить какие-то решения, напомнить о чем-то, и так далее Открыть/Комментировать

2024-05-22 06:51:10 Jimmy Apples, надёжный источник касательно слухов про OpenAI, написал про другую компанию. Не знаю, насколько надёжный инсай(т)д, но ситуация крайне занимательная.

«МЕТА планирует не предоставлять доступ к весам LLAMA 3 400B [прим.: крупнейшая версия модели, которая ещё не была опубликована. В 5.5 раз больше 70B версии, доступной нам].

Они надеятся на то, что мы не заметим/пропустим это.

Не позволяйте этому ускользнуть от вас»

Это вызвало очень говорящую реакцию в сообществе (читать тут). Люди понимают, что без этого релиза им до GPT-4-Turbo/Opus/и тем более следующих поколений моделей — как до Луны. Весь опенсурс ближайшего будущего (и большое количество экспериментов независимых лабораторий) буквально крутятся вокруг того, будет ли META дальше выкладывать модели, обучение которых стоит десятки-сотни миллионов долларов [есть другие лаборатории и компании, которые выкладывают, но у этих пока самые масштабные релизы].

Не поймите неправильно, людям будет чем заняться, но они по сути навсегда застрянут на одном и том же уровне навыков моделей. Будет борьба за то, кто улучшит модель на 3-5% (в отдельных задачах на 20%!) и ускорит на 15%. Люди будут пытаться впихнуть существующие модели тут и там, как-то оптимизировать, то сё. Но этот момент как бы застынет в истории, пока ведущие игроки будут скакать вперёд. Разрыв будет стремительно нарастать.

Zuck на подкасте ведь говорил прямо: мы будем публиковать модели пока 1) это помогает нам 2) их навыки ниже определённых порогов. А я писал, что с развитием моделей уже в ближайшем будущем помощь сообщества будет минимальна, и ценности для компании публикация очень-очень дорогих моделей не несёт. Запуск топ-тир моделей очень дорог, расходы на команду и поддержку тоже не маленькие, а их обучение и улучшение так вообще — потому такие 400B модели это игрушки для очень малого количества юзеров. Без 8 видеокарточек (или 12? 16? сколько надо) по $20k каждая даже не запустить.

А может быть это неправда, и модель выпустят. А может не выпустят следующую. А может что-то ещё. Поживём — увидим, но в концепцию опенсурса как помощника развития технической стороны AGI я не верю. Вся история показывает, что улучшение происходит с масштабированием, и даже если модели 2024-го уже имеют неадекватные размеры и ценник, то что и куда дальше?

Цель META может быть какой угодно, но корпорация точно не будет опенсурсить модели и системы вплоть до AGI, хоть их VP и говорит иначе. Открыть/Комментировать