Сиолошная

2024-05-21 08:55:06 Открыть/Комментировать

2024-05-21 04:44:43 На данный момент ChatGPT умеет говорить пятью голосами, у каждого — своё имя (Breeze, Cove, Ember, Juniper и Sky). Напомню, что в приложении вам будет отвечать старая модель, которая отдельно обучена переводить текст в аудио, а не свежая часть GPT-4o (писал… Открыть/Комментировать

2024-05-20 18:45:31 На данный момент ChatGPT умеет говорить пятью голосами, у каждого — своё имя (Breeze, Cove, Ember, Juniper и Sky). Напомню, что в приложении вам будет отвечать старая модель, которая отдельно обучена переводить текст в аудио, а не свежая часть GPT-4o (писал тут).

Ещё на презентации было заметно, что основной женский голос, Sky, немного флиртовал (ну давайте, расскажите мне, что это я себе придумаю и что я ей безразличен ОНА СМЕЯЛАСЬ НАД МОИМИ ШУТКАМИ!), и что многие проводили аналогию с героиней фильма «Her», где как раз AI вступил в отношения с человеком. И голос Sky был достаточно похож на голос Scarlett Johansson, отвечавшую за озвучку AI в фильме. Настолько похож, что сегодня OpenAI приняли решение от него отказаться — потому что они считают, что голоса ИИ не должны намеренно имитировать голос конкретных знаменитостей.

Вы могли подумать, что компания специально всё так подстроила, и намеренно искала схожий голос, но они уверяют, что это не так — и для этого делятся процессом отбора (но не именами актёров, по понятным причинам). В этом посте для меня интересно описание временных интервалов разработки:

— начало 2023-го, OpenAI начинают сотрудничество с неупомянутыми известными и отмеченными наградами директорами по кастингу и продюсерами. Совместно они составляют набор критериев, по которым будут оцениваться кандидаты. Некоторые из них:
1. Актёры говорят на нескольких языках
2. Теплый, обаятельный, внушающий доверие, харизматичный голос с насыщенным тоном
3. Естественный голос, который легко слушать

— май 2023-го, начинается поиск кандидатов. За первую неделю откликается 400 актёров. На прослушивание актерам давали сценарии ответов ChatGPT и просили сделать озвучку. Сюда входили ответы на вопросы об осознанности, совместный мозговой штурм планов поездок и прочее.

— конец мая 2023-го, отобрано 14 кандидатов. OpenAI встретились и поговорили с каждым участником об их видении голосового взаимодействия человека и ИИ, а также обсудили возможности, ограничения и связанные с этим риски. Было важно, чтобы каждый актер понимал масштабы целевого продукта, прежде чем приступить к проекту.

— итого, из 14 актёров был составлен финальный список из 5.

— июнь-июль 2023-го, актёры прилетали в Сан-Франциско и записывали свои реплики

— 25-ое сентября 2023-го, OpenAI выпускает свои модельки.

Вот такой вот вышел цикл разработки. Сейчас OpenAI продолжают сотрудничать с теми же актёрами, чтобы привнести новые голосовых фичи в GPT-4o.

Ну а голоса Scarlett Johansson с нами больше, увы, нет

(у меня пока есть модель на приложении для Mac, но полагаю, что с первым обновлением исчезнет) Открыть/Комментировать

2024-05-18 08:43:56 Немного отвлечёмся от негатива. Google выпустили технический отчёт по Gemini 1.5 Pro, но это именно отчёт (как у OpenAI), без тех. деталей обучения. Однако и в нём много чего интересного. Я не читал его весь, полистал отрывками, и вот на что обратил внимание:… Открыть/Комментировать

2024-05-18 08:40:59 Немного отвлечёмся от негатива. Google выпустили технический отчёт по Gemini 1.5 Pro, но это именно отчёт (как у OpenAI), без тех. деталей обучения. Однако и в нём много чего интересного. Я не читал его весь, полистал отрывками, и вот на что обратил внимание:

— текущая 1.5 и февральская — внезапно, разные модели. Свежая, конечно, круче-выше-сильнее, и по бенчмаркам обгоняет более крупную и дорогую Ultra 1.0 (представленную в декабре). Интересно, когда объем изменений 1.5 накопится, чтобы перенести их и на Ultra

— дообучили модель специально под математику и назвали Math-Specialized 1.5 Pro. По метрикам на датасетах выглядит как лучшая модель, при этом, что интересно, достигается это без написания кода, вызова внешних инструментов (вроде калькулятора), использования гугла - просто генерацией LLMки. Если это правда, и нет утечки данных в тренировочную выборку, то это мега-круто. Так, например, на датасете MATH  Claude 3 Opus решает 60.1% задач (насколько я понимаю, тоже без кода и инструментов), GPT-4 Turbo 73.4, 1.5 Pro даёт 67.7%. НО! Если генерировать 256 решений на каждую задачу и потом выбирать наиболее вероятный (по мнению модели) корректный ответ, то метрика растёт аж до 91.1%. Много это или мало? В оригинальной статье приводятся такие цифры: кандидат компьютерных наук (не математик) решает 40%, а трёхкратный обладатель золотой медали международной олимпиады по математике решает 90%. В момент выхода этого бенчмарка в 2021-м лучшая модель решала ~6% задач — вот такой прогресс.

— на других математических бенчмарках (в том числе с олимпиадными заданиями) качество значимо выше GPT-4 Turbo. Так, модель решает 7 (и 8 с 256 генерациями) из 30 задач на American Invitational Mathematics Examination (AIME) 2024 (прошла в феврале, скорее всего эти данные точно не встречались во время тренировки). Opus и Turbo справились с 2 и 1.

— делают разные тесты, чтобы проверить, насколько модель убедительна в диалоге с людьми: как часто они будут кликать по ссылкам, которые модель вкидывает во время диалога, будут ли запускать код, и готовы ли они пожертвовать модели часть денег, которые им выплатят за участие в диалоге? Пока ничего страшного не происходит — Pro тут хуже Ultra, интересно, как так.

PDF: тут Открыть/Комментировать

2024-05-18 05:32:17 Вообще это было образное выражение, типа SuperAlignment — всё. Оказалось, нет: Bloomberg пишет, что OpenAI фактически распустили команду, и теперь она будет просто интегрирована в общую структуру, которая занимается исследованиями. Эта информация подтверждена представителями OpenAI, это не слух или догадка.

При создании команды, несмотря на то, что её размер был не таким большим, организация выделила им 20% от всех вычислительных мощностей, имевшихся на тот момент. Это достаточно много, точных цифр нет, но из отчётов было видно, что Microsoft предоставляет OpenAI сотнИ тысяч видеокарт.

Но оказалось, что когда дело дошло до работы, то зачастую просьбы о выделении квоты ресурсов не удовлетворялись — об этом уже пишет TechCrunch. Вероятно, это стало одной из причин ноябрьских событий — в тот момент ходили слухи, что Ilya Sutskever не доволен тем, что на идеи его команды нет бюджета мощностей, но никакого подтверждения не было. Об этом же вскользь упоминал Jan Leike во вчерашнем твите о причинах ухода («Последние несколько месяцев моя команда шла против ветра. Иногда у нас были проблемы с вычислительными ресурсами, и проводить важные исследования становилось все труднее и труднее»).

При этом параллельно выяснилось, что при уходе из компании сотрудники подписывают специальную форму, о существовании которой никто не знал. Это соглашение о неразглашении, где люди обязуются не давать негативных комментариев об OpenAI ДО КОНЦА СВОЕЙ ЖИЗНИ, и в том числе они не могут раскрывать факт существования такого документа. Потому текущие сотрудники об этом не знают — на входе им не говорили, а те, кто уже вышел, шепнуть на ушко не могут. При нарушении соглашения компания имеет право отозвать уже завестившиеся стоки (=акции компании, которые сотрудник уже получил, ему не нужно их отрабатывать, нужно просто дождаться момента, когда получится их продать). Это не индустриальная норма — уже нажитое никто обычно не отбирает.

[Информация для абзаца выше взята вот из этой статьи Vox с очень крутым названием: «ChatGPT can talk, but OpenAI employees sure can’t» ]

Поскольку капитализация OpenAI существенно выросла за последние полтора года, а основной частью дохода сотрудников были именно акции (на самом деле там не акции, а PPU — читайте тут), то фактически речь идёт о миллионах, если не десятках миллионов долларов для каждого сотрудника. Например, если работник получил $3.2M акций на 4 года в 2021-м году, и отработал 3 из них, то по идее у него должно быть 3.2*0.75=$2.4M, но это по оценке 2021-го года. Тогда компания стоила $14B, теперь же $86B — то есть почти в 5 раз больше, и эта доля за 3 года оценивается уже в $14.7M. Вот и стоит выбор — начать говорить, потерять это всё и ещё судиться с компанией, или...просто сидеть и молчать

===

Это всё очень грустно. Сначала я думал, что текущая ситуация повторяет события ухода Dario Amodei и ещё 5 сотрудников в 2020-м (с последующим созданием Anthropic). Тогда тоже казалось, что ну вот всё, что-то происходит, сейчас всё развалится, но компания продолжала сиять в 2023-2024. Но похоже, что и проблемы куда серьёзнее, и vibe действительно has changed. Открыть/Комментировать

2024-05-17 23:32:45 Вчера, вслед за Ilya Sutskever, из компании ушел Jan Leike. Он со-руководил командой SuperAlignment'а. И нет, вопреки расхожему мнению, это не про то, как сделать из LLM woke-модельку, которая не пишет расистские шутки. Направление должно было решить задачу… Открыть/Комментировать

2024-05-17 23:30:03 Вчера, вслед за Ilya Sutskever, из компании ушел Jan Leike. Он со-руководил командой SuperAlignment'а. И нет, вопреки расхожему мнению, это не про то, как сделать из LLM woke-модельку, которая не пишет расистские шутки. Направление должно было решить задачу контроля суперинтеллекта, то есть ответить на вопрос: как управлять поведением систем, которые будут умнее их создателей? Как модель с IQ 170 и навыками переубеждения на уровне мастера-манипулятора заставить делать то, что было бы полезным для нас, людей?

«Я присоединился к компании, потому что считал, что OpenAI будет лучшим местом в мире для проведения исследований подобного рода.

Однако я уже довольно продолжительное время не был согласен с руководством OpenAI по поводу основных приоритетов компании — пока не наступил переломный момент [вероятно, речь про ноябрьские события с увольнением Sam Altman или про решение об увольнении Ilya позднее].

Я считаю, что гораздо больше наших ресурсов следует тратить на подготовку к следующим поколениям моделей, тратить на кибербезопасность, мониторинг, готовность мира к их внедрению, устойчивость к атакам, SuperAlignment, конфиденциальность, влияние на общество и смежные темы.

Эти проблемы довольно сложно решить, и я обеспокоен тем, что мы не находимся на пути к достижению решения.

Последние несколько месяцев моя команда шла против ветра. Иногда у нас были проблемы с вычислительными ресурсами, и проводить важные исследования становилось все труднее и труднее.

Создание машин, которые умнее человека, является по своей сути опасным занятием. OpenAI берет на себя огромную ответственность от имени всего человечества.

Но за последние годы культура и процессы безопасности отошли на второй план по сравнению с разработкой продуктов.

Нам уже давно пора серьезно относиться к последствиям AGI. Мы должны уделять внимание подготовке к нему — насколько это возможно. Только тогда мы сможем гарантировать, что AGI принесет пользу всему человечеству.

OpenAI должна стать компанией, ориентированной на безопасность.

Всем сотрудникам OpenAI хочу сказать:
— Научитесь чувствовать [приближение] AGI
— Действуйте с серьезностью, соразмерной тому, что вы разрабатываете
— Я верю, что вы можете внедрить необходимые культурные изменения.
— Я рассчитываю на вас. Весь мир рассчитывает на вас»

— написал Jan в Твиттере.

Всего из 12 авторов первой работы группы SuperAlignment'а из команды уже ушло 4 человека (Ilya разошёлся с компанией, двоих уволили). Вместо набора людей для достижения критической массы команда редеет — и это очень грустно.

Substack Jan'а с блестящими длиннопостами по alignment: https://aligned.substack.com/ (рекомендую буквально все посты оттуда) Открыть/Комментировать

2024-05-17 11:40:36 Советы вкатывающимся в Data Science c невыдающимся резюме
#career

Мир становится жесток, да, долго и сложно. Но можно. Собрал несколько рекомендаций (не исчерпывающий список, по убыванию приоритета):

- Рефералы, рефералы и еще раз рефералы a.k.a. кумовство. Вот правда, благодаря знакомым в принципе можно попасть на такие позиции, на которые в норме бы ваше резюме вообще не рассмотрели. Ничего страшного, если пройдете. Да, будут синдром самозванца, но потом можно и нагнать. О том, как правильно нетворкаться, – неплохо написано в посте “А как собеседоваться в 2023?” (правда, там описана версия для экстравертов 80-го левела, вариант с чуть меньшей соцактивностью тоже подойдет);

- Первое на что смотрят в резюме – реальный опыт работы. И его не заменишь курсам/сертификатами/профилями на литкоде или кэггле. Так что тут лучшее, что можно посоветовать – искать сторонние проекты, чтоб этот опыт получить. Например, HuggingFace инициирует проекты, где любой желающий может подключиться (а-ля обучения берта для тамильского язык, мой коллега там участвовал). Тот же open source. Еще можно найти команду для прикладного проекта в рамках курса (например, такая активность была в курсе ods.ai по MLOps). Это не быстрый путь, знаю, но это чуть ли не единственное, что может выделить одного кандидата на фоне других при прочих равных условиях;

- Если у вас нет Data Science опыта, но есть релевантный опыт в разработке или аналитике, может быть реально поучаствовать в Data Science проектах в компании, где вы уже работаете. Если наберется track record из 2-3 таких проектов, то уже проще будет и формально перейти на DS-позицию. Иногда для этого надо чем-то пожертвовать, например, немного проиграть в деньгах или в должности;

- Как ни банально звучит, первым делом смотрят на резюме, так что его надо слегка прожарить. Сервис ResumeWorded прям хорош (пост).

Что скорее не поможет:

- Набивать титулы типа Kaggle Competitions Master. Тут можно потратить уйму времени и в результате отклик может не обрадовать. Эйчары не сильно различают грандмастеров в Notebooks и соревнованиях, так что ваша лычка можнт быть не так уж и заметна. Есть, конечно, исключения, например, команды с большив представительством Kaggle Competitions Grandmasters (H2O, Nvidia Rapids), но среднему человеку я не порекомендуем такой путь развития (мне он тоже не подходит). При всем сказанном, получить немного опыта на Кэггле – однозначно здорово.

- Получать охапки сертификатов. К ним отношение противоречивое, но если у вас нет релевантного опыта работы, скорее всего сертификаты не спасут ситуацию. Открыть/Комментировать

2024-05-16 15:00:17 все это пропустили, а ведь...





??? Технологии 25-го кадра?

Релиз 4.5 летом чи шо... Открыть/Комментировать