эйай ньюз

2024-04-22 19:46:05 Вау! Марку действительно нравится наша моделька. Он протестил Imagine Flash — говорит, если он когда-нибудь уйдет из Мета, то откроет магазин мяса Mark's Meats .

@ai_newz Открыть/Комментировать

2024-04-22 17:46:01 Многие любят читать биографии крутых чуваков по типу Стива Джобса, Маска и т.п. Видимо, надеются узнать, как сделать также . К сожалению, правда в том, что им несказанно повезло, и таких историй единицы. Если смотреть на мир под чуть более реалистичным углом, то, если уж стать миллиардером, запустив свой мегапродукт, может и не получится, то стать директором какого-нибудь клевого IT-направления, мне кажется, вполне под силу каждому, кто пытается.

Так вот, на этой неделе Яндекс проведет открытый лекторий, приуроченный к 10-летию Факультета компьютерных наук ВШЭ,  с топ-менеджерами компании. Это отличная возможность поучиться у лучших спецов Яндекса.

24-го числа будет открытие с фуршетом и небольшой приветственной лекцией. Из прикольного, то, что можно будет задать спикерам любой интересующий вопрос по этой форме. А ещё две встречи будут в мае и июне.

К слову, ведут лекции директора направлений Яндекс Образования и Вертикалей (это авто, я.недвижимость и пр). Вот здесь немного подробнее. Спикеры поделятся личными историями о развитии в IT и о том, как сделать так же. У них можно будет спросить совета о своем возможном будущем.

Участие, конечно же, бесплатное. Онлайн, только нужно зарегаться.

Регистрация
Форма для вопросов
#промо Открыть/Комментировать

2024-04-22 09:42:10 Коротко о том, как развлекается кофаундер и CSO HuggingFace

Чуваки сделали умного робота из г*вна и палок машинки на пульте управления и трёх open source нейронок:

Whisper - распознаёт речь.
Idefics2 - ЛЛМ с виженом.
Parler-TTS - голос робота.

Все под управлением Dora-CS, а компьют лежит на ноуте, но связь по безпроводу.

Назвали мило Немо

Малой неплохо так катается по офису, вроде как, даже знает, где кухня. На видео (лучше сами гляньте) один из разрабов вежливо просит привести ему кофе, но оказалось, что кофемашина на ремонте, о чем преданный четырёхколёсный отчитывается хозяину. А еще эта штука кажется понимает язык жестов и едет туда, куда ты тыкаешь.

Вот э тайм ту би алайв!

Твит
Код

@ai_newz Открыть/Комментировать

2024-04-21 13:28:21 Друзья, прямо сейчас вылетаю из Цюриха в Сан-Франциско. Буду там неделю, нужно встретиться с коллегами и боссами лицом к лицу, и, конечно, отпраздновать успешный релиз.

Буду рассказывать хайлайты из поездки, так что накидайте бустов, чтобы я мог постить стори: https://t.me/boost/ai_newz

ПС, если есть кто в районе Менло Парк или Пало Альто — пишите в комменты, может пересечёмся

#personal
@ai_newz Открыть/Комментировать

2024-04-21 12:09:56 Дайджест за неделю (#14)

1. Ведомости с просторов интернета:
- В Chatbot Arena Альтман наносит ответный удар GPT-4 Turbo победила Opus, забрав топ-1 обратно.
- Boston Dynamics представила Atlas, нового гуманоида для битья на электродвигателях вместо поршней.
- У Adobe закончился контент, теперь адобченко платит за плодосъемы для датасетов по 3 бакса в минуту.
- *слух* TikTok экспериментирует с AI-инфлуенсерами для рекламы. Подстава для кожаных тиктокеров?
- Невнятный релиз Stable Diffusion 3 API. SD3, по-братски, выйди и зайди нормально. Красиво, как обещали в пейперах. Мы подождем.
- Gemini Ultra обошлась в 191.4 млн $. Небольшой реалити чек от гугл.
- LLM дайджест за неделю.

2. Почитать на досуге:
- Курс Эндрю Ына "ChatGPT Prompt Engineering for Developers". Хотелось потестить, вот вывод: поможет только новичкам.
- AI Index Report 2024 обзор основных тезисов из огромного отчета от Стэнфорда.
- Запись доклада авторов SORA. Шакальная запись митапа в долине для главных фанатов. Хоть немного приоткрывающая завесу тайны их супер видео модели.

3. Обо мне : )
- Сгонял в Гамбург. И немного размышлений о рынке труда.

4. Meta в опенсорсе:
- Анонсы 1 и 2 от самого Цукерберга.
- LLaMa-3 - новая топ-1 open source LLM. Результаты ChatBot Arena.
- Imagine Flash лично от меня (и команды, конечно) ) – новый ультра быстрый генератор картинок уже доступен в WhatsApp и meta.ai (с впном сша). Здесь о том, как мы ускорили ее в >10 раз.

#дайджест
@ai_newz Открыть/Комментировать

2024-04-20 19:31:38 LLM дайджест за неделю

LLaMa 3 - главная звезда недели, открытые веса, три размера: 8, 70 и 405 миллиардов параметров, последняя ещё тренируется, что не удивительно, ведь датасет для неё это 15 триллионов токенов. Попробовать можете тут, пока только с VPN или можете скачать квантизированные веса с Huggingface, но тогда у вас не будет прекрасной функции Imagine Flash, которую тренировал ваш покорный слуга (да, я).

Pile-T5 - у всех версий T5 довольно плохой токенизатор где отсутствует куча специальных символов, ребята из EleutherAI решили это пофиксить и заменили его токенизатором от второй ламы. Вышла модель чуть лучше базовой T5, но отстающая от FLAN файнтюнов. T5 – это рабочая лошадка, юзаемая как в проде бессчётного количества компаний, так и в новомодном ресёрче вроде SD3 и ReALM, так что пользы от такой "пофикшеной" версии будет немало. А ещё это напоминание что enc-dec модели живее всех живых.

Reka-Core - ещё один encoder-decoder от выходцев из Google, проприетарная модель на уровне примерно LLaMa 3 70B и ниже Gemini Ultra. Мультимодальная, кроме картинок умеет в видео и аудио. Её всё ещё тренируют, факт релиза сырой модели удивляет, походу у стартапа просто заканчиваются деньги. Цены API на уровне GPT-4 Turbo, так что непонятно кому это вообще нужно.

Mixtral 8x22B Instruct - тюн оригинального Mixtral 8x22B, который держал первое место среди открытых моделей по ряду бенчей вроде MMLU целых 26 часов, а потом случилась LLaMa 3.

RWKV EagleX v2 - модель без аттеншна перегнала LLaMA 2 7B и почти догнала Mistral 7B. При том, что на большей длине контекста она СИЛЬНО быстрее. Очень хорошо показывает себя на языках отличных от английского. Модель всё ещё тренируют (общая тема этого дайджеста), так что скорее всего Mistral они догонят.

Хочу отметить что за последние 30 дней рекорд по MMLU среди открытых моделей (который держала Mixtral 8x7B почти 4 месяца) били ПЯТЬ раз: Grok - 73.0%, DBRX - 73.7%, Command R - 75.7%, Mixtral Instruct - 77.75% и LLaMA 3 - 82.0%.

Как вам вообще такой формат дайджеста именно по LLM, стоит продолжать?

#дайджест
@ai_newz Открыть/Комментировать

2024-04-19 15:07:21 LLaMa 3 конкретно ворвалась на лидерборд ChatBot Arena и уже бьет все существующие опенсорсные модели (даже Command R+, про Мистрали я вообще молчу).

И не только! Если брать запросы на английском языке, то LLaMa-3-70B-instruct уже рвет даже Claude 3 Opus и уступает только ChatGPT-4.

Голосов еще не много (чуть больше тысячи), но некие выводы уже сделать можно. Напоминаю, что это модель всего на 70B параметров.

Почитать, что такое ChatBot Arena можно тут.

@ai_newz Открыть/Комментировать

2024-04-18 19:11:47 Imagine Flash - самая быстра генерация text2image

И самая главная новость Imagine Flash – это проект который я вел, и модель, которую я лично тренировал. Мы дистиллировали и ускорили нашу text2image модель Emu, да так, что генерация работает в риалтайме пока вы печатаете промпт! Я очень горжусь тем, что мой проект, который я начал в конце прошлого года вылился в такой мощный релиз – круто видеть реальный импакт своей работы.

Модель Imagine Flash интегрирована в LLaMa. Нужно только начать печатать "Imagine ..." и моментально будет показано превью того, что вы пишете, обновляя генерацию с каждым символом.

А после отправки сообщения можно кликнуть "animate" и быстро анимировать картинку – я и моя команда, конечно, тоже ускорили эту модель для анимации. Еще можно создать видео, где показано как меняется финальный результат во время того, как вы печатали промпт.

Уже доступно в WhatsApp и meta.ai (Flash только в СШA).

Блогпост

@ai_newz Открыть/Комментировать

2024-04-18 19:05:52 LLaMa 3 - дождались: Новая SOTA в open-source!

Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.

Зарелизили в опенсорс LLaMa-3 8B и 70B:
LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше.
LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене.

C новыми моделями можно початиться на meta.ai

Блог
Подробности
Скачать веса модели

@ai_newz Открыть/Комментировать

2024-04-17 18:28:03 Новый Atlas от Boston Dynamics

Только вчера они прощались с классической моделью Атласа, над которым как только не измывались, а сегодня уже показывают его замену. В отличие от прошлых, гидравлических, поколений, новое поколение Atlas - полностью электрическое, что делает его сильнее и ловче.

Выглядит прикольно - дизайном напоминает фантастику 50-х. Мелкой моторики Optimus мы тут, конечно же, не увидим, но двигается он гораздо живее. И, самое важное, его возможно будет купить после бета-тестирования клиентами (пока что это только Hyundai). Но, смотря на цену Spot (да-да, та самая робо-собачка) в $75k, страшно и представить сколько попросят за гуманоидного робота.

@ai_newz Открыть/Комментировать