эйай ньюз

2024-04-25 09:07:15 Для контекста о посте ниже: Степан (автор e/acc) — фаундер и венчурный инвестор. У него можно почитать и про крипту, и про веб3 (это не формат файла, если что), ну и без AI/ML, конечно, не обошлось. А еще, как инвестор, Степан много рассуждает на тему того, как будет устроен мир в перспективе от 5 до 30 лет. Так что там не обошлось и без программируемой экономики с цифровыми государствами. Рекомендую почитать, если про такое еще не слышали — контент в канале у Степана топовый.

@ai_newz Открыть/Комментировать

2024-04-25 01:31:45 Diffusion Models for Video Generation

Вышел новый пост #ликбез в моем любимом блоге. У Lilian Weng (OpenAI) всегда получаются очень подробные разборы тем. На этот раз она написала про существующие подходы для генерации видео с помощью диффузии. Контент для продвинутых юдокас.

Другие крутые посты из блога Lilian:
- Про диффузию
- Про оптимизацию трансформеров
- Про другие генеративные модели

@ai_newz Открыть/Комментировать

2024-04-24 21:59:40 Ищем ML engineer с опытом в Gen AI (Diffusion, GAN, CV)

О нас:
Мы продуктовая ai компания, сделали uncensored 18+ multimodal AI chat (text, photo, voice) и сейчас имеем сеть крупных клиентов из adult, dating индустрии с миллиардами юзеров в месяц, которые наши продукты берут себе как SaaS whitelabel. У нас сильные ребята в rnd (из Stability AI, Meta), и мы расширяем команду rnd в сфере vid2vid и text2vid.

Задачи:
- Ресерч и воспроизведение текущих опенсорс решений.
- Эксперименты с допиливанием и файнтюном текущих решений до прототипов.
- Video editing, image to video, text to video
- Video to anime, video filters as de-aging, hair color stylization, enhancement
- Тренировка adult foundation model

Есть доступ к большим объемам данных и видеокартам. Сделаем то, чего еще нет в adult индустрии.

Если у тебя нет подходящего опыта, но есть хорошее образование (мфти, шад, и ты внимательно дочитал до сюда, то бронируй сразу календли дот ком слеш vb--fdmx) тоже не стесняйся откликаться, мы набираем большую разнообразную команду под этот ресерч.

$1000 за успешную рекомендацию после прохождения ИС

Заполняй форму и отправляй друзьям!
https://forms.gle/oywNE9VAG6xue4xh6

Полный текст вакансии:
https://teletype.in/@softpear/D5xjp1xuP_-

#промо Открыть/Комментировать

2024-04-24 04:08:07 Открыть/Комментировать

2024-04-23 18:32:47 FineWeb - открытый датасет масштаба LLaMa 3

Взяли CommonCrawl, отфильтровали оттуда 15 триллионов токенов (прям как у LLaMa 3). Вышло лучше большинства других датасетов для претрейна. Тестят они это натренировав на ~350 миллиардах токенов из каждого датасета 1.8B модель, а вообще в процессе разработки датасета натренировали 200+ мини-моделей. График красивый но слегка устарел - у датасета Dolma (в котором всего 3 триллиона токенов) на днях вышла версия получше, с ней сравнить не успели и кто из них лучше - пока непонятно.

Иметь хороший датасет крайне важно, "garbage in, garbage out" распространяется на ИИ больше чем на всё остальное и именно в качестве датасетов огромное преимущество больших лаб. Это видно, например, на Falcon 180B, который тренировали на 3.5 триллионов токенов ($30 миллионов в AWS, ничему жизнь не учит), только затем чтобы слегка обогнать LLaMa 3 8B (~2.5x меньше компьюта) и безнадёжно отстать от LLaMa 3 70B (~2x больше компьюта). И, несмотря на то что Falcon оптимальный по Шиншилле (соотношение токенов/параметров чтобы модель вышла наилучшей при фиксированном компьюте), он не добивается особо выдающихся результатов по сравнению с моделью которая в десятки раз быстрее и в разы дешевле в тренировке. И всё (по крайне мере) из-за датасета.

Пока релизнули только англоязычный датасет, многоязычный обещают чуть позже, и я обязательно напишу о его релизе. Плюс открыли не только датасет, но и скрипты которыми его фильтровали!

Датасет
Пайплайн фильтрации

@ai_newz Открыть/Комментировать

2024-04-22 19:46:05 Вау! Марку действительно нравится наша моделька. Он протестил Imagine Flash — говорит, если он когда-нибудь уйдет из Мета, то откроет магазин мяса Mark's Meats .

@ai_newz Открыть/Комментировать

2024-04-22 17:46:01 Многие любят читать биографии крутых чуваков по типу Стива Джобса, Маска и т.п. Видимо, надеются узнать, как сделать также . К сожалению, правда в том, что им несказанно повезло, и таких историй единицы. Если смотреть на мир под чуть более реалистичным углом, то, если уж стать миллиардером, запустив свой мегапродукт, может и не получится, то стать директором какого-нибудь клевого IT-направления, мне кажется, вполне под силу каждому, кто пытается.

Так вот, на этой неделе Яндекс проведет открытый лекторий, приуроченный к 10-летию Факультета компьютерных наук ВШЭ,  с топ-менеджерами компании. Это отличная возможность поучиться у лучших спецов Яндекса.

24-го числа будет открытие с фуршетом и небольшой приветственной лекцией. Из прикольного, то, что можно будет задать спикерам любой интересующий вопрос по этой форме. А ещё две встречи будут в мае и июне.

К слову, ведут лекции директора направлений Яндекс Образования и Вертикалей (это авто, я.недвижимость и пр). Вот здесь немного подробнее. Спикеры поделятся личными историями о развитии в IT и о том, как сделать так же. У них можно будет спросить совета о своем возможном будущем.

Участие, конечно же, бесплатное. Онлайн, только нужно зарегаться.

Регистрация
Форма для вопросов
#промо Открыть/Комментировать

2024-04-22 09:42:10 Коротко о том, как развлекается кофаундер и CSO HuggingFace

Чуваки сделали умного робота из г*вна и палок машинки на пульте управления и трёх open source нейронок:

Whisper - распознаёт речь.
Idefics2 - ЛЛМ с виженом.
Parler-TTS - голос робота.

Все под управлением Dora-CS, а компьют лежит на ноуте, но связь по безпроводу.

Назвали мило Немо

Малой неплохо так катается по офису, вроде как, даже знает, где кухня. На видео (лучше сами гляньте) один из разрабов вежливо просит привести ему кофе, но оказалось, что кофемашина на ремонте, о чем преданный четырёхколёсный отчитывается хозяину. А еще эта штука кажется понимает язык жестов и едет туда, куда ты тыкаешь.

Вот э тайм ту би алайв!

Твит
Код

@ai_newz Открыть/Комментировать

2024-04-21 13:28:21 Друзья, прямо сейчас вылетаю из Цюриха в Сан-Франциско. Буду там неделю, нужно встретиться с коллегами и боссами лицом к лицу, и, конечно, отпраздновать успешный релиз.

Буду рассказывать хайлайты из поездки, так что накидайте бустов, чтобы я мог постить стори: https://t.me/boost/ai_newz

ПС, если есть кто в районе Менло Парк или Пало Альто — пишите в комменты, может пересечёмся

#personal
@ai_newz Открыть/Комментировать

2024-04-21 12:09:56 Дайджест за неделю (#14)

1. Ведомости с просторов интернета:
- В Chatbot Arena Альтман наносит ответный удар GPT-4 Turbo победила Opus, забрав топ-1 обратно.
- Boston Dynamics представила Atlas, нового гуманоида для битья на электродвигателях вместо поршней.
- У Adobe закончился контент, теперь адобченко платит за плодосъемы для датасетов по 3 бакса в минуту.
- *слух* TikTok экспериментирует с AI-инфлуенсерами для рекламы. Подстава для кожаных тиктокеров?
- Невнятный релиз Stable Diffusion 3 API. SD3, по-братски, выйди и зайди нормально. Красиво, как обещали в пейперах. Мы подождем.
- Gemini Ultra обошлась в 191.4 млн $. Небольшой реалити чек от гугл.
- LLM дайджест за неделю.

2. Почитать на досуге:
- Курс Эндрю Ына "ChatGPT Prompt Engineering for Developers". Хотелось потестить, вот вывод: поможет только новичкам.
- AI Index Report 2024 обзор основных тезисов из огромного отчета от Стэнфорда.
- Запись доклада авторов SORA. Шакальная запись митапа в долине для главных фанатов. Хоть немного приоткрывающая завесу тайны их супер видео модели.

3. Обо мне : )
- Сгонял в Гамбург. И немного размышлений о рынке труда.

4. Meta в опенсорсе:
- Анонсы 1 и 2 от самого Цукерберга.
- LLaMa-3 - новая топ-1 open source LLM. Результаты ChatBot Arena.
- Imagine Flash лично от меня (и команды, конечно) ) – новый ультра быстрый генератор картинок уже доступен в WhatsApp и meta.ai (с впном сша). Здесь о том, как мы ускорили ее в >10 раз.

#дайджест
@ai_newz Открыть/Комментировать