Сиолошная

2023-06-09 23:58:37 Посмотрите на приложенный скришот. Бред, не так ли? Почему суперультрамегамощная GPT-4 не может решить очень простую задачу — даже просто повторить строку на входе!

Все дело в том, как GPT "видит" текст. Для каждой модели существует "словарь", состоящий из токенов. Этот словарь определяется один раз перед тренировкой модели, фиксируется и не меняется. Модель, в свою очередь, для каждого токена в словаре выучивает вектор, указывающий на некоторую точку в "пространстве смыслов". Разные точки означают разные смыслы, и именно так модель и понимает, что вы ей пишете (больше про это в подкасте тут).

Для того, чтобы "выучить" вектор, модели нужно встретить токен, ему соответствующий, в тексте во время тренировки. Понятно, что какие-то слова встречаются чаще, какие-то реже, и некоторые вектора остаются недообученными, то есть не в полной степени отражают смысл, который должен быть.

Сам словарь перед тренировкой формируют следующим образом: берут все тексты, что есть, и ищут в них самые частовстречающиеся буквосочетания. Многие из них являются целыми словами (что логично), однако очень сложно понять, в какой момент осмысленные частицы и слова кончаются, и в словарь начинает попадать какая-то муть. Так произошло и здесь - в словарь попал токен " davidjl", что — вы не поверите — является частью ника одного пользователя Reddit. Да не случайного, а самого активного в сабреддите r/counting, где люди...просто пишут числа по порядку (да, 1,2,3,...и так 150 тысяч раз ). Видимо, страницы спарсили при подготовке данных, и вот таким вот образом человек себя "увековечил" в модели. А та, в свою очередь, не выучила для его ника вектора — поэтому путается, и не может "прочитать" его, чтобы написать осмысленный ответ.

И это не единичный случай - вот тут можно более подробно прочитать про способ нахождения аномальных токенов, и посмотреть на десятки примеров. Открыть/Комментировать

2023-06-09 23:35:16 Фух, спасибо, что эти ваши GPT при тренировке выучиваются быть Helpful Ассистентами! Реально выручил!

(ситуация конечно кек)

Источник: тут (мне приятель скинул) Открыть/Комментировать

2023-06-09 23:29:13 На неделе компания Magic.dev анонсировала модель LTM-1 (Long-Term Memory network): большую языковую модель с поддержкой контекста в 5'000'000 токенов

Нет, это не ошибка, пять миллионов. У GPT-4 есть версия на 32'000 токенов, конкурент OpenAI предлагает модель Claude с поддержкой окна контекста 100'000 - в 50 раз меньше, чем LTM-1. Сценарий использования у модели — это написание кода и помощь разработчикам.

Вот тут и тут можно посмотреть примеры юзкейсов. Однако меня это не сильно впечатлило — с помощью правильного промпта и эвристик в целом получалось то же самое (см. промпт GitHub Copilot тут).

Проект интересен по другой причине. AI Software Engineer, как это называет компания Magic.dev, впечатляет, но по настоящему такой длинный контекст раскроется в других областях. Подумайте, что будет дальше:
— Целые проекты в промптах (большие наборы функций на все случаи жизни)
— Инструкции для модели длинной в книгу, с описанием всех тонкостей
— Подстановка K примеров выполнения схожей задачи, где K равно не 10-30, как сейчас, а 10'000
— При этом каждый пример может быть по 30 страниц - это тоже влезет в промпт!

Те, кто заявлял о неминуемой смерти промпт-инженеринга до того, как появились модели с длинным контекстом, скорее всего просто обладали слабым воображением! Мы по сути еще и не начали писать (и генерировать!) промпты на полную.

И немного о компании: открылись в 2022м году, подняли раунд $23M (в том числе от соавтора GitHub Copilot, лол), нанимают инженеров, в том числе низкоуровневы - потому что нужно делать очень специфичные решения для масштабирования. К слову, LTM-1 хоть и видит больше контекста, чем GPT, но имеет меньше параметров, чем современные топовые модели, что делает её менее способной. А зная, насколько сильно масштабирование модели улучшает производительность GPT, можно помечтать о том, во что превратится и этот монстр!

Пока доступ к модели только по спискам, встать в очередь можно тут: https://magic.dev/waitlist Открыть/Комментировать

2023-06-08 01:38:15 Вчера вышла Diablo IV — продолжение культовой серии, возвращающее нас в Санктуарий (название вымышленного мира) спустя более чем 10 лет после "тройки". У критиков игра получила хорошие оценки (88-93 балла на Metacritic, в зависимости от платформы), а от… Открыть/Комментировать

2023-06-08 00:05:41 Последнюю недельку в рамках улучшения навыков разговорного английского и уточнения своих менеджерских взглядов начал смотреть видео с Jen-Hsun "Jensen" Huang — CEO Nvidia, компании, которая на прошлой неделе скакнула в цене на 25% на фоне хайпа по AI и перешагнула… Открыть/Комментировать

2023-06-08 00:03:54 Последнюю недельку в рамках улучшения навыков разговорного английского и уточнения своих менеджерских взглядов начал смотреть видео с Jen-Hsun "Jensen" Huang — CEO Nvidia, компании, которая на прошлой неделе скакнула в цене на 25% на фоне хайпа по AI и перешагнула оценку в $1T (таких дорогих компаний всего 7-8 в мире).

Очень мне импонирует его стиль подачи, способ объяснений и идеи.
Началось всё вот с этого shorts, где Jensen за 20 секунд без технических деталей объяснил, чем компания вообще занимается. Причем, это прям его vision – они не делают видеокарты, они разрабатывают технологии ускорения вычислений, для того чтобы мир мог решать задачи, которые врядли получилось бы решить другим способом. Он не приводит это как пример, однако ясно, что GPU нужны в том числе и для обучения AI-ассистентов вроде ChatGPT. А если посмотреть на другие продукты Nvidia, которые помогают продавать железки — с дуба рухнуть можно от полноты и насыщенности: от симуляций погоды до генерации синтетических данных при обучении автопилотов.

Вот пара кусочков, которые хорошо сложены:
1) Advice for Students, или кто такой инженер, и почему навык решения проблем (включая их декомпозицию) по жизни это навык крайне важный — не важно СЕО ты или пишешь низкоуровневый код. Очень важно понимать проблему, не стесняться переформулировать её, в самом деле понимая, что собой проблема представляет. После этого, вероятно, проблема будет решаться легче.
2) Employee Selection Affects Culture, или про то, как важно правильно отбирать кандидатов и определять их близость к культуре компании (которая идет от СЕО). Насколько их ценности сходятся с вашими, насколько горят глаза заниматься вашими задачами и решать проблемы, быть командным игроком. Jensen делится, что они делают предложение о работе 10% людей, которых собеседуют (12 лет назад, сейчас цифра может быть другой), и из них 95% принимает оффер. А людей, которые остаются работать, обеспечивают потрясающими проектами, большим кол-вом ресурсов и командой таких же заряженых спецов.
3) How a CEO Spends Time, или что СЕО должен заниматься стратегией и задачами с далеким горизонтом влияния, а не мелкими рутинными задачками тут и там. При этом важно оставаться в касании с командой, общаться с людьми на митингах, на обеде в кафешке и так далее. Это помогает распространять культуру (см. пункт 2).

Полная часовая лекция в Stanford 10-летней давности: тут.

А в комментарии кидайте свои любимые отрывки интервью с клевыми чуваками, которые вам нравятся и которых вы готовы пересматривать по несколько раз. Открыть/Комментировать

2023-06-07 23:03:56 Вчера вышла Diablo IV — продолжение культовой серии, возвращающее нас в Санктуарий (название вымышленного мира) спустя более чем 10 лет после "тройки".

У критиков игра получила хорошие оценки (88-93 балла на Metacritic, в зависимости от платформы), а от игроков на предрелизных тестах слышал много положительного, хоть и жаловались на отсутствие новизы и свежих идей. Но в целом очень рад за серию, так как у разработчиков сейчас не самая лучшая репутация, последние релизы испортили впечталения.

Вообще компания-издатель Blizzard славится своими cinematic-роликами, они всегда сделаны очень качественно, с большим бюджетом. Вот мой самый любимый из текущей релизной линейки (3 минуты). Это спокойно могло быть открывающей сценой в Голливудском блокбастере!

Комментарии под роликом (и тут) дают понять ширину игровой аудитории, которая является целевой:
— I'm 44 this year and I distinctly remember seeing original Diablo on demo <...>
— I'm 43 years old, and have been a Diablo fan since day one. <...>

Когда-то и мы будем вспоминать о чём-то из молодости, что дарило нам вау-ощущения и эмоции...

В комментариях делитесь своими воспоминаниями о том, как гоняли в "двойку", представляя себе вместо пикселей реальные пещеры, полные опасностей. А если опробовали 4ку, то тем более! Открыть/Комментировать

2023-06-07 19:29:33 Наткнулся на открытый пост в vas3k-клубе про изменение процедуры найма. Во мне что-то откликнулось, так как я сам сейчас активно нанимаю, уделяя от 1 до 5 часов собеседованиям в день (sic!). Приглашаю и вас ознакомиться с другой стороной, посмотреть чужими… Открыть/Комментировать

2023-06-07 00:53:56 I believe that in 50 years’ time it will be possible to make computers play the imitation game so well
that an average interrogator will have no more than 70% chance of making the right identification
after 5 minutes of questioning.
– Alan Turing, 1950

В последние полгода как-то стыдно вспоминать про классический тест Тьюринга. Во-первых, не кажется, что он является качественным индикатором появления AI, а во-вторых ChatGPT/GPT-4 так далеко зашли по пути интеграции в сообщества (более 300 миллионов уникальных посетителей на сайте!), что кому-то кажется, что машины могут всё, а иному — что он легко отличит сгенерированные ответы от реальных.

Вашему вниманию предлагается статья "Human or Not? A gamefied approach to the Turing Test".

В течение месяца в специально подготовленную веб-игру сыграло более 1,5 миллиона пользователей. Было предложено анонимно початиться на протяжении двух минут либо с другим человеком, либо с языковой моделью типа GPT (которой нужно было вести себя как человек).

Задача игроков заключалась в том, чтобы правильно угадать, разговаривают ли они с человеком или с машиной. Этот крупнейший на сегодняшний день тест в стиле Тьюринга выявил несколько интересных фактов. Например, в целом пользователи правильно угадывали личность своих партнеров только в 68% игр. А в отдельном подмножестве чатов, в которых пользователи сталкивались с ботом, у пользователей был еще более низкий уровень правильного угадывания — 60% (то есть ненамного выше, чем подбрасывание монетки 50/50). Плюс, люди были немного предвзяты, так как знали, что потенциально могут общаться с машиной (а про шумиху про ЕСКУСТВЕНЫЙ ИНТЕЛЕКТ вокруг нас и говорить не буду).

Понятно, что это в некотором смысле ограниченный эксперимент, и его нужно расширять (за 2 минуты много ли успеешь написать? 4-5 сообщений, и только), но сами цифорки интересные.

На картинке: примеры того, как люди пытались дурить друг друга и AI-шку. Открыть/Комментировать

2023-06-06 22:23:41 Наткнулся в твиттере на пример того, как ControlNet применяют для превращения (почти) любых рисунков в QR-код, отсканировав который можно перейти по реально работающей ссылке. Собственно, можете попробовать и сами :)

На reddit можно найти еще 8 примеров с другими картинками (пару из них скину в комментарии для вашего удобства), а в оригинальном посте на одной из китайских платформ, где автор запостил свой процесс разработки - еще пару десятков.

Правда, работает у меня на Samsung дай бог каждый второй QR-код. Однако приятели с iPhone говорят, что считываются правильно почти все.

В общем, очень красивое применение технологии смешивания двух картинок (черно-белый QR-код и произвольное изображение), однозначно привлекающее внимание мимопроходящих.

UPD: в комментарии еще скинули твиттер-тред с объяснением принципа работы QR-кода, как там что кодируется и почему. Открыть/Комментировать