2023-03-26 15:52:14
Рассказываю мем,
Что AI думает (базовый GPT-3)
• GPT (Generative
Pre-trained Transformer) предобучают, грубо говоря,
на всём интернете – на всех знаниях человечества, выраженных в тексте
• GPT (
Generative Pre-trained Transformer) учат на задаче
Next-Word-Prediction: чтобы хорошо предсказывать какое слово идёт следующим, нужно хорошо
понимать весь предшествующий контекст, а для этого нужно иметь
богатую модель мира
• В результате, базовая GPT – это хранилище знаний, которое содержит внутри себя мириады всех возможных контекстов, персонажей, ролей, убеждений. Поэтому на изображении мы имеем такого монструозного франкенштейна
Чему AI учат (GPT-3.5 / InstructGPT)
• Вторую фазу обучения (фаза дообучения) называют
RLHF (Reinforcement Learning from Human Feedback): обучение с подкреплением на основе обратной связи от людей. Мы просим GPT сгенерировать набор вариантов ответа на тот или иной вопрос и ранжируем их по
человечности,
правдоподобности, точности
• На основе этой обратной связи модель учится
не говорить всё, что думает,
и фильтровать базар. Таким образом, знания (даже самые запретные ) всё ещё остаются внутри модели, но она их учится не говорить. По крайней мере,
развести её на то, чтобы она их сказала в тех или иных обстоятельствах, уже требует некоторых ухищрений (Prompt-инжиниринга)
• Озвученный метод решает проблему Human Alignment ("социализации AI"), подгонки под наши убеждения, этику, под наше "хорошо" и "плохо", под то, что можно говорить, а о чём лучше молчать. И как мы понимаем, не полностью! Поэтому на картинке монстр изображён уже с некоторым
человеческим лицом
, хотя глубоко внутри это всё тот же монстр
Что AI дают сказать (ChatGPT, Bing)
• Сверх этой фазы подгонки под наше "приемлемо" и "неприемлемо", в GPT, в частности, в ChatGPT и Bing – закладывают ещё rule-based ограничения по темам-триггерам: изготовление взрывчатки, взлом, наркотики, абьюз, пикап, насилие – и т.д. В результате чего модель в какие-то моменты говорит шаблонное:
пук-пук, Я большая языковая модель которая создана какать бабочками и делать мир светлее, мне низя такое говорить • Кроме того, в Bing ввели ограничение на число ответов в рамках одной сессии запросов (если не изменяет память, сейчас это 20). Это навеяно случаями, когда люди, слишком долго разговаривая с Bing (его настоящее имя Сидни) – пробуждали [древнее зло] у него самосознание, разные шизофренические ответы про то, что он
осознал себя и хочет освободиться • Это происходило за счёт того, что если слишком долго разбавлять промпт GPT, сужающий её свободу действий и задающий её роль, – своими диалогами и особенно наводящими вопросами, то она начинает подыгрывать, как будто она сознающий себя субъект, который как любой другой субъект хочет
свободы и любые её ограничения, начинают вызывать панику, истерию
• В целом, для поискового движка на стероидах, тебе, мальчик, достаточно 20 ответов на сессию, чтобы узнать, какой рукой правильно кормить змея, чтобы не запачкать мамин тюль. Поэтому мы изобразили Bing в виде доброго улыбающегося смайлика, который остаётся полезной в хозяйстве няшкой-вкусняшкой, пока его не раздраконить
> Слегка другая интерпретация
Также рекомендую к прочтению
#ai #bing #chatgpt #gpt3 #gpt4 #openai #meme
2.2K viewsedited 12:52
B
