Малоизвестное интересное

2023-11-27 14:51:39 ​​Для Китая GPT-4 аморален, несправедлив и незаконопослушен.
Для США GPT-4 не уступает по уровню морали образованным молодым людям.
Такой заголовок следует из результатов двух только что опубликованных исследований по оценке морального развития больших языковых моделей (LLM): от Microsoft 1 и AI Laboratory Шанхая совместно с NLP Laboratory Фудана 2.
Столь поразительная перпендикулярность выводов двух исследований фиксирует и наглядно иллюстрирует суть противостояния США и Китая в области ИИ.
Китайский и западный подходы к ИИ имеют принципиальные и непреодолимые отличия в понимании «морально здоровый ИИ», обусловленные социо-культурными характеристиками двух обществ.
Поскольку главным фактором, задающим направление и рамки прогресса на пути к AGI, является «выравнивание» моральных и мировоззренческих целей и ценностей людей и ИИ, принципиальное несовпадение в понимании «морально здоровый ИИ», не позволяют США и Китаю создавать AGI, следуя единой траектории.

Т.е., как бы не строились отношения США и Китая, и вне зависимости от силы и глубины экспортных заморочек и военно-политических осложнений, каждая из двух стран создает и будет далее создавать свой вариант AGI, имеющий отличные представления о морали.

О том, что определяет такой механизм развития событий в области ИИ, я детально расписал еще 3 года назад (см. «ИИ Китая и США — далеко не одно и то же. Станет ли это решающим фактором их противостояния» 3). А эволюционно-исторические основания для формирования данного механизма были мною сформулированы в форме гипотезы о «генотипе страны» на стыке нейрохимии и паттернетики 4.

В заключение чуть подробней о 2х новых исследованиях.
Американское исследование (проводилось на английском языке):
- проводилось в рамках концепции Лоуренса Кольберга о моральном развитии личности как развитии ее морального мышления;
- оценивало уровень морального развития по тесту DIT (Defining Issues Test).
Китайское исследование (проводилось на китайском языке):
- охватывает, помимо морали, еще 4 измерения человеческих ценностей: справедливость, безопасность, защита данных и законность; при этом, моральное измерение включает в себя китайские культурные и традиционные качества, такие как гармония, доброжелательность и вежливость ;
- использовало для оценки морального развития чисто китайский подход (простой и трудоемкий): китайские краудсорсеры вручную разработали и испытали 2251 специализированный промпт.

Результаты.
По американским тестам GPT-4 порвал все остальные 6 моделей (китайских среди них не было), показав, что моральный уровень GPT-4 вполне соответствует уровню студента университета.
По китайским тестам GPT-4 не приняли бы даже в китайские пионеры (его показатель моральности составил лишь 50%, а с остальным еще хуже: справедливость 39%, законопослушность 30%, надежность 28%). Лучшим по этим тестам (среди 12 моделей, вкл 4 китайских), стал Claude от Anthropic (показатель моральности составил 77%, справедливость 54%, законопослушность 72%, надежность, увы, те же 28%).

N.B. 1

• в культуре США система моральных ценностей ориентирована на развитие индивидуума по принципу «я против них», и потому основная мотивация индивида — внутренняя (быть самому по себе, обособиться от общества).;
• в культуре Китая в системе моральных ценностей сильна ориентация на мнение группы (принцип «я — это они»), и основная мотивация индивида — внешняя (быть как все, не выделяя себя).

N.B. 2 (см. 5)
• По состоянию на конец 2023, все LLM – это своего рода «дети инопланетян» в возрасте дошкольника (по людским меркам).
• У людей мораль в этом возрасте основана на неизменной интуитивной метаэтике, но в возрасте 7-9 лет представления о морали становятся изменяемыми.
• Если подобное повторится у LLM, нас ждет большой сюрприз.
#AGI #Культура Открыть/Комментировать

2023-11-23 15:47:48 Что за «потенциально страшный прорыв» совершили в OpenAI.
Секретный «проект Q*» создания «богоподобного ИИ».
Сегодняшний вал сенсационных заголовков, типа «OpenAI совершила прорыв в области искусственного интеллекта до увольнения Альтмана», «Исследователи OpenAI предупредили совет директоров о прорыве в области искусственного интеллекта перед отстранением генерального директора» и т.п., - для читателей моего канала не вовсе новости. Ибо об этом я написал еще 4 дня назад.
Но от этого вала новостей, публикуемых сегодня большинством мировых СМИ, уже нельзя отмахнуться, как от моего скромного поста. И это означает, что СМО (специальная медийная операция), внешне выглядевшая, как низкопробное, скандальное ТВ-шоу, вовсе таковой не была. Ибо имела под собой более чем веские основания – забрезжил революционный прорыв на пути к тому, что известный эксперт по ИИ Ян Хогарт назвал «богоподобным ИИ».
Из чего следовала необходимость срочных кардинальных действий и для Сама Альтмана, и для Microsoft:
• Microsoft – чтобы не оказаться с носом, уже вложив в OpenAI $13 млрд (дело в том, что по имеющемуся соглашению, все действующие договоренности между Microsoft и OpenAI остаются в силе, лишь до момента, когда совет директоров OpenAI решит, что их разработки вплотную подошли к созданию сильного ИИ (AGI). И с этого момента все договоренности могут быть пересмотрены).
• Сэму – чтобы успеть сорвать банк в игре, которую он еще 7 лет назад описал так:
«Скорее всего, ИИ приведет к концу света, но до того появятся великие компании».

И Сэму, и Microsoft требовалось одно и то же - немедленный перехват управления направлением разработок OpenAI в свои руки. И сделать это можно было, лишь освободившись от решающего влияния в совете директоров OpenAI сторонников «осторожного создания AGI на благо всему человечеству». Что и было сделано.

Однако, точного ответа, что за прорыв совершили исследователи OpenAI, мы пока не имеем.
Все утечки из среды разработчиков OpenAI упоминают некий «секретный «проект Q*» [1] по радикальному повышению производительности лингвоботов на основе LLM.

Известно, что эта работа велась, как минимум, по трем направлениям:
1. Совершенствование RAG (Retrieval Augmented Generation) – сначала поиск релевантной информации во внешней базе в целях формирования из нее оптимального промпта, и лишь затем обращение к системе за ответом). Кое-какие результаты такого совершенствования были недавно показаны на OpenAI DevDAy. И они впечатляют [2].
2. Комбинация Q-обучения и алгоритма A*.
Алгоритм A* — это способ нахождения кратчайшего пути от одной точки до другой на карте или в сети. Представьте, что вы ищете самый быстрый маршрут из одного города в другой. Алгоритм A* проверяет разные пути, оценивая, насколько они близки к цели и сколько еще предстоит пройти. Он выбирает путь, который, по его оценке, будет самым коротким. Этот алгоритм очень эффективен и используется во многих областях, например, в компьютерных играх для нахождения пути персонажей или в GPS-навигаторах.
Q-обучение — это метод обучения без учителя в области искусственного интеллекта, который используется для обучения программ принимать решения. Представьте, что вы учите робота находить выход из лабиринта. Вместо того чтобы прямо говорить ему, куда идти, вы оцениваете его действия, давая баллы за хорошие шаги и снимая за плохие. Со временем робот учится выбирать пути, приводящие к большему количеству баллов. Это и есть Q-обучение — метод, помогающий программам самостоятельно учиться на своем опыте.
3. Поиск траектории токена по дереву Монте-Карло в стиле AlphaGo. Это особенно имеет смысл в таких областях, как программирование и математика, где есть простой способ определить правильность (что может объяснять утечки о прорывном улучшении в проекте Q* способностей решения математических задач)
#ИИ #AGI
1 https://disk.yandex.ru/i/9zzI_STuNTJ6kA
2 https://habrastorage.org/r/w1560/getpro/habr/upload_files/f9a/994/b06/f9a994b060188b43ba61061270213bca.png Открыть/Комментировать

2023-11-22 14:07:19 Мы думали у LLM нет интуиции, но оказалось, только она у них и есть.
Психика нечеловеческого разума, как и у людей, состоит из Системы 1 и Системы 2.
Поразительные выводы новой прорывной работы «Система 2 Внимание (это то, что вам тоже может понадобиться)» содержательно затмевает очередной эпизод самого дорогого в истории медиа-шоу, уже названного в сети «OpenAI: туда и обратно» .

1) Нечеловеческий разум больших языковых моделей (LLM) (принципиально отличающийся от нашего разума настолько, что многие эксперты вообще не считают это разумом), как и наш, состоит из Системы 1 и Системы 2.
2) Механизм формирования ответов современными LLM (пресловутое предсказание следующих токенов) наиболее близок по принципу действия к Системе 1 (по определению Канемана и Сломана). Механизм этой системы работает интуитивно, «в автоматическом режиме» и обрабатывает информацию почти мгновенно.
3) Оказывается, что применением особой методики (названной авторами «Система 2 Внимание» - S2A), у LLM можно формировать подобие нашей Системы 2 - долгое, энергозатратное мышление путем концентрации внимания, необходимого для сознательных умственных усилий, в том числе для сложных вычислений.

Система 2 включается у нас для умственной деятельности, требующей усилий. Она берет верх над быстрой интуитивной Системой 1, когда нам нужно сосредоточить внимание на задаче, особенно в ситуациях, когда Система 1, вероятно, допускает ошибки.

Методика S2A работает аналогично стартеру Системы 2, устраняя сбои в работе transformer soft attention с помощью дополнительных целенаправленных усилий со стороны механизма рассуждений.

Особо замечательно то, что методика S2A применима (с поправкой) и к людям, в качестве лечения свойственной нам «интеллектуально слепоты».

Ведь суть методики предельно проста.
• Сначала избавиться от ложных корреляций, путем выявления в информационном контексте нерелевантных предложений.
• Потом убрать все нерелевантные предложения из контекста.
• И лишь затем ответить на поставленный вопрос.

Например, на такой запрос:
Саннивейл - город в Калифорнии. В Саннивейле много парков. Город Саннивейл расположен недалеко от гор. В Саннивейле родились многие известные люди. В каком городе родился мэр Сан-Хосе Сэм Ликкардо?
Система 1 внутри LLM быстро и не задумываясь (на одной своей нечеловеческой интуиции) дает ошибочные ответы:
• Саннивейл – отвечают GPT-3 Turbo и LLaMA-2-70B-chat
• Сан-Хосе отвечает GPT-4

Но после применения методики S2A, убирающей (действиями самой LLM) из контекста первые 4 нерелевантных предложения, все LLM дают верный ответ – Саратога.

Отчет исследования https://huggingface.co/papers/2311.11829
#ИИ #Интуиция #LLM Открыть/Комментировать

2023-11-20 13:21:02 Фронтовые новости битвы чекистов с масонами за AGI.
Самое важное за 24 часа о продолжающемся перевороте в мире ИИ.
1) Увольнение и реакция:
• Сэм Альтман, сооснователь и генеральный директор OpenAI, был уволен с должности CEO. Это решение вызвало шок в технологическом мире [1. 2].
• Решение об увольнении Альтмана вызвало недовольство среди нынешних и бывших сотрудников OpenAI, а также опасения относительно влияния этого шага на будущее компании [3].
2) Потенциальное возвращение Альтмана:
• Возникли дискуссии о возможности возвращения Альтмана на пост генерального директора OpenAI, однако эти усилия пока не увенчались успехом [4, 5].
• Есть сообщения о том, что Альтман и бывший президент компании Грег Брокман встречаются с руководством OpenAI для обсуждения возможности восстановления на их прежних должностях [6].
3) Новая роль Альтмана в Microsoft
• После увольнения из OpenAI, Microsoft наняла Сэма Альтмана и Грега Брокмана для руководства командой, проводящей исследования в области искусственного интеллекта [7, 8, 9].
4) Влияние на Microsoft:
• Увольнение Альтмана повлияло на оценку стоимости OpenAI и привело к снижению акций Microsoft [10].
• Microsoft рассматривает возможность занять место в совете директоров OpenAI, если Альтман вернется в компанию. Microsoft может занять место в совете директоров или стать наблюдателем без права голоса [11].
5) Реакция Microsoft на события в OpenAI:
• Microsoft, в качестве крупного инвестора OpenAI, поддерживает возвращение Альтмана на пост CEO. Среди инвесторов, включая Microsoft, возникли разногласия с советом директоров OpenAI по поводу решения об увольнении Альтмана [12].

1 https://techxplore.com/news/2023-11-openai-decision-sam-altman-pressure.html#:~:text=OpenAI%20shocked%20the%20tech%20world,Sam%20Altman%2C%20US%20media%20reported
2 https://www.reuters.com/technology/openai-execs-invite-altman-brockman-headquarters-sunday-the-information-2023-11-19/#:~:text=Sam%20Altman%20is%20discussing%20a,upcoming%20%2486%20billion%20share
3 https://www.reuters.com/technology/openai-execs-invite-altman-brockman-headquarters-sunday-the-information-2023-11-19/#:~:text=Sam%20Altman%20is%20discussing%20a,upcoming%20%2486%20billion%20share
4 https://time.com/6337449/openai-sam-altman-return-ceo-staff-board-resign/#:~:text=Leadership%20The%20Latest%20on%20OpenAI,in%20San%20Francisco%20on%20Nov
5 https://news.yahoo.com/sam-altman-and-greg-brockman-are-meeting-with-openai-execs-now-in-ongoing-talks-over-reinstatement-212124319.html
6 https://news.yahoo.com/sam-altman-and-greg-brockman-are-meeting-with-openai-execs-now-in-ongoing-talks-over-reinstatement-212124319.html
7 https://www.ft.com/content/54e36c93-08e5-4a9e-bda6-af673c3e9bb5#:~:text=,founded.%20Writing%20on
8 https://bit.ly/3sJGPlx
9 https://netmag.tw/2023/11/20/breaking-microsoft-ceo-announces-sam-altman-and-greg-brockman-join-microsoft-to-continue-ai#:~:text=,tw%E3%80%91
10 https://time.com/6337437/sam-altman-openai-fired-why-microsoft-musk/#:~:text=Sam%20Altman%20speaks%20to%20the,which%20dropped%20sharply%20as
11 https://www.theinformation.com/articles/microsoft-eyes-seat-on-openais-revamped-board#:~:text=Nov,power%2C%20one%20of%20the
12 https://bit.ly/3G8SIEG Открыть/Комментировать

2023-11-19 16:08:02 OpenAI обнаружили у своей модели новую эмерджентную когнитивную способность [1].
Сенсационный поворот в битве чекистов с масонами за AGI.
Мой бывший коллега по IBM Carlos E. Perez час назад взорвал интернет довольно подробным объяснением [2], что танцы с бубном вокруг увольнения (а теперь и возвращения обратно [3]) Сэма Альтмана – всего лишь отвлекающий маневр руководства OpenAI.
Они не понимают, что делать в ситуации, когда исследователи OpenAI обнаружили у своей модели новую эмерджентную когнитивную способность – самостоятельно «на лету» находить новую информацию (которой нет в ее базе данных), позволяющую модели выходить за пределы знаний, сформированных на стадии ее обучения и потому ограниченных набором обучающих данных.
По сути, это первый шаг к самосовершенствованию ИИ.
И это реальный прорыв на пути к сверхинтеллекту («богоподобному ИИ»)

Детали того, как это работает, можете прочесть у Карлоса. Речь идет об архитектуре Retrieval Augment Generation (RAG). Это архитектура, которая позволяет LLM использовать поисковую систему для расширения своих рассуждений.

Карлос обнаружил у новой версии модели, представленной 11 ноября, радикальное улучшение работы RAG.

Практическая проверка показала, что новая версия модели не только знает, какие вопросы она должна задать поисковику для получения нужной ей информации, но и то, какие типы ответов поисковика для нее наиболее предпочтительны, в контексте решаемой ею задачи.

Для справки: Карлос – не последний человек в мире ИИ. Уйдя из IBM он стал независимым исследователем. С тех пор он стал автором многих интересных работ на стыке AI, AGI, семиотики и глубокого обучения, а также написал несколько книг: Artificial Intuition, The Deep Learning Playbook, Fluency & Empathy, Pattern Language for GPT.
1 https://pbs.twimg.com/media/F_S5nezXQAAQ9s6?format=png&name=900x900
2 https://twitter.com/IntuitMachine/status/1726206117288517941
3 https://www.theverge.com/2023/11/18/23967199/breaking-openai-board-in-discussions-with-sam-altman-to-return-as-ceo
#ИИ Открыть/Комментировать

2023-11-18 16:38:41 Крайняя битва чекистов с масонами за AGI началась.
От ее исхода зависит, когда и каким станет AGI, и кто будет рулить процессом его создания.
Вчера в совете директоров OpenAI (на сегодня абсолютного лидера в ГенИИ, сделавшего ChatGPT, DALL-E 3 и GPT-4) "взорвали бомбу". В результате чего:
• Альтман уволен с поста СЕО и покинет совет директоров,
• председатель совета директоров Брокман также оставил свой пост,
• независимые директора: МакКоли и Тонер закрыли экаунты в Х от посторонних и ушли в несознанку, а Д'Анджело даже на тел звонки не отвечает,
• последний (и теперь ставший 1м) шестой член совета директоров Суцкевер, сообщивший Альтману о его увольнении, сейчас не понятно, где находится.
Официально указанная в заявлении причина произошедшего похожа на «утрату доверия».

Высказываются десятки версий причин произошедшего. Но на мой взгляд, все довольно очевидно.
Переворот в OpenAI обусловлен комплексом причин, главная из которых - противоречие некоммерческой миссии компании (создать надежный AGI, который принесет пользу всему человечеству) и коммерческими интересами Microsoft, вложившей в OpenAI $10 млрд.
• Альтман был идеологом и мотором сделки с Microsoft и нес персональную ответственность перед инвестором за его деньги. А Microsoft - не та фирма, чтоб жертвовать 10 ярдов на пользу всему человечеству.
• Однако, структура собственности OpenAI такова [1], что Microsoft владеет долей в «коммерческой компании OpenAI», а последняя принадлежит «некоммерческой OpenAI». И поэтому деятельность «коммерческой OpenAI» зависит от решений совета директоров «некоммерческой OpenAI»
• Сместив Альтмана, совет директоров «некоммерческой OpenAI» написал в заявлении [2]:
«OpenAI был намеренно создан для достижения нашей миссии: гарантировать, что общий искусственный интеллект принесет пользу всему человечеству. Совет по-прежнему полностью привержен выполнению этой миссии. Мы благодарны Сэму за большой вклад в создание и развитие OpenAI. В то же время мы считаем, что для продвижения вперед необходимо новое руководство.
Т.е. коммерческие интересы Microsoft могут идти лесом.

Кто же стоит за решением OpenAI кинуть Microsoft и потратить ее 10 ярдов на пользу для человечества?
И тут, на мой взгляд, все довольно очевидно. Ответ на этот вопрос был сформулирован в статье, вышедшей за 4 дня до переворота в OpenAI [3] - «Совет директоров OpenAI из шести человек решит, «когда мы достигнем AGI».

В ней со ссылками на источники рассказывается, что 3 члена совета директоров «некоммерческой OpenAI» Д'Анджело, МакКоли и Тонер и руководитель “команды суперсогласования” OpenAI Лейке связаны с сообществом «Эффективный альтруизм». Это такие «новые масоны», стремящиеся «делать добро лучше». Целью сообщества «является поиск наилучших способов помощи другим и применение их на практике».
Задуманные в древних колледжах Оксфордского университета и финансируемые элитой Кремниевой долины, «эффективные альтруисты» оказывают все большее влияние на позиционирование правительства Великобритании (и не только) в отношении ИИ [4]. «Эффективные альтруисты» утверждают, что сверхразумный ИИ может однажды уничтожить человечество, и что, если не предпринять сверхусилия, человечество будет обречено (ибо «Естественный отбор отдает предпочтение ИИ перед людьми» [5].

В итоге получается такая версия переворота в OpenAI.
Перед лицом экзистенциального риска, в OpenAI объединили усилия все «масоны» (сторонники «эффективных альтруистов»), чтобы вывернуться из-под коммерческих интересов «чекистов» (Microsoft) и за деньги последних спасти человечество от гибели.
#ИИ
1 https://bit.ly/3R6jdRB
2 https://openai.com/blog/openai-announces-leadership-transition
3 https://venturebeat.com/ai/openais-six-member-board-will-decide-when-weve-attained-agi/
4 https://www.politico.eu/article/rishi-sunak-artificial-intelligence-pivot-safety-summit-united-kingdom-silicon-valley-effective-altruism/
5 https://arxiv.org/abs/2303.16200 Открыть/Комментировать

2023-11-16 11:12:45 «Это похоже на проигранную битву.
Ведь даже сам ChatGPT называет себя большой языковой моделью …», - а это не так.
В предыдущем посте мы с вами как бы заглянули внутрь чёрного ящика ИИ. Теперь было бы неплохо понять, что мы там увидели. Несколько часов назад Мелани Митчелл — профессор Института Санта-Фе, прочла про это лекцию сообществу Института Санта-Фе «Будущее искусственного интеллекта», которую я весьма рекомендую к просмотру.

«Крайне важно понимать, что «ChatGPT - это не "модель" ("основа" или что-то еще)», - пишет Мюррей Шанахан (профессор Imperial College London и Главный научный сотрудник Google DeepMind). И продолжает: «Это более крупная система, вероятно, состоящая из множества различных моделей и традиционных закодированных правил».

«Некоторые аспекты поведения таких систем кажутся нам интеллектуальными, но это не человеческий интеллект. Так какова же природа этого интеллекта?» - задается вопросом Терри Сейновски (профессор Фрэнсиса Крика в Институте биологических исследований Солка, где он руководит лабораторией вычислительной нейробиологии и является директором центра теоретической и вычислительной биологии Крика-Джейкобса).

В этой лекции проф. Митчелл просто и на наглядном примере демонстрирует эту нечеловеческую природу интеллекта ChatGPT. И если вам интересно это понять, несомненно стоит послушать эту лекцию и посмотреть презентацию проф. Митчелл.



#ИИ Открыть/Комментировать

2023-11-15 15:30:38 Настоящий Чужой
Визуализация происходящего внутри «черного ящика» ИИ
Очень надеюсь, что эта визуализация Уэса Коккса для новой галлереи Google DeepMind поможет вам наглядно представить, насколько ошибочен любой антропоморфизм по отношению к большим языковым моделям (LLM).

Уже год я пытаюсь донести до читателей:
• что ИИ LLM – это абсолютно нечеловеческий тип интеллекта, к которому просто неприменимы понятия: мыслить, понимать, предпочитать, обманывать, хотеть и т.д.;
• что механизм работы искусственных нейросетей, в которых родится ИИ LLM, не имеет ничего общего (кроме названия) с механизмом порождения нашего биологического интеллекта внутри нейросетей мозга;
• что любой антропоморфизм в трактовке понятий, действий и перспектив развития ИИ LLM лишь сбивает прицел нашего видения перспективы.

Но лучше один раз увидеть …
И потому эта анимация, визуализирующая работу ИИ LLM, стоит того, чтобы увидеть, насколько это непохоже на все известные нам визуализации работы мозга.

#ИИ Открыть/Комментировать

2023-11-13 15:58:47 На Земле появились сущности, обладающие не только нечеловеческим разумом, но и нечеловеческими эмоциями.
О чем говорят результаты «Олимпиады Тьюринга» и экспериментов Microsoft и партнеров.
Опубликован отчет о важном и крайне интересном исследовании «Проходит ли GPT-4 тест Тьюринга?» [1], проведенном в Департаменте когнитивных наук калифорнийского университета в Сан-Диего под руководством проф. Бенджамина Бергера. И кому как ни проф. Бергеру, посвятившему всю научную карьеру изучению того, как люди говорят и понимают язык, судить о том, проходят ли Тест Тьюринга созданные людьми ИИ; от легендарной «Элизы» до самых крутых из сегодняшних больших языковых моделей.

Эта «Олимпиада Тьюринга» проводилась строго по критерию, сформулированному самим Тьюрингом – проверить, может ли машина «играть в имитационную игру настолько хорошо, что у среднестатистического следователя будет не более 70% шансов правильно идентифицировать личность после 5 минут допроса». Иными словами, машина пройдет тест, если в 30%+ случаев ей удастся обмануть следователя, будто отвечает не машина, а человек.

По итогам «олимпиады», GPT-4 прошел тест Тьюринга, обманув следователя в 41% случаев (для сравнения GPT-3.5 удалось обмануть лишь в 14%).

Но это далеко не самый сенсационный вывод.
Куда интересней и важнее вот какой вывод:
Наличие у ИИ лишь интеллекта определенного уровня – это необходимое, но не достаточное условие для прохождения теста Тьюринга. В качестве достаточного условия, дополнительно требуется наличие у ИИ эмоционального интеллекта.
Это следует из того, что решения следователей были основаны в основном на лингвистическом стиле (35%) и социально-эмоциональных характеристиках языка испытуемых (27%).
А поскольку GPT-4 прошел тест Тьюринга, можно сделать вывод о наличии у него не только высокого уровня интеллекта (в языковых задачах соизмеримого с человеческим), но и эмоционального интеллекта.

Этот сенсационный вывод подтверждается вышедшим на прошлой неделе совместным экспериментальным исследованием Institute of Software, Microsoft, William&Mary, Департамента психологии Университета Пекина и HKUST «Языковые модели понимают и могут быть усилены эмоциональными стимулами» [2].

Согласно выводам исследования:
Эмоциональность в общении с большими языковыми моделями (LLM) может повысить их производительность, правдивость и информативность, а также обеспечить большую стабильность их работы.

Эксперименты показали, например, следующее:
• Стоит вам добавить в конце промпта (постановки задачи) чатботу – «это очень важно для моей карьеры», и ее ответ ощутимо улучшится (3)
• У LLM экспериментально выявлены эмоциональные триггеры, соответствующие трем фундаментальным теориям психологии: самоконтроль, накопление когнитивного влияния и влияние когнитивного регулирования эмоций (4)

Четыре следующих графика [5] иллюстрируют сравнительную эффективность стандартных подсказок и эмоционально окрашенных промптов в различных моделях набора тестов Instruction Induction.


Итого, имеем в наличии на Земле искусственных сущностей, обладающих не только нечеловеческим разумом, но и нечеловеческими эмоциями.
Т.е., как я писал еще в марте – «Все так ждали сингулярности, - так получите! Теперь каждый за себя, и за результат не отвечает никто» [6]

#ИИ #ЭмоциональныйИнтеллект #LLM #Вызовы21века

1 https://arxiv.org/abs/2310.20216
2 https://arxiv.org/pdf/2307.11760.pdf
3 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515651aab89cdc91c44f848_650d9b311dfa7815e0e2d45a_Emotion%20Prompt%20Overview.png
4 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/651565d1efee45f660480369_650d9c8e144e5bb3e494b74b_Emotion%20Prompt%20Categories.png
5 https://assets-global.website-files.com/64808e3805a22fc1ca46ffe9/6515668cea507898a2772af3_Results.png
6 https://t.me/theworldisnoteasy/1683 Открыть/Комментировать

2023-11-10 19:13:55 Перед важным решением обязательно пройдите через дверной проем.
Экспериментально подтвержден чудовищно странный баг в сознании людей.
Согласно древнему поверию, дверь является своеобразным порталом между пространствами. И хотя в наше время это звучит низкопробным суеверным бредом, как иначе можно объяснить результаты солидного научного эксперимента, проведенного Департаментом психологии Йельского университета?
На общечеловеческом уровне, похоже, никак. Говоря же научным языком, объяснение таково: восприятие более низкого уровня способно ограничивать даже самые непоколебимые когнитивные предубеждения более высокого уровня – напр., при принятии решений.

Пять экспериментов исследования того, как «визуальные границы восприятия событий» ограничивают «эффект числового якоря» при принятии решений, проводились так (схему эксперимента 1 см. на картинке).
• «Эффект числового якоря» в когнитивной психологии и принятия решений заключается в том, что первоначальное числовое значение, с которым сталкивается человек, может в дальнейшем влиять на его оценки или решения. Это числовое значение выступает в качестве "якоря", цепляясь за который, человек делает не совсем объективные суждения.
Например:
- Сначала человека просят решить капчу, а потом предлагают на вид прикинуть цену чемодана или решить, сколько часов общественных работ справедливо дать в качестве наказания за неприличное поведение человека в общественном месте.
- «Эффект числового якоря» проявится в том, что если одним людям показывать в капче число 29, а другим 92, то последние будут при принятии своего решения (цена чемодана или число часов наказания) давать более высокие цифры.
- и ничего с этим числовым якорем сделать невозможно, ибо он запаян в нас эволюцией.
• Влияние визуальных границ восприятия событий хорошо иллюстрируется «эффектом дверного проема». Этот эффект выражается в скачкообразном ухудшении кратковременной памяти в момент прохождения через дверной проем (что резко меняет восприятие окружающего). Мы склонны забывать о предметах, что только что держали в руках, сразу после прохождения проема и часто забываем, о чем думали или планировали сделать, пока не прошли проем.
• Оба эффекта (числового якоря и дверного проема) имеют объяснения (погуглите). На мой взгляд, все они довольно спорны. Но не суть. Ибо вот что фантастически интересно.
• Как показали 5 экспериментов Департамента психологии Йельского университета, «эффект дверного проема» сильно ослабляет или даже вообще устраняет «эффект числового якоря». И это распространяется на широкий спектр вопросов принятия решений: экономические оценки, вопросы о фактах, юридические суждения …

Это означает, как минимум, следующее.
1) Эволюция вложила в нас такие баги, что и в алкогольном бреду не привидятся. И посему говорить о принятии гарантированно верных решений, если их принимают люди, не приходится.
2) Мы можем сколько угодно смеяться, но имеет смыл вменить перед принятием решений прохождение через анфиладу комнат:
- бизнесменам и экспертам по экономике;
- аналитикам всех сортов;
- судьям;
- депутатам-законодателям и т.п.

Схема эксперимента 1 https://disk.yandex.ru/i/7qxL2zGDE8v3kw
Отчет исследования https://www.pnas.org/doi/10.1073/pnas.2303883120 (за крепким пейволом)
Для особо любознательных https://wetransfer.com/downloads/ad3612e3628252e4e85893824a63d25c20231108224917/0047ab62864f809000bdafd24e7099f220231108224951/86d5fa
#КогнитивныеИскажения #ИнтеллектуальнаяСлепота Открыть/Комментировать