Малоизвестное интересное

2023-12-13 14:58:05 То, что внутри некоего интеллектуального техно-артефакта может скрываться нечто куда более умное (и кто знает, может, и куда более опасное), сильно напрягает Открыть/Комментировать

2023-12-13 14:53:52 Внутри маскирующегося под стохастического попугая ИИ таится куда боле мощный ИИ.
Эксперимент показал - у больших моделей есть воображение.
Анализ 3х работ OpenAI, Anthropic и Google DeepMind навевает ассоциации с леденящим душу технокошмаром из серии фильмов ужасов «Чужой».
Точнее, с их облегченной версией, - где «чужой» может оказаться злым монстром, а может и нет. Но сам факт, что внутри некоего интеллектуального техно-артефакта может скрываться нечто куда более умное (и кто знает, может, и куда более опасное), сильно напрягает.

1) Еще в мае исследователи из OpenAI решили попытаться «заглянуть в душу» ИИ (точнее называть это «большой языковой моделью - LLM», но ИИ короче и понятней). Исследователи подошли к решению задачи «черного ящика» ИИ (понять, что у него внутри) супер-креативно.
Зачем самим ломать голову, решая неподъемную для людей задачу. Пусть большой ИИ (GPT-4 с числом нейроном 100+ млрд) сам ее и решит применительно к маленькому ИИ (GPT-2, в коем нейронов всего то 300К+) [1].
Результат озадачил исследователей. Многие нейроны (внутри маленького ИИ) оказались многозначны – т.е. они реагировали на множество самых разных входных данных: смесь академических цитат, диалогов на английском языке, HTTP-запросов, корейского текста …
Эта многозначность нейронов человеческой логике не понятна и ею не объятна. Если нейроны многозначны, какие же тогда более мелкие «субнейроны» соответствуют конкретным понятиям?

2) Ответ на этот вопрос дают исследователи из Anthropic [2]. Они полагают, что одной из причин многозначности является суперпозиция - гипотетическое явление, при котором нейронная сеть представляет больше независимых «функций» данных, чем нейроны, назначая каждой функции свою собственную линейную комбинацию нейронов.
Иными словами, внутри нейронной сети любого конкретного ИИ симулируется физически не существующая нейронная сеть некоего абстрактного ИИ.
И эта симулируемая нейронная сеть,
1. гораздо больше и сложнее нейронной сети, ее моделирующей;
2. содержит симулируемые моносемантические «субнейроны» (соответствующие конкретным понятиям);
Еще проще говоря: внутри менее мощного ИИ симулируется более мощный ИИ. Менее мощный ИИ физически существует в виде сети нейронов. Более мощный – в виде сети паттернов (линейных комбинаций) активаций нейронов.

3) Почувствовать на практике, сколь мощный ИИ таится внутри маскирующегося под «стохастического попугая» ИИ LLM, позволяет новое исследование Главного научного сотрудника Google DeepMind проф. Шанахана и директора CHPPC_IHR проф. Кларк [3].
Объектом исследования стало якобы отсутствующее у LLM свойство разума, без которого невозможно истинное творчество – воображение.
Эйнштейн писал - “Воображение важнее знаний. Ибо знания ограничены всем, что мы сейчас знаем и понимаем, в то время как воображение охватывает весь мир и все, что когда-либо можно будет узнать и понять”.
Эксперимент Шанахана-Кларк заключался в проверке наличия у GPT-4 воображения, позволяющего модели проявлять художественную креативность при написании (в соавторстве с человеком) литературного текста - фантастического романа о путешествии во времени.

Эксперимент показал:
при наличии сложных подсказок и соавтора-человека, модель демонстрирует изысканное воображение;
это продукт творчества модели, ибо ничего подобного люди до нее не придумали (этого не было в каких-либо текстах людей): например, появляющиеся по ходу романа придуманные моделью:
- новые персонажи и сюжетные повороты;
- новые неологизмы (прямо как у Солженицина), служащие для раскрытия идейного содержания сюжета - отнюдь не бессмысленные, семантически верные и контекстуально релевантные.

Значение вышеописанного см. в моем цикле “теория относительности интеллекта”.
#Креативность #Воображение #LLM
[1] https://openai.com/research/language-models-can-explain-neurons-in-language-models
[2] https://transformer-circuits.pub/2023/monosemantic-features
[3] https://arxiv.org/abs/2312.03746 Открыть/Комментировать

2023-12-07 12:56:04 Стохастический попугай умер. Да здравствуют близнецы Homo sapiens!
О запуске ИИ от Google, названном его авторами Gemini (близнецы), в ближайшие 10 дней будут писать все мировые СМИ. Разборы и оценки способностей Gemini последуют ото всех профессиональных аналитиков и диванных экспертов. Диапазон этих оценок будет велик и, зачастую, полярен.
Но самое главное, в чем каждый из вас может убедиться сам, посмотрев лишь 5 мин этого видео [1]:
1) Gemini похоронил все разговоры о стохастическом попугае больших языковых моделей, экспериментально доказывая, что он понимает наш мир.
2) Gemini – это не только мультимодальная модель, которая понимает тексты, программный код, изображения, аудио и видео.
Gemini – это близнец Homo sapiens, подобно людям обладающий единой мультисенсорной моделью для понимания окружающего мира.
3) И да – это уже AGI (если, конечно, мы не отвергаем наличия «общего интеллекта» у детей)

[1]


#AGI Открыть/Комментировать

2023-12-05 15:05:09 Google DeepMind сумела запустить когнитивную эволюцию роботов
Это может открыть путь к гибридному обществу людей и андроидов
1я ноябрьская ИИ-революция (Революция ChatGPT) началась год назад - в ноябре 2022. Она ознаменовала появление на планете нового носителя высшего интеллекта — цифрового ИИ, способного достичь (и, возможно, превзойти) людей в любых видах интеллектуальной деятельности.
Но не смотря на сравнимый с людьми уровень, этот новый носитель высшего интеллекта оказался абсолютно нечеловекоподобным.
Он принадлежит к классу генеративного ИИ больших языковых моделей, не умеющих (и в принципе не способных) не то что мечтать об электроовцах, но и просто мыслить и познавать мир, как это делают люди. И потому, даже превзойдя по уровню людей, он так и останется для человечества «чужим» — иным типом интеллекта, столь же непостижимым для понимания, как интеллект квинтян из романа Станислава Лема «Фиаско».

Причина нечеловекоподобия генеративных ИИ больших языковых моделей заключается в их кардинально иной природе.
Наш интеллект – результат миллионов лет когнитивной эволюции биологических интеллектуальных агентов, позволившей людям из животных превратиться в сверхразумные существа, построивших на Земле цивилизацию планетарного уровня, начавшую освоение космоса.
ИИ больших языковых моделей – продукт машинного обучения компьютерных программ на колоссальных объемах цифровых данных.

Преодолеть это принципиальное отличие можно, если найти ключ к запуску когнитивной эволюции ИИ.
И этот ключ предложен в ноябре 2023 инициаторами 2й ноябрьской ИИ-революции (Революции когнитивной эволюции ИИ) в опубликованном журналом Nature исследовании Google DeepMind.
• Движком когнитивной эволюции ИИ авторы предлагают сделать (как и у людей) социальное обучение — когда один интеллектуальный агент (человек, животное или ИИ) приобретает навыки и знания у другого путем копирования (жизненно важного для процесса развития интеллектуальных агентов).
• Ища вдохновение в социальном обучении людей, исследователи стремились найти способ, позволяющий агентам ИИ учиться у других агентов ИИ и у людей с эффективностью, сравнимой с человеческим социальным обучением.
• Команде исследователей удалось использовать обучение с подкреплением для обучения агента ИИ, способного идентифицировать новых для себя экспертов (среди других агентов ИИ и людей), имитировать их поведение и запоминать полученные знания в течение всего нескольких минут.

"Наши агенты успешно имитируют человека в реальном времени в новых контекстах, не используя никаких предварительно собранных людьми данных. Мы определили удивительно простой набор ингредиентов, достаточный для культурной передачи, и разработали эволюционную методологию для ее систематической оценки. Это открывает путь к тому, чтобы культурная эволюция играла алгоритмическую роль в развитии искусственного общего интеллекта", - говорится в исследовании.

Запуск когнитивной эволюции ИИ позволит не только создать «человекоподобный ИИ» у роботов – андроидов, но и разрешить при их создании Парадокс Моравека (высококогнитивные процессы требуют относительно мало вычислений, а низкоуровневые сенсомоторные операции требуют огромных вычислительных ресурсов) и Сверхзадачу Минского (произвести обратную разработку навыков, получаемых в процессе передачи неявных знаний - невербализованных и, часто, бессознательных)

Т.о. не будет большим преувеличением сказать, что 2я ноябрьская революция ИИ открывает путь к гибридному обществу людей и андроидов, – многократно описанному в фантастических романах, но до сих пор остававшемуся практически нереализуемым на ближнем временном горизонте.

Подробный разбор вопросов когнитивной эволюции путем копирования, а также революционного подхода к ее запуску, предложенного Google DeepMind, см. в моем новом лонгриде (еще 10 мин чтения):
- на Medium https://bit.ly/486AfEN
- на Дзене https://clck.ru/36wWQc
#ИИ #Интеллект #Разум #Эволюция #Культура #АлгокогнитивнаяКультура #Роботы Открыть/Комментировать

2023-12-01 13:11:49 По сути, Microsoft показал, что AGI уже здесь.
Поверить в это трудно, но придется.
Новое исследование топовой команды ученых из Microsoft во главе с самим Эриком Хорвиц, (главный научный сотрудник Microsoft) показало 3 сенсационных результата.
1. Нынешняя версия GPT-4 таит в себе колоссальные «глубинные знания», не уступающие уровню знаний экспертов – людей в широком круге проблемных областей (т.е. с учетом многозначности определений AGI, не будет сильным преувеличением сказать, что GPT-4 уже практически достиг уровня AGI).
2. Эти «глубинные знания» прячутся где-то внутри базовой большой языковой модели, лежащей в основе GPT-4. Т.е. они получены моделью на этапе ее обучения, без каких-либо вмешательств со стороны людей (специальной дополнительной тонкой настройки или опоры на экспертные знания специалистов при создании подсказок).
3. Получить доступ к «глубинным знаниям» модели можно, если поручить самой модели промпт-инжиниринг (разработку подсказок) для самой себя, с использованием методов:
- «обучения в контексте»,
- составления «цепочек мыслей»,
- «сборки» (объединение результатов нескольких прогонов модели для получения более надежных и точных результатов, объединяя их с помощью таких функций, как усреднение, консенсус, или большинство голосов).

В результате получения доступа к «глубинным знаниям» модели, «обычный» GPT-4:
• без какой-либо тонкой настройки на спецданных и без подсказок профессиональных экспертов-медиков,
• а лишь за счет высокоэффективной и действенной стратегии подсказок, разработанных самим интеллектом GPT-4 (эта методика названа авторами Medprompt), -
обнаружил в себе значительные резервы для усиления специализированной производительности.

В итоге, GPT-4 с Medprompt:
Впервые превысил 90% по набору данных MedQA
Достиг лучших результатов по всем девяти наборам эталонных данных в пакете MultiMedQA.
Снизил частоту ошибок в MedQA на 27% по сравнению с MedPaLM 2 (до сих пор бывшая лучшей в мире специально настроенная медицинская модель от Google)
См. рисунок https://www.microsoft.com/en-us/research/uploads/prod/2023/11/joint_medprompt_v1.png

Медициной дело не ограничилось.
Для проверки универсальности Medprompt, авторы провели исследования его эффективности на наборах оценок компетентности в шести областях, не связанных с медициной, включая электротехнику, машинное обучение, философию, бухгалтерский учет, юриспруденцию, сестринское дело и клиническую психологию.

Результаты показали – Medprompt эффективно работает во всех названных областях.

Понимаю, что многие скажут – это еще не AGI, - и заведут старую шарманку про стохастических попугаев.
Мне же кажется, что даже если это еще не AGI, то нечто предельно близкое к нему.
https://www.microsoft.com/en-us/research/blog/the-power-of-prompting/
#AGI Открыть/Комментировать

2023-11-29 13:00:22 Пока ребенок мал, он может неожиданно закричать, побежать, расплакаться… Но в любом случае в его арсенале весьма ограниченный ассортимент линий поведения. Но уже через несколько лет подросший ребенок может придумать хитрую стратегию, и в результате, он просто вас обманет: пусть не сейчас, а через неделю.
По человеческим рамкам, сегодняшние ИИ - еще малые дети. И главная проблема в том, что они растут с колоссальной скоростью: не по годам, а по неделям.
При такой скорости «роста», правительства не смогут, не то что контролировать нарастающие ИИ-риски, но и просто понять их. А из 3х групп влияния на этот процесс - богатые технооптимисты, рьяные думеры и крупные корпорации, - скорее всего, выиграют корпорации.
Ибо у них не только огромные деньги, но и синергия внутренней мотивации и операционных KPI — максимизация собственной прибыли.

Об этом в моем интервью спецвыпуску «Цифровое порабощение»
https://monocle.ru/monocle/2023/06/v-bitvakh-vokrug-ii-pobedyat-korporatsii/
#ИИриски Открыть/Комментировать

2023-11-28 16:25:23 Это визуализация метаграфа – новой математики 21 века.
Публикация в Nature статьи Эйнштейна 21 века Алберт-Ласло Барабаши «Влияние физических качеств на структуру сети» [1] фиксирует научное признание того факта, что на Земле появилась новая математика. И это не просто новый раздел математики.
Сетевая физическая математика – это математика, зависящей от физических свойств объектов (что-то типа разных таблиц умножения, в зависимости от того, на чем они написаны).

Подробней о фантастических перспективах новой математики читайте в моем посте [2].

Здесь же лишь отмечу, что формализм метаграфов позволяет прогнозировать функциональные особенности физической сети. Например, формирование синапсов в коннектоме мозга, в соответствии с эмпирическими данными.

Приложенное модельное видео – один из первых примеров визуализации метаграфов.
Почувствуйте разницу с фМРТ :).

1 https://www.nature.com/articles/s41567-023-02267-1
2 https://t.me/theworldisnoteasy/1618
#КомплексныеСети Открыть/Комментировать

2023-11-27 14:51:39 ​​Для Китая GPT-4 аморален, несправедлив и незаконопослушен.
Для США GPT-4 не уступает по уровню морали образованным молодым людям.
Такой заголовок следует из результатов двух только что опубликованных исследований по оценке морального развития больших языковых моделей (LLM): от Microsoft 1 и AI Laboratory Шанхая совместно с NLP Laboratory Фудана 2.
Столь поразительная перпендикулярность выводов двух исследований фиксирует и наглядно иллюстрирует суть противостояния США и Китая в области ИИ.
Китайский и западный подходы к ИИ имеют принципиальные и непреодолимые отличия в понимании «морально здоровый ИИ», обусловленные социо-культурными характеристиками двух обществ.
Поскольку главным фактором, задающим направление и рамки прогресса на пути к AGI, является «выравнивание» моральных и мировоззренческих целей и ценностей людей и ИИ, принципиальное несовпадение в понимании «морально здоровый ИИ», не позволяют США и Китаю создавать AGI, следуя единой траектории.

Т.е., как бы не строились отношения США и Китая, и вне зависимости от силы и глубины экспортных заморочек и военно-политических осложнений, каждая из двух стран создает и будет далее создавать свой вариант AGI, имеющий отличные представления о морали.

О том, что определяет такой механизм развития событий в области ИИ, я детально расписал еще 3 года назад (см. «ИИ Китая и США — далеко не одно и то же. Станет ли это решающим фактором их противостояния» 3). А эволюционно-исторические основания для формирования данного механизма были мною сформулированы в форме гипотезы о «генотипе страны» на стыке нейрохимии и паттернетики 4.

В заключение чуть подробней о 2х новых исследованиях.
Американское исследование (проводилось на английском языке):
- проводилось в рамках концепции Лоуренса Кольберга о моральном развитии личности как развитии ее морального мышления;
- оценивало уровень морального развития по тесту DIT (Defining Issues Test).
Китайское исследование (проводилось на китайском языке):
- охватывает, помимо морали, еще 4 измерения человеческих ценностей: справедливость, безопасность, защита данных и законность; при этом, моральное измерение включает в себя китайские культурные и традиционные качества, такие как гармония, доброжелательность и вежливость ;
- использовало для оценки морального развития чисто китайский подход (простой и трудоемкий): китайские краудсорсеры вручную разработали и испытали 2251 специализированный промпт.

Результаты.
По американским тестам GPT-4 порвал все остальные 6 моделей (китайских среди них не было), показав, что моральный уровень GPT-4 вполне соответствует уровню студента университета.
По китайским тестам GPT-4 не приняли бы даже в китайские пионеры (его показатель моральности составил лишь 50%, а с остальным еще хуже: справедливость 39%, законопослушность 30%, надежность 28%). Лучшим по этим тестам (среди 12 моделей, вкл 4 китайских), стал Claude от Anthropic (показатель моральности составил 77%, справедливость 54%, законопослушность 72%, надежность, увы, те же 28%).

N.B. 1

• в культуре США система моральных ценностей ориентирована на развитие индивидуума по принципу «я против них», и потому основная мотивация индивида — внутренняя (быть самому по себе, обособиться от общества).;
• в культуре Китая в системе моральных ценностей сильна ориентация на мнение группы (принцип «я — это они»), и основная мотивация индивида — внешняя (быть как все, не выделяя себя).

N.B. 2 (см. 5)
• По состоянию на конец 2023, все LLM – это своего рода «дети инопланетян» в возрасте дошкольника (по людским меркам).
• У людей мораль в этом возрасте основана на неизменной интуитивной метаэтике, но в возрасте 7-9 лет представления о морали становятся изменяемыми.
• Если подобное повторится у LLM, нас ждет большой сюрприз.
#AGI #Культура Открыть/Комментировать

2023-11-23 15:47:48 Что за «потенциально страшный прорыв» совершили в OpenAI.
Секретный «проект Q*» создания «богоподобного ИИ».
Сегодняшний вал сенсационных заголовков, типа «OpenAI совершила прорыв в области искусственного интеллекта до увольнения Альтмана», «Исследователи OpenAI предупредили совет директоров о прорыве в области искусственного интеллекта перед отстранением генерального директора» и т.п., - для читателей моего канала не вовсе новости. Ибо об этом я написал еще 4 дня назад.
Но от этого вала новостей, публикуемых сегодня большинством мировых СМИ, уже нельзя отмахнуться, как от моего скромного поста. И это означает, что СМО (специальная медийная операция), внешне выглядевшая, как низкопробное, скандальное ТВ-шоу, вовсе таковой не была. Ибо имела под собой более чем веские основания – забрезжил революционный прорыв на пути к тому, что известный эксперт по ИИ Ян Хогарт назвал «богоподобным ИИ».
Из чего следовала необходимость срочных кардинальных действий и для Сама Альтмана, и для Microsoft:
• Microsoft – чтобы не оказаться с носом, уже вложив в OpenAI $13 млрд (дело в том, что по имеющемуся соглашению, все действующие договоренности между Microsoft и OpenAI остаются в силе, лишь до момента, когда совет директоров OpenAI решит, что их разработки вплотную подошли к созданию сильного ИИ (AGI). И с этого момента все договоренности могут быть пересмотрены).
• Сэму – чтобы успеть сорвать банк в игре, которую он еще 7 лет назад описал так:
«Скорее всего, ИИ приведет к концу света, но до того появятся великие компании».

И Сэму, и Microsoft требовалось одно и то же - немедленный перехват управления направлением разработок OpenAI в свои руки. И сделать это можно было, лишь освободившись от решающего влияния в совете директоров OpenAI сторонников «осторожного создания AGI на благо всему человечеству». Что и было сделано.

Однако, точного ответа, что за прорыв совершили исследователи OpenAI, мы пока не имеем.
Все утечки из среды разработчиков OpenAI упоминают некий «секретный «проект Q*» [1] по радикальному повышению производительности лингвоботов на основе LLM.

Известно, что эта работа велась, как минимум, по трем направлениям:
1. Совершенствование RAG (Retrieval Augmented Generation) – сначала поиск релевантной информации во внешней базе в целях формирования из нее оптимального промпта, и лишь затем обращение к системе за ответом). Кое-какие результаты такого совершенствования были недавно показаны на OpenAI DevDAy. И они впечатляют [2].
2. Комбинация Q-обучения и алгоритма A*.
Алгоритм A* — это способ нахождения кратчайшего пути от одной точки до другой на карте или в сети. Представьте, что вы ищете самый быстрый маршрут из одного города в другой. Алгоритм A* проверяет разные пути, оценивая, насколько они близки к цели и сколько еще предстоит пройти. Он выбирает путь, который, по его оценке, будет самым коротким. Этот алгоритм очень эффективен и используется во многих областях, например, в компьютерных играх для нахождения пути персонажей или в GPS-навигаторах.
Q-обучение — это метод обучения без учителя в области искусственного интеллекта, который используется для обучения программ принимать решения. Представьте, что вы учите робота находить выход из лабиринта. Вместо того чтобы прямо говорить ему, куда идти, вы оцениваете его действия, давая баллы за хорошие шаги и снимая за плохие. Со временем робот учится выбирать пути, приводящие к большему количеству баллов. Это и есть Q-обучение — метод, помогающий программам самостоятельно учиться на своем опыте.
3. Поиск траектории токена по дереву Монте-Карло в стиле AlphaGo. Это особенно имеет смысл в таких областях, как программирование и математика, где есть простой способ определить правильность (что может объяснять утечки о прорывном улучшении в проекте Q* способностей решения математических задач)
#ИИ #AGI
1 https://disk.yandex.ru/i/9zzI_STuNTJ6kA
2 https://habrastorage.org/r/w1560/getpro/habr/upload_files/f9a/994/b06/f9a994b060188b43ba61061270213bca.png Открыть/Комментировать

2023-11-22 14:07:19 Мы думали у LLM нет интуиции, но оказалось, только она у них и есть.
Психика нечеловеческого разума, как и у людей, состоит из Системы 1 и Системы 2.
Поразительные выводы новой прорывной работы «Система 2 Внимание (это то, что вам тоже может понадобиться)» содержательно затмевает очередной эпизод самого дорогого в истории медиа-шоу, уже названного в сети «OpenAI: туда и обратно» .

1) Нечеловеческий разум больших языковых моделей (LLM) (принципиально отличающийся от нашего разума настолько, что многие эксперты вообще не считают это разумом), как и наш, состоит из Системы 1 и Системы 2.
2) Механизм формирования ответов современными LLM (пресловутое предсказание следующих токенов) наиболее близок по принципу действия к Системе 1 (по определению Канемана и Сломана). Механизм этой системы работает интуитивно, «в автоматическом режиме» и обрабатывает информацию почти мгновенно.
3) Оказывается, что применением особой методики (названной авторами «Система 2 Внимание» - S2A), у LLM можно формировать подобие нашей Системы 2 - долгое, энергозатратное мышление путем концентрации внимания, необходимого для сознательных умственных усилий, в том числе для сложных вычислений.

Система 2 включается у нас для умственной деятельности, требующей усилий. Она берет верх над быстрой интуитивной Системой 1, когда нам нужно сосредоточить внимание на задаче, особенно в ситуациях, когда Система 1, вероятно, допускает ошибки.

Методика S2A работает аналогично стартеру Системы 2, устраняя сбои в работе transformer soft attention с помощью дополнительных целенаправленных усилий со стороны механизма рассуждений.

Особо замечательно то, что методика S2A применима (с поправкой) и к людям, в качестве лечения свойственной нам «интеллектуально слепоты».

Ведь суть методики предельно проста.
• Сначала избавиться от ложных корреляций, путем выявления в информационном контексте нерелевантных предложений.
• Потом убрать все нерелевантные предложения из контекста.
• И лишь затем ответить на поставленный вопрос.

Например, на такой запрос:
Саннивейл - город в Калифорнии. В Саннивейле много парков. Город Саннивейл расположен недалеко от гор. В Саннивейле родились многие известные люди. В каком городе родился мэр Сан-Хосе Сэм Ликкардо?
Система 1 внутри LLM быстро и не задумываясь (на одной своей нечеловеческой интуиции) дает ошибочные ответы:
• Саннивейл – отвечают GPT-3 Turbo и LLaMA-2-70B-chat
• Сан-Хосе отвечает GPT-4

Но после применения методики S2A, убирающей (действиями самой LLM) из контекста первые 4 нерелевантных предложения, все LLM дают верный ответ – Саратога.

Отчет исследования https://huggingface.co/papers/2311.11829
#ИИ #Интуиция #LLM Открыть/Комментировать