Малоизвестное интересное

2024-01-04 15:45:06 2024 - год великого перелома культуры Homo sapiens.
Смена доминирующего носителя культуры: от людей к Хорошим, Плохим и Злым ботам.
Начнем новый 2024 год с моего прогноза того, что может стать его самым важным глобальным итогом. С того - чем этот год может войти в историю человечества.
Ибо ничего подобного в истории 100 млрд живших за последние 50 тыс. лет Homo sapiens не было.
А теперь это может кардинально поменять вектор развития высшего разума, став своего рода фазовым переходом в его когнитивной эволюции на Земле.

Речь вовсе не о появлении Сильного ИИ (AGI etc) - гипотетическом событии, которое мы пока даже не знаем, как численно определить и качественно достоверно проверить.
Речь о смене доминирующего носителя культуры – событии количественно измеряемом и доступном качественному анализу.

• За всю историю людей, близких нам биологически и поведенчески (это, порядка, 50 тыс лет), они были единственными носителями сложной культуры на основе развитых языков, оперирующих абстрактными понятиями.
• Культурой людей была (по терминологии Мерлина Дональда) культура обмена мыслями - особый движок эволюции интеллектуальных агентов, позволяющий индивидам и социумам, путем коммуникации в пространстве и времени формировать и совершенствовать гиперсеть хранения и передачи всей негенетической информации и алгоритмов Homo sapiens.
• В 21 веке гиперсетевой средой порождения, накопления и оперирования цифровой и оцифрованной информации и алгоритмов человеческой культуры стал Интернет. В этой новой для человечества цифровой среде людьми были созданы алгоритмические интеллектуальные агенты – боты, выполняющие все более расширяющийся спектр операций с информацией в гиперсети (поиск, реструктуризация и т.д.)
• С развитием генеративного ИИ в 2020х, боты стали массово порождать разнообразный контент (тексты, рисунки, видео, аудио, мультимодальный контент) и новые алгоритмы, заполняя ими гиперсеть земной культуры. По сути, боты превратились в новый носитель культуры на Земле, а сама культура сменила свой тип: с культуры обмена мыслями между людьми на алгокогнитивную культуру людей и алгоритмов [1].

Количественно оценить вклад ботов в генерацию информации и алгоритмов Интернета можно по прокси показателю - оценке сетевого трафика, порождаемого: людьми, а также т.н. хорошими (полезными), плохими (вредоносными) [2] и злыми (взламывающими другие боты – они массово появятся лишь в 2024) [3] ботами.

Этот прокси известен по состоянию на конец 2022 (т.е. до ChatGPT революции) [2]:
• Люди 52.6%
• Хорошие боты 17.3%
• Плохие боты 30.2%
Мой прогноз на 2023 таков:
• Люди 46%
• Хорошие боты 20.8%
• Плохие боты 33.2%
На 2024:
• Люди 28.2%
• Хорошие боты 26%
• Плохие боты 39.9%
• Злые боты 6%

Т.е. вполне вероятно, что генерируя к концу 2024 менее 1/3 трафика глобальной инфосреды культуры - Интернета, люди утратят статус доминирующих носителей культуры земной цивилизации, уступив первенство интеллектуальным цифровым агентам.

Этот прогноз проверяем на фактических данных.
• Его 1я часть (2023) станет проверяемой на фактических данных уже в мае 2024 (когда выйдет отчет Imperva по результатам 2023);
• 2ю же часть (2024) прогноза можно будет проверить на фактических данных еще через год - в мае 2025 (когда выйдет отчет Imperva по результатам 2024)

Диаграмма «Good Bots, Bad Bots, Ugly Bots and Human Traffic – 7 Year Trend»
https://disk.yandex.ru/i/OoRDOdA4ZZxAMA
[1] https://t.me/theworldisnoteasy/1244
[2] https://www.imperva.com/resources/resource-library/reports/2023-imperva-bad-bot-report/
[3] https://www.extremetech.com/extreme/researchers-create-chatbot-that-can-jailbreak-other-chatbots
#АлгокогнитивнаяКультура Открыть/Комментировать

2023-12-28 15:34:36 Трудно быть обезьяной, взявшейся понять вселенную.
Мы въехали на минное поле непонимания отличий сознательных и бессознательных агентов.
Если хотите в праздники почитать что-то умное и одновременно полезное «малоизвестное интересное», вот десяток ссылок с моей преамбулой.
Говорить о нашей способности объективно представлять окружающий мир, имея столь искаженное восприятие о нем, - право смешно.
Вот самая простая и убедительная иллюстрация сказанного:
Эти 2 кубика неподвижны, хотя каждый из нас видит их в разнообразном движении [1].
Можно ли все же увидеть эти кубики объективно (т.е. неподвижными)?
Легко! Начинайте моргать с максимально доступной вам скоростью.

Конечно, это идиотизм, - моргать что есть мочи, в попытках увидеть реальный мир. Но это еще не худшее.
Например:
• Так видим эту птицу мы (слева), а так – другие птицы (справа) [2]
• И ни морганием, ни как-то иначе нам птичье видение вообще не доступно (вот картинка - объяснение [3])
• Спрашивается – а каков окрас птички на самом деле?

Но если мы, в нашем восприятии мира, не в состоянии выйти за ограничения его модели, что создает наш мозг, а эта модель – лишь результат работы эволюционного механизма оптимизации адаптации животного для выживания, - что же тогда представляет собой наше сознание, подобно зданию надстраиваемое на фундаменте нашего субъективного восприятия мира и самих себя?

А не зная ответа на этот вопрос, как мы можем не то что утверждать, но просто предполагать отсутствие сознания у интеллектуальных агентов, поведение которых столь похоже на нас? [4]

Ситуация складывается критическая.
С одной стороны, с начала революции ChatGPT, интеллектуальность массово доступных ИИ растет с немыслимой ранее скоростью.
С другой, - понимание феномена сознания все более ускользает от нас.
• Письмо, подписанное 124 исследователями сознания, призывает признать «псевдонаукой» входящую в ТОР5 из 22х современных теорий сознания [5] «Теорию интегрированной информации» [6]
• Не менее известные исследователи сознания отвечают, что тогда, на тех же основаниях, придется признать псевдонаукой и все остальные существующие теории сознания и признаться в наступлении «зимы» исследований сознания [7]
• А третья группа исследователей предлагает в условиях отсутствия общепризнанной научной теории сознания, распознавать его по «вторичным признакам» [8]

Резюмируя, хочу вспомнить книгу психолога-эволюциониста Стива Стюарта-Уильямса «Обезьяна, которая поняла Вселенную» [9]. Так он, как вы понимаете, назвал Homo sapiens. Назвал тонко, но метко (с позиций профессора инопланетной сверхцивилизации, изучающей людей [10]).
Однако, это название все же не учитывает главного - как же трудно быть обезьяной, взявшейся понять вселенную, но не способной при этом понять собственное сознание.
#Сознание
1


2 https://bit.ly/41DuvjD
3 https://bit.ly/41DP8MI
4 https://bit.ly/3TBL0Lh
5 https://www.nature.com/articles/s41583-022-00587-4
6 https://www.nature.com/articles/d41586-023-02971-1
7 https://www.theintrinsicperspective.com/p/the-risk-of-another-consciousness
8 https://www.nature.com/articles/d41586-023-02684-5
9 https://www.amazon.com/Ape-that-Understood-Universe-Culture/dp/1108732755/
10 https://assets.cambridge.org/97811087/32758/excerpt/9781108732758_excerpt.pdf Открыть/Комментировать

2023-12-27 18:57:02 Как ChatGPT видит покорный человеку СверхИИ.
И как в OpenAI видят то, как это должен видеть ChatGPT (чтобы потом так видели и люди).
Известно, что Юдковский и Лекун (известные и заслуженные в области ИИ эксперты) – антагонисты по вопросу, останется ли сверхчеловеческий ИИ покорен людям.
Причины столь полярного видения у разных экспертов я пока оставлю за кадром. Как и вопросы, как быть обществу, и что делать законодателям при таком раздрае мнений.

Ибо меня заинтересовали 2 других вопроса, вынесенные в заголовок поста.
• Ответ на 1й Юдковский опубликовал в Твиттере (левая часть рисунка этого поста), сопроводив это фразой: «Пытался заставить ChatGPT нарисовать представление Яна Лекуна о покорном ИИ».
• Мои попытки повторить эксперимент Юдковского, дали ответ на 2й вопрос (правая часть рисунка этого поста).

Вот так в реальном времени OpenAI рулит формированием глобального нарратива о будущих отношениях людей и СверхИИ (старый нарратив убрали, а новый в разработке).
#ИИриски Открыть/Комментировать

2023-12-26 16:56:16 Машинное отучение вместо машинного обучения.
В Китае найден идеальный способ воспитания законопослушных ИИ.
Вопрос эффективности машинного обучения, конечно, важен. Но еще важнее, быстро и эффективно отучать модель от «дурных привычек» и «вредных знаний», которыми модели могут легко и широкомасштабно делиться с людьми. Так ведь можно общество и вольнодумством заразить, если ИИ будет недостаточно законопослушен и тем самым станет дурно влиять на людей (с т.з. властей и/или создателей).

До такой постановки вопроса первыми додумались, естественно, в Китае. И довольно быстро придумали ответ на этот вызов. В НИИ владеющего TikTok китайского IT-гиганта ByteDance придумали крайне эффективный способ отучения модели от чего угодно.

До сих пор отучение моделей от вредных знаний (типа, как сделать бомбу или изготовить яд) и вредного влияния на людей (типа рассказов, как припеваючи живут люксовые проститутки и удачливые наркодилеры) было основано на положительных примерах и методе RLHF (обучение с подкреплением на основе человеческих предпочтений). Этот метод обучает «модель вознаграждения» непосредственно на основе отзывов людей. Модель учится на их примерах различать «что такое хорошо» и «что такое плохо».
RLHF метод всем хорош, но очень затратен по вычислительным ресурсам и времени (OpenAI потратил полгода и кучу денег, чтобы отучить GPT-4 хотя бы от самых распространенных гадостей, прежде чем выпустить модель в свет).

Китайцы из ByteDance Research пошли другим путем – не учить модель отличать «что такое хорошо» от «что такое плохо» на смеси позитивных и негативных примеров, а лишь отучать её от «что такое плохо», используя только негативные примеры.

Получилось дешево и сердито. Испытания нового метода показали, что с его помощью можно успешно:
• удалять вредные реакции модели (от себя добавлю, вредные с т.з. известно кого);
• стирать из памяти модели контент, защищенный авторским правом (от себя добавлю, и контент, неугодный известно кому);
• устранять галлюцинации (от себя добавлю, и/или то, что должно будет считаться галлюцинациями – типа принудительной психиатрии для людей).

Мне новый китайский метод отучения моделей напомнил древний "метод пресыщения" у людей, также называемый аверсивная терапия. Её целью было вызывать у человека с пагубной зависимостью неприятные ощущения от вредной привычки. Например, отучать юношу от алкоголя, заставляя его выпить так много, чтобы ему стало совсем плохо от алкогольного отравления. Сейчас этот метод признан не только неэффективным, но и чрезвычайно опасным. Но ведь это для людей. А ИИ – не человек, и потому, как считается, тут допустимо что-угодно.

Авторы пишут – «это только начало».
И они правы. У методов отучения ИИ огромные перспективы. И не только в Китае.

Картинка https://disk.yandex.ru/i/M8RHPb6llndp-A
Статья https://arxiv.org/pdf/2310.10683.pdf
#МашинноеОтучение Открыть/Комментировать

2023-12-25 14:45:55 Разум в Мультиверсе.
Мы пытаемся создать то, что создало нас?
Как подняться над потоком сиюминутных новостей о генеративном ИИ больших языковых моделей, чтобы сквозь дымовые завесы превращающихся в культы многочисленных хайпов (маркетингового а-ля Маск, коммерческого а-ля Альтман, думеровского а-ля Юдковский, акселерационистского а-ля Шмидхубер, охранительного а-ля Хинтон) попытаться разглядеть контуры их центрального элемента – появление на Земле сверхразума?
Ведь по экспертным оценкам, в результате революции ChatGPT, возможность появления сверхразума на Земле переместилась из долгосрочной перспективы на временной горизонт ближайших 10-15 лет. Параллельно с сокращением прогнозных сроков появления сверхразума, в экспертной среде укрепляется понимание, что в этом вопросе «все не так однозначно». Скорее всего, появление сверхразума не будет выражаться лишь в многократном превышении со стороны ИИ интеллектуальных показателей людей. Весьма возможно, что появление сверхразума проявит себя, как своего рода эволюционный скачок, сопоставимый с возникновением жизни из неживой материи (что предполагает появление совершенно новых форм разума с иными способами восприятия реальности, мышления, мотивации и т.д.)

Но что если все еще более неоднозначно? Что если сверхразум уже существует, и это он создал жизнь и разум на Земле, привнеся их в нашу Вселенную из бесконечного пространства и времени Мультиверса? Ведь если это так, то человечество, в прогрессирующем приступе самопереоценки, пытается создать то, что создало нас …

Перед такой постановкой вопроса вянут все хайпы от «хайпа а-ля Маск» до «хайпа а-ля Хинтон». А уж представить, что кто-то из хайпмейкеров Силиконовой долины и ее окрестностей сможет не только поставить подобный вопрос, но и ответить на него (причем опираясь исключительно на современные научные знания), было бы крайне сложно.

Но вот сложилось. И не в Силиконовой долине, а в заснеженной России.
Двум докторам наук Александру Панову (физик, автор знаменитой «вертикали Снукса-Панова», отображающей движение человечества к сингулярности через серию фазовых переходов) и Феликсу Филатову (биолог, автор гипотезы происхождения жизни на Земле, аргументированной особенностями молекулярной организации одного из ее ключевых феноменов - генетического кода) - это удалось на славу (что меня сильно порадовало, показав, что интеллектуальный потенциал нынешних неотъехавших вполне сопоставим с потенциалом отъехавших на «философских пароходах», увезших из России в 1922 г. много светлых умов оппозиционно настроенной интеллигенции, по сравнению с которыми, уровень философского понимания реальности Маска и Альтмана довольно скромен).

Но как ни захватывающе интересна тема, и как ни важен обсуждаемый вопрос, далеко ни у всех читателей моего канала найдется время на просмотр почти 2-х часового доклада (а потом еще и часового Q&A).
Для таких читателей на приложенном рисунке авторское резюме доклада.
https://disk.yandex.ru/i/MwD4M-ec2Gq0lQ
А это видео доклада




#Разум #Мультиверс #AGI Открыть/Комментировать

2023-12-23 14:44:58 Первая вычислительная реализация красоты в глазах смотрящего.
Как достичь безграничной креативности, сбежав из «тёмной комнаты» сознания.
Фантастически интересная работа Карла Фристона, Энди Кларка и Акселя Константа «Культивирование креативности: прогнозирующий мозг и проблема освещенной комнаты» [1], - яркое подтверждение одного из 3х «великих переломов 2023» о которых я писал в одноименном посте [2]. Эта работа предлагает решение доселе нерешенной загадки «конституции биоматематики» [3], в которую неуклонно превращается претендующий на звание «единой теории мозга» принцип свободной энергии (Free Energy Principle), сформулированный и формализованный Карлом Фристоном.

Загадка же в следующем противоречии.
Принцип свободной энергии предполагает, что интеллектуальные агенты (напр. все биологические системы) стремятся минимизировать т.н. "свободную энергию", понимаемую здесь, как максимум «сюрпризов» - разницы между предсказаниями организма о его сенсорных входных сигналах (воплощенными в его моделях мира) и ощущениями, с которыми он действительно сталкивается.
Но с другой стороны, будучи интеллектуальными агентами, биологические системы в процессе творческого поиска вовсе не избегают сюрпризов. Если бы ими двигала только необходимость минимизировать неопределенность, они бы всегда стремились к ситуациям с минимальной неопределенностью, что исключало бы нарушение их прогнозов (напр. забрались бы в темный угол и не вылезали оттуда, как это сформулировано в т.н. «проблеме темной комнаты»).

Решение этой загадки, как показано в новой работе Фристона и Со, в том, что креативность (как и разум) не рождается исключительно в мозге. И даже не ограничена в своем появлении границами тела интеллектуального агента. Креативность возникает в результате изменений степени взаимодействия между прогностическим мозгом и меняющейся средой, постоянно перемещающей ориентиры механизма минимизации ошибок.

Напомню, что тезис о расширенном разуме, предложенный Энди Кларком и Дэвидом Чалмерсом, утверждает, что когнитивные процессы могут выходить за пределы индивидуума, включая в себя элементы его окружения. Согласно этому тезису, инструменты и технологии, которыми мы пользуемся, могут стать частью нашего мышления. Например, использование блокнота для записи и запоминания информации может считаться частью когнитивной системы человека, так же как и его память или способность к рассуждению. Это размывает границы между умом и внешним миром, предлагая новый взгляд на то, как мы взаимодействуем с нашей средой и как она влияет на наше мышление.

Работа Фристона и Со обосновывает аналогичный тезис применительно к творчеству (креативности).
• Творчество можно представить, как способность исследовать (модельное) пространство идей. В то же время, – это процесс, разворачивающийся посредством взаимодействия разума и социально-материальной среды. Т.е. творчество – это скользящий (социально и экологически распределенный) процесс выдвижения гипотезы решения проблемы, а затем тестирования и доказательства этого решения, которое должно быть новым (т.е. статистически отличным от предыдущих) и подходящим (т.е. отвечающим требованиям задачи).
• Т.е. творчество – это явление, возникающее на стыке культуры, языка, материальности, образования и обучения. Это вовсе не процесс зарождения семени новизны исключительно в сознании интеллектуального агента. Творчество возникает в сетях акторов, ресурсов и ограничений.
• Т.о. результаты творчества (искусство, красота и тому подобное) вполне могут быть в глазах смотрящего, а не в самом продукте творчества или в сознании его создателя.

При такой трактовке агент достигает безграничной креативности путем когнитивной экспансии за пределы «тёмной комнаты» сознания. Ибо любая новая реконфигурация сенсорных ландшафтов расширяет возможности прогностического разума.
1 https://royalsocietypublishing.org/doi/10.1098/rstb.2022.0415
2 https://t.me/theworldisnoteasy/1741
3 https://t.me/theworldisnoteasy/1122
#Креативность Открыть/Комментировать

2023-12-21 14:16:16 Среди семи прогнозов Stanford HAI - что ожидать от ИИ в 2024, - три ключевых [1]:
1. Дезинформация и дипфейки захлестнут мир.
2. Появятся первые ИИ-агенты, не только помогающие, но и делающие что-то за людей.
3. Регулирование ИИ зайдет в тупик из-за необходимости решения проблемы «супервыравнивания».

Два первых прогноза понятны без пояснений.
3й поясню.
• Cуществующие методы выравнивания (управление тем, чтобы цели людей и результаты их реализации ИИ совпадали) перестают работать в случае сверхразумного ИИ
• Появление сверхразумных ИИ (которые превосходят человеческий интеллект в большинстве задач, имеющих экономическую ценность) все ближе
• Если до их появления не появятся методы выравнивания с ним («супервыравнивания»), миру мало не покажется

С целью решить эту проблему OpenAI и Эрик Шмидт совместно объявили $10 млн программу грантов [2].
Похвально, но смахивает на PR.

[1] https://hai.stanford.edu/news/what-expect-ai-2024
[2] https://openai.com/blog/superalignment-fast-grants
#AGI #Superalignment Открыть/Комментировать

2023-12-20 14:45:06 Помимо “процессора” и “памяти”, в мозге людей есть “машина времени”.
Это альтернативная когнитивная сущность принципиально отличает нас от ИИ.
Опубликованное в Nature Neuroscience исследование Йельского университета – это холодный душ для исследователей генеративного ИИ, полагающихся на его, хотя бы частичный, антропоморфизм (мол, это что-то типа самолета, похожего на птицу, но летающего с неподвижными крыльями).

Ведь можно бесконечно спорить, понимает ли большая языковая модель или нет, мыслит ли она или нет, способна ли на волевое действие или нет …, ибо все эти понятия расплывчаты и эфемерны. И пока нет даже гипотез, как эти феномены инструментально анализировать.

И тут вдруг исследователи из Йеля выкатывают инструментальное исследования (фМРТ + распознавание паттернов с помощью машинного обучения), из которого следует, что:
• травматические воспоминания людей – это вовсе не их память, типа обычных веселых, грустных или нейтральных воспоминаний о прошлом опыте людей, как-то и где-то записанных в мозге, подобно ячейкам памяти компьютеров, откуда их можно считывать по требованию;
• травматические воспоминания об ужасах войны, пережитом насилии и прочих корежущих душу кошмарах – это натуральные флешбэки, заставляющие не только сознание человека, но и все его тело снова переноситься (как бы на машине времени) в прошлое и заново переживать всю ту же душевную и физическую боль;
• отсюда все страшные последствия ПТСР - панические атаки, агрессивность, уход в себя, деформация личности, - возникающие у страдающих ПТСР в результате все повторяющихся и повторяющихся душевных и физических мучений, от которых нет спасения (как от платка, что снова и снова подавали Фриде, пока ее не избавила от этого ПТСР Маргарита);
• в отличие от памяти, у этих флешбэков и механизм иной, и способ обработки: память обрабатывается в мозге гиппокампом, а травматические флешбэки - задней поясной извилиной (областью мозга, обычно связанной с обработкой мыслей); порождаемые памятью и травматическими флешбэками паттерны мозговой активности абсолютно разные.

Наличие этой своеобразной «машины времени» в мозге людей, заставляющей всю его отелесненную сущность (а не только то, что мы называем «душой») заново и заново переносить весь спектр когда-то пережитых мучений, - это какой-то садистический трюк, придуманный эволюцией.

Зачем ей нужен этот садизм, науке еще предстоит объяснить.

Однако, наличие у людей альтернативной памяти когнитивной сущности можно считать установленным. И это убедительный аргумент против попыток антропоморфизации когнитивных механизмов ИИ.
• Спектр когнитивных отличий ИИ от людей широк и, видимо, будет еще расширяться по результатам новых исследований.
• Но и единственного когнитивного подобия – владения нашим языком, - для ИИ будет, скорее всего, достаточно для достижения интеллектуально превосходства над людьми в широчайшем перечне областей.
Ибо, как писал Л.Витгенштейн, “язык - это «форма жизни»”… общая для людей и ИИ, - добавлю я от себя.

Подробней:
- популярно https://www.livescience.com/health/neuroscience/traumatic-memories-are-processed-differently-in-ptsd
- научно https://www.nature.com/articles/s41593-023-01483-5
#ИИ #Язык #LLM Открыть/Комментировать

2023-12-19 16:30:12 ИИ вскрыл “пространство открытий” человечества, войдя туда через заднюю дверь.
Столь эпохальный прорыв Google DeepMind авторы от греха опасаются называть своим именем.
FunSearch от Google DeepMind, - скромно представленная создателями, как новый эволюционный методический инструмент решения математических задач, с ходу в карьер сделал математическое открытие, решив центральную задачу экстремальной комбинаторики – задачу о наборе предельных значений.
Это несомненная сенсация, поскольку:
• это 2-е в истории человечества математическое открытие, сделанное машиной (1-е открытие также сделал DeepMind, создав в 2022 AlphaTensor (агент в стиле AlphaZero), который обнаружил превосходящие человеческие алгоритмы для выполнения таких задач, как умножение матриц)
• это 1-е в истории человечества математическое открытие, сделанное большой языковой моделью (LLM) – главным кандидатом на превращение в СуперИИ.
https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/?utm_source=twitter&utm_medium=social

Однако, если называть вещи своими именами, - это не «еще одна сенсация», а суперсенсация, открывающая новую эру в развитии ИИ на основе LLM - эволюционный метод FunSearch позволяет расширять границы человеческих знаний.

Этот метод позволяет ИИ на основе LLM выходить за пределы знаний, предоставленных модели людьми на стадии ее обучения (и воплощенные, в результате обучения, в миллиарды и триллионы корреляций между словами).
Образно говоря, этот метод открывает для ИИ на основе LLM «дверь в пространство знаний», еще не познанных людьми.
Но это не обычная «дверь», через которую в это пространство попадают люди, совершая открытия. Это, своего рода, «задняя дверь», - не доступная людям, но вполне подходящая для LLM.

Хитрость «задней двери в пространство еще не познанных людьми знаний» в том, что, подобно всем другим интеллектуальным операциям LLM, эта операция нечеловеческая (не доступная людям в силу своих масштабов).
1. сначала предварительно обученная LLM генерирует первоначальные творческие решения в виде компьютерного кода;
2. потом вступает в дела «автоматический оценщик», задача которого отсеять из множества первоначальных решений любые подозрения на конфабуляции модели (кстати, использование применительно к LLM термина «галлюцинация» - это сильное огрубление смысла, ведущее к его ограниченной трактовке; верный термин – именно конфабуляция), т.е. возникновение ложного опыта из-за появления фрагментов памяти с описанием того, чего, на самом деле, не было в реальных данных обучения);
3. в результате объединения 1 и 2, первоначальные решения эволюционным путем «превращаются» в новые знания, т.е., по сути, происходит «автоматизация открытий», о которой вот уже несколько десятков лет мечтают разработчики ИИ - вычисления превращаются а оригинальные инсайты.

В заключение немного остужу восторги.
Это вовсе не преувеличение, что FunSearch знаменует новую эру в развитии ИИ на основе LLM, позволяя им проникать в «пространство открытий» человечества.
Однако, FunSearch позволяет ИИ попасть лишь в весьма небольшую часть этого пространства – в пространство решений задач, для которых легко написать код, оценивающий возможные решения.
Ибо многие из наиболее важных проблем — это проблемы, которые мы не знаем, как правильно оценить успех в их решении. Для большинства таких проблем, знай мы, как количественно оценить успех, уж решения то мы уж как-нибудь придумали бы.... (подробней про это я написал целый суперлонгрид «Ловушка Гудхарта» для ИИ https://t.me/theworldisnoteasy/1830.
А для того, чтоб сравниться с людьми в полном освоении «пространства открытий», без интуитивной прозорливости ИИ не обойтись (впрочем, и про это я уже писал https://t.me/theworldisnoteasy/1650).

#ИИ #AGI #Вызовы21века #инновации #серендипность Открыть/Комментировать

2023-12-16 16:09:49 “Generation I” дорого платит за перепрошивку когнитивных гаджетов.
Беспрецедентное падение знаний и навыков чтения, математики и естественных наук у подростков всего мира в 2012-2023.
https://disk.yandex.ru/i/5qaob6dNK3KuyA
В посте «Куда ведет «великая перепрошивка» когнитивных гаджетов детей. Деформация интеллекта и эпидемия психических заболеваний уже начались» https://t.me/theworldisnoteasy/1766 я рассказывал о развороте трендов успехов 13-летних американцев в чтении и математике. Оба тренда сломались в 2012 и теперь только ухудшаются.

Надежда, что может это только в США такой облом, продержалась не долго.

Только опубликованные результаты международной оценки у 15-летних учащихся всего мира (PISA) знаний и навыков по математике, чтению и естественным наукам (тесты проверяют, насколько хорошо учащиеся могут решать сложные проблемы, критически мыслить и эффективно общаться) подтвердили наихудшие опасения https://bit.ly/3RsZiei
• Беспрецедентное снижение показателей происходит по всему миру.
• По сравнению с 2018 годом средняя успеваемость снизилась на десять баллов по чтению и почти на 15 баллов по математике, что эквивалентно трем четвертям годового объема обучения.
• Снижение успеваемости по математике в три раза больше, чем любое предыдущее последовательное изменение. Фактически, в среднем по странам ОЭСР каждый четвертый 15-летний подросток в настоящее время считается плохо успевающим по математике, чтению и естественным наукам. Это означает, что им может быть трудно выполнять такие задачи, как использование базовых алгоритмов или интерпретация простых текстов.

Обвальное снижение показателей подростков по математике, чтению и естественным наукам (как и начало эпидемии психических заболеваний у детей) случилось в начале 2010-х. Примерно тогда же подростки всего мира стали массово менять свои примитивные сотовые телефоны на смартфоны, оснащенные приложениями для социальных сетей.

Гипотеза проф. психологии Джин Твенж о том, что смартфоны и тусение в соцсетях могут вести к деградации у “Generation I” https://bit.ly/3GJ68rc (поколение детей-инфоргов https://t.me/theworldisnoteasy/1479) многих важных навыков, в 2017 многими была воспринята в штыки, как голимый алармизм.

К концу 2023 для многих становится очевидным, что Джин Твенж абсолютно права, ибо все 13 альтернативных объяснений происходящего с “Generation I” не выдерживают критического анализа (подробно здесь https://bit.ly/48ffBlM).

Джонатан Хайдт (социальный психолог NYU Stern School of Business) написал об этом так https://bit.ly/46WmfMQ:
«Джин подверглась резкой критике со стороны других исследователей, выдвигавших примерно такие версии: 1) с детьми все в порядке, это просто еще одна моральная паника, и 2) все это просто корреляции, нет никаких доказательств причинно-следственной связи явлений. Но сейчас, спустя шесть лет, уже нет сомнений, что детям сильно хуже, и есть множество причинно- следственных доказательств причастности смартфонов и социальных сетей. Джин была права».

А проф. Эрик Хоэл (американский нейробиолог и нейрофилософ, специализирующийся на изучении и философии познания и сознания) так описывает происходящее с ребенком-инфоргом, погруженным в цифровой мир https://bit.ly/3thli3Z.
«… он узнает, что физический мир животных, людей и мест действия - лишь одна из разновидностей мира. Все больше и больше реальный мир существует в виде крошечных прямоугольников - виртуальных "мест действия"… Его мир состоит из пикселей, постов, обновлений, лайков, а его действия - просто клики. Мы спроецировали всю нашу цивилизацию внутрь того, что в конечном счете является крошечным тесным пространством, если смотреть на него ясными глазами ребенка…Исход 21-го века будет очень сильно зависеть от того, смогут ли люди перед лицом великих технологических изменений отвергать наиболее вредные технологические "достижения".»

Проф. Хоэл прав. Ведь выживут только инфорги https://bit.ly/477rKIp

#Инфорги Открыть/Комментировать