Юрий Шевцов обращает внимание на ситуацию с рисками вокруг LLM | iter ignis

Юрий Шевцов обращает внимание на ситуацию с рисками вокруг LLM (больших языковых моделей, таких как GPT). Выражение опасений публичными персонами относительно рисков прогресса в ИИ началось не вчера, но именно рывок, совершённый LLM в последние пару лет и хорошо опубличенный, создаёт новую ауру вокруг этого всего.

Тут скорее возрождение в новых формах движения ученых за мир и контроль над гонкой вооружений. Во время Холодной войны подобная этика мира ученых стала одной из причин не перехода мировой Холодной войны в мировую горячую. Манифест Рассела-Эйнштейна 1955 года и Пагуошское движение, поступок семьи Розенбергов несколько ранее. Там было грандиозное по важности для человечества движение и достижения в этике.

Достаточно способный ИИ (он тут или очень близок), снабжённый необходимыми инструментами и ресурсами, доступом в операционное пространство, может представлять из себя чрезвычайно опасного агента. Глобально опасного, если говорить про доступ в глобальные операционные среды, вроде Интернета, управления дальнобойным и/или автономным оружием или управления спутниками. Ядерное оружие, о котором вспоминает ЮШ, также было глобально-опасным, и осознание такой общечеловеческой угрозы породило феномен "сдерживания" и новую этику. Она не столько "гуманистична" или "пацифистична", сколько отражает новый аспект противостояния великих держав, great powers, где чрезмерная эскалация чревата общим обнулением.

Серьёзнейшей отличие той и этой ситуаций в том, что носителями этики сдерживания великих держав были великие умы. Или если не очень великие, то по крайней мере, достаточно ответственные, раз мы ещё не сидим на радиоактивных руинах. Сборка ядерной бомбы "в гараже" - дело невозможное, или, как минимум, хорошо заметное для спецслужб, контролирующих обращение соответствующих элементов и материалов. Доступ же к весьма операционно-продвинутым ИИ-инструментам демократизирован так, что любой сколь-нибудь достаточно продвинутый инженер может собрать "ядерную ИИ-бомбу", сидя с ноутбуком на унитазе, и остаться незамеченным и до, и, возможно, после её активации.

Сценариев такого рода операций можно накидать много, но ключевых моментов, как мне представляется, три: 1) аутопоэзис - способность киберагента обучать "себя" в любом количестве экземпляров; 2) социализация - способность создавать организованное поведение этих экземпляров (рой); 3) способность высокопродуктивной коммуникации с человеком.

Именно (3), интеллигентная интерактивность, отличает LLM-усиленных вирусов от всех предыдущих более всего. Диверсионные возможности киберагентов, построенных на (1, 2, 3) сложно переоценить.

Контроль за этим, несомненно, необходим. Но этика тут уже мало поможет. Розенберги и Хинтон - это great minds, способные воспринимать такого рода угрозы, как этическую проблему. Партизанская этика невзрослеющего подростка или созревшего террориста с ноутбуком воспримет это как приглашение, и общественный доступ к сознанию таких людей практически невозможен.

Что ещё какое-то время убережёт нас от больших проблем, так это трудности с приделыванием нужных рук и ног к этому большому модельному языку, с эффективным встраиванием его в операционные среды. Но вряд ли надолго.

https://t.me/yuryshevtsov/10336