Тем временем в AI мире за последний месяц произошел очередной | Наука Fun Science

Тем временем в AI мире за последний месяц произошел очередной скачок развития и теперь ИИ учат клонировать мысли людей.

Идея состоит в том чтобы научить ИИ мыслить и действовать аналогично людям, а также отключать себя когда это необходимо. Предполагается что это даст:

1. Революционный скачок в скорости и эффективности обучения ИИ.
2. Возможность проактивной профилактики и предотвращения преступлений ИИ, то есть предотвращения вредоносных действий, которые могут быть направлены против людей.

Все достижения в области больших языковых моделей (LLM) были достигнуты за счет способности моделей имитировать действия людей. Однако у людей мышление также играет важную роль, определяя их действия на основе рассуждений и целей. Исследователи считают, что, обучая модели соответствующим мыслям, можно создать связь между поведением и целями, а также учить модель генерировать и объяснять причины своих действий.

Для достижения клонирования мыслей в машинном обучении разработали метод, который предоставляет модели несколько потоков информации. Один из потоков связан с наблюдением действий, таких как ходы в игре, а другой - с потоком мыслей, который объясняет эти действия. Например, в стратегической игре ИИ может наблюдать, как игрок перемещает юниты перед мостом, и получать текстовое объяснение: "предотвратить пересечение моста".

В процессе обучения клонированию мыслей ИИ агенты учатся генерировать мысли на естественном языке на каждом временном шаге и основывать свои действия на этих мыслях. Исследователи предварительно обучают модели на основе имитации человеческих данных, чтобы изучить и мысли, и действия.

Интересно почему они уверены что научив ИИ мыслить он будет тормозить в случае потенциальных вредоносных действий.