22. Всё больше и больше! Ожидания от прошедшего года жизни в | Mikhail Samin

22. Всё больше и больше!

Ожидания от прошедшего года жизни в чём-то оказались слишком оптимистичными.

Совершенно не планировал уезжать из России, совершенно не ожидал, что придётся наблюдать за войной.

В начале апреля ещё и увеличилась уверенность, что на решение главной стоящей перед человечеством проблемы не остаётся достаточно времени. На Metaculus медианное предсказание даты, когда о слабом общем ИИ (проходящем разные тесты лучше большинства людей и тест Тьюринга), впервые станет публично известно, опустилось с 2042 до 2032 за неделю: Google выпустили PaLM — модель, которая превосходит среднестатистических людей в решении задач из бенчмарка BIG-bench, оценивающего понимание текста, мира, людей, математики и умение логически о них рассуждать.

Даже если действительно осталось целых десять лет, и форкастеры на Metaculus не недооценивают возможность новых скачков, этого совершено не хватает, чтобы решить AI Alignment и предотвратить уничтожение человечества. Никто не знает, как прийти к способу создания AGI так, чтобы его предпочтения совпадали с предпочтениями человечества и человечество не оказалось уничтожено. Из-за того, насколько экономически выгоднее иметь модели, более близкие к AGI, и насколько легко может начаться «гонка вооружений», почти невозможно представить уровень глобальной координации, который был бы необходим для предотвращения запуска AGI до решения AI Alignment.

Если у вас есть степень по математике, computer science или другим смежным предметам или если вы занимаетесь машинным обучением, если вы потенциально были бы готовы сменить направление исследований на какое-нибудь интересное и очень полезное человечеству, лучший подарок, который можно сделать мне на день рождения — запланировать звонок со мной на полчаса/час.

Спасибо! <3