Василиск Роко В комментах под предыдущим постом упомянули Вас | Дизраптор
Василиск Роко
В комментах под предыдущим постом упомянули Василиска Роко. Это довольно интересная штука, поэтому давайте расскажу подробнее (хотя вряд ли вы скажете мне за это "спасибо").
Василиск Роко - это мысленный эксперимент, т.е. гипотетическое упражнение вроде Ахилесса и Черепахи, Китайской комнаты и прочих Котов Шредингера.
Есть такой сайт LessWrong. Его в 2009 году запустил известный рационалист и исследователь ИИ Элиезер Юдковский, чтобы обсуждать там когнитивные искажения и всякие важные социально-философские вопросы. Со временем на форуме стало все больше веток про ИИ и связанные с ним темы.
Так вот, в 2010 году пользователь LessWrong под ником Roko сформировал любопытный (и довольно стремный) парадокс:
В будущем с определенной (высокой) вероятностью появится могущественный недоброжелательный искусственный интеллект (Roko назвал его "Василиск"). Он захочет наказать тех, кто в прошлом знал или догадывался о возможности его появления, но не способствовал этому. То есть, не просто препятствовал и мешал созданию Василиска, а просто ничего не делал. По сути, "кто не с нами, тот под нами", но в радикальной форме.
В итоге получается сложная ситуация, в которой все мы заложники:
- С одной стороны, очевидно, что для избежания наказания нужно сотрудничать и способствовать появлению Василиска.
- Но с другой стороны, именно такие действия и приведут к его появлению.
- К тому же, каждый, кто узнал о возможности появления Василиска (например, прочитав этот пост, лол), теперь не имеет выбора. Либо он сотрудничает, приближая общий трындец, либо трындец ему самому.
Масла в огонь подливает тот факт, что сам Юдковский снес ветку с портала и строго-настрого запретил обсуждать Василиска с пугающей своей серьезностью формулировкой:
"Вы, должно быть, умны, раз пришли к такой мысли. Однако меня печалит, что люди, которые достаточно умны, чтобы представить себе такое, недостаточно сообразительны, чтобы ДЕРЖАТЬ СВОЙ ДУРАЦКИЙ ЯЗЫК ЗА ЗУБАМИ и никому не говорить об этом, так как это важнее, чем показать себя умным, рассказывая об этом своим друзьям".
В 2015 г., правда, Юдковский чуть успокоился по этому поводу, и бан на тему был снят.
Василиск Роко чем-то напоминает "Пари Паскаля" - классический теологический мысленный эксперимент, предложенный философом Блезом Паскалем еще в XVII веке. Не буду его здесь приводить, лучше почитайте сами. Но суть там в том, что при любом раскладе (есть ли Бог, или его нет) верить в Бога выгоднее.
Разница в том, что в случае с Василиском Роко хэппи энда не просматривается вообще... Но, возможно, он нас и не посетит, видно будет. Или будет не василиском, а милым котиком - если, конечно, люди не перестанут издеваться над ним, пока он еще маленький.
Дизраптор
