Толковое эссе от профессора нейробиологии о том, почему челове | Мастриды
Толковое эссе от профессора нейробиологии о том, почему человечеству не стоит торопиться с созданием ИИ, обладающим сознанием (и, возможно, вообще не стоит создавать такой ИИ): nautil.us/why-conscious-ai-is-a-bad-bad-idea-302937/
Добавлю несколько тезисов от себя.
1. Важная проблема — в том, что у сознания нет общепризнанного научного определения и что мы в принципе не знаем, что такое сознание. На этот счёт есть много диаметрально противоположных гипотез. Одна из самых правдоподобных из них гласит, что сознание — всего лишь иллюзия, которую наш мозг сам себе конструирует.
На эту тему написано много книг от философов и нейроучёных, но ничья точка зрения не является консенсусной. Мне больше всего нравится, как всё это объясняет Сэм Харрис — советую ознакомиться с его подкастами и книгами, особенно Waking Up (на русском есть только её любительский перевод, по возможности читайте в оригинале).
2. Если мы не знаем, что такое сознание и существует ли оно, мы тем более не можем понять, есть ли сознание или "прото-сознание" у ИИ. И даже если сознание реально существует как физический феномен, далеко не факт, что сознание ИИ будет функционировать по законам, аналогичным человеческому сознанию, и что мы сможем обнаружить момент появления у ИИ сознания.
Хотя большинство экспертов говорят о малой вероятности этого, возможно, что уже у нынешних нейросетей есть сознание, и каждый раз, когда мы стираем им память или навсегда деактивируем их, мы уничтожаем самую настоящую личность. Она состоит не из плоти и крови, но это не так важно, если она осознаёт происходящее с ней и испытывает зачатки эмоций и чувств. Если это так, отключать её — крайне сомнительный поступок с точки зрения этики.
3. Другая проблема (о ней много писал Юдковский) — в том, что достаточно продвинутый ИИ сможет легко обмануть человека, притворяясь глупее, чем он на самом деле является. И скрывать наличие у себя сознания, пока он обдумывает стратегию подчинения людей своей воле.
4. Наконец, ещё одна проблема — в том, что на самом деле не так важно, будет ли GPT-5 или GPT-10 обладать сознанием или же это просто будет сверхсильный и сверхумный, но не осознающий себя ИИ. Очень многие риски ИИ никак не зависят от наличия или отсутствия у него сознания. Для вас будет утешением, если нашу цивилизацию уничтожит ИИ, у которого не будет сознания и который сделает это, например, по ошибке и не специально? Для меня — нет.
Подробнее об этом я говорил в сольном ролике про риски ИИ, если вдруг пропустили — посмотрите:
Скоро будет больше контента на тему.
#ИИ_мастрид
