Проблема 37-го хода военного ИИ. Люди могут просто не понять | ПДС
Проблема 37-го хода военного ИИ.
Люди могут просто не понять, что это их спасение или конец.
Автономное летальное оружие (АЛО): 1) уже существует и 2) скоро станет штатным элементом всех систем ведения военных действий.
Т.е. ящик Пандоры открыт, его уже не закрыть и нужно срочно решать, как предотвратить худшие из последствий.
А эти последствия: а) весьма разнообразны и б) что самое ужасное, предотвратить многие из них известными людям способами просто невозможно.
АЛО невозможно запретить (как химическое и бактериологическое оружие), ибо не существует средств контроля за разработками ИИ алгоритмов.
Невозможно ограничить автономизацию обычного (неавтономного) оружия, превращающую его в АЛО (превратить обычную бомбу в ядерную - сверхзадача, а для автономизации боевого дрона достаточно за 5 сек сменить его прошивку)
Попытки описать правила применения АЛО, оставляющие смертельные решение за людьми, столь же наивны, как надежды оставить за водителем решения по управлению авто, когда на принятие таких решений остается куда меньше 100 миллисекунд.
Но самым непреодолимым видится невозможность понять почему алгоритм принимает то или иное решение. И дело здесь не только в проблеме «черного ящика» (как сделать решения ИИ доступными для осмысления людьми).
Даже если такое осмысление в принципе возможно (как например это было со знаменитым нечеловечески хитрым и дальновидным 37-м ходом AlphaGo во 2-й игре против Lee Sedol), в реальных военных ситуациях на это не будет времени.
Если оставить окончательное решение за человеком, то он может просто не успеть понять спасительность и единственность решения, предложенного АЛО. Или вообще не понять, подобно экспертам по игре в Го, что единодушно сочли 37-й ход AlphaGo ошибкой.
А если и поймет, то скорее всего, к тому времени уже будет поздно.
• Почитайте про это в новом совместном отчете BAE Systems и WIRED Consulting «Robotic Weapons Are Coming – What Should We Do About It?»
• Мою презентацию и выступление на эту тему в ходе организованной МККК дискуссии «Цифровые технологии в вооруженных конфликтах: смягчение гуманитарных последствий» можно посмотреть здесь (22 мин).
#Война #ИИ #БПЛА #AWS
