Прикольненько. Искусственный интеллект может создать ваш жутко | 🦄 Startup News

Прикольненько. Искусственный интеллект может создать ваш жутковато точный портрет, используя только ваш голос. Исследователи ИИ работают над созданием изображения лица человека, используя только короткую аудиозапись его речи, и результаты оказались довольно впечатляющими.

Товарищи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) впервые опубликовали информацию об алгоритме искусственного интеллекта под названием Speech2Face еще в 2019 году (https://arxiv.org/abs/1905.09773). Исследователи разработали и обучили глубокую нейронную сеть, используя миллионы видеороликов с YouTube и Интернета, на которых изображены разговаривающие люди. В процессе обучения ИИ изучил корреляции между звуком голоса и внешним видом говорящего. Эти взаимосвязи позволили ему сделать лучшие предположения о возрасте, поле и этнической принадлежности говорящего. В процессе обучения не участвовал человек, поскольку исследователям не нужно было вручную маркировать какие-либо подмножества данных - ИИ просто предоставили огромный массив видеозаписей и поставили перед ним задачу выявить корреляции между особенностями голоса и чертами лица. После обучения ИИ оказался на удивление хорош в создании портретов, основанных только на голосовых записях.

Для дальнейшего анализа точности реконструкции по голосу и сравнению методик, исследователи создали "декодер лица", который создает стандартную реконструкцию лица человека лишь по одному неподвижному кадру, игнорируя при этом "несущественные вариации", такие как разворот и освещение. Это позволило ученым сравнить реконструкцию голоса с реальными чертами лица говорящего. И снова результаты ИИ были поразительно близки к реальным лицам в большом проценте случаев.

Не все так, безусловно, радужно. В некоторых случаях ИИ с трудом определял, как выглядит говорящий. Такие факторы, как акцент, язык и высота голоса, вызывали "несоответствие речи и лица", при котором пол, возраст или этническая принадлежность оказывались неверными. Люди с высоким голосом (включая мальчиков младшего возраста) часто идентифицировались как женщины, а люди с низким голосом - как мужчины. Азиатский мужчина, говорящий по-английски, выглядел менее азиатским, чем когда он говорил по-китайски. "В некотором смысле эта система похожа на вашего дядю-расиста", - пишет фотограф Томас Смит. "Ей кажется, что она всегда может определить расовую или этническую принадлежность человека по его голосу - но часто она ошибается".

Как это все использовать?

Во-первых, это кладезь для полиции, силовых органов, государственных структур и коммерческих структур, которые будут вас определять и “видеть” по голосу.

Во-вторых, одним из возможных применений этого ИИ в реальном мире может быть создание мультяшного изображения человека во время телефонного разговора или видеоконференции, или в виде аватара в метавселенной, когда личность человека неизвестна и он не хочет делиться своим реальным лицом.

В третьих, реконструированные лица могут также использоваться для присвоения лиц машинным голосам, используемым в домашних устройствах и виртуальных помощниках.

**

Гонка за первенство на рынке голосовых помощников
https://fastsalttimes.com/smart-speaker-race/

Голосовые ИИ-помощники пожирают мир?
https://fastsalttimes.com/voice-assistants-eating-the-world/

Alexa и игры, в которых вы контролируете действия голосом
https://fastsalttimes.com/alexa-voice-games/

Поколение «голоса» или к чему приведет взросление с технологией
https://fastsalttimes.com/voice-assistants-generation/

Как технологии меняют шпионаж
https://fastsalttimes.com/tech-and-espionage/