Яндекс запустил технологию перевода прямых трансляций на YouTu | Geeks

Яндекс запустил технологию перевода прямых трансляций на YouTube в открытое бета-тестирование.

Нейросети обрабатывают потоковое видео с небольшой задержкой и озвучивают спикеров сразу по-русски. Так как технология еще обкатывается, то можно её попробовать на некоторых YouTube-каналах (например, здесь). Работает все через пк версию браузера Яндекса.

Мне сразу вспомнилась вавилонская рыбка из произведений Адама Дугласа, которая даже в моем детстве казалась чем-то фантастическим из далекого далекого будущего. Вавилонская рыбка забиралась в ухо своего владельца и переводила все, что он мог услышать, на понятный ему язык. Эта фича даже круче вавилонской рыбки.

За потоковый перевод в браузере Яндекса отвечают пять нейросетей. Первая распознает речь и переводит ее в текст, вторая по биометрии определяет, кто говорит – мужчина или женщина. Третья – нарезает расставляет в тексте знаки препинания и нарезает его на смысловые фрагменты, чтобы отдать их на вход четвертой нейросети, которая отвечает за перевод. Пятая – синтезирует озвучку на русском языке. Если хотите подробнее, читайте пост на хабре.

Пока технология еще тестируется на YouTube-стримах, но команда Яндекс браузера планирует запустить ее и на Twitch.