«Яндекс» добавил в свой браузер автоматический закадровый пере | Lingualana

«Яндекс» добавил в свой браузер автоматический закадровый перевод на русский язык прямых трансляций на YouTube. Технология пока работает в бета-режиме и доступна только для ряда каналов — Google, NASA, SpaceX, Apple, TED и других.

Перевод доступен для пяти языков — английского, немецкого, испанского, итальянского и французского, их количество планируется увеличить.

«Если очень коротко описывать принцип работы потокового перевода, то в его основе лежат пять моделей. Одна нейросеть распознает аудиодорожку и превращает её в текст. Вторая определяет пол спикеров, третья нарезает текст на предложения — расставляет знаки препинания и выделяет из текста части, содержащие законченную мысль. Четвёртая нейросеть переводит полученные куски, а пятая синтезирует речь», — рассказали в «Яндексе».

«Сейчас мы отдаём потоковый перевод со средней задержкой 30-50 секунд. Иногда вылетаем за этот диапазон, но не сильно: стандартное отклонение — примерно 5 секунд, — добавили в компании. — Наша глобальная задача — уменьшить задержку примерно до 15 секунд».

В сентябре прошлого года «Яндекс» добавил в свой браузер автоматический закадровый перевод любых англоязычных видео на YouTube. Позднее добавились французский, испанский и немецкий языки. Функция не работает с лицензионным контентом, например, с сериалами.