Благодаря инициативе одного человека в переводчике Яндекса поя | Geeks

Благодаря инициативе одного человека в переводчике Яндекса появился якутский язык. Алексей Иванов собрал датасет на более ста тысяч строк на различные темы, но ожидаемо, этого оказалось недостаточно. Тогда для обучения нейросети стали использовать родственные якутскому языки. И это оказалось достаточно эффективным решением.

Об этом Яндекс и Stereotactic выпустили фильм, приуроченный ко второму выпуску журнала ТЕХНО. На этот раз выпуск посвящен машинному переводу, а центральный материал - документальный фильм «Саха Тыла. Как научить машину понимать якутский». Фильм не только о том, как научить нейросеть “понимать” незнакомые ей языки со всеми их сложностями. Фильм о людях, которые, которые пытаются сохранять “родной” язык - учат и изучает язык во взрослом возрасте, пишут на нем книги, музыку и даже снимают фильмы.

Внутри журнала – лонгриды о тонкостях разработки машинного перевода, рассказ про обучение Переводчика эльфийскому, эмодзи, сложным языкам, для которых слишком мало данных, а также несколько тестов, которые помогут взглянуть на машинный перевод и языки «изнутри».

Ссылка на фильм тут.