«Яндекс» добавил в свой браузер технологию автоматического закадрового перевода прямых трансляций на YouTube, сказано в сообщении компании.
Уточняется, что пока технология работает в режиме открытого бета-тестирования, поэтому работает не для всех трансляций. В частности, перевод доступен для каналов Apple, NASA и космической компании Илона Маска SpaceX, а также платформы для выступления спикеров TED и др. С помощью этой технологии можно будет посмотреть презентацию новых технических устройств или трансляцию запуска ракеты не дожидаясь выхода видео на русском языке. Об этом сообщают Ведомости.
В компании отметили, что «при работе с потоковым сценарием важна минимальная задержка, а это значит, что переводить нужно моментально», но при этом необходимо сохранить контекст. В результате инженеры «Яндекса» смогли научить нейросети переводить речь спикеров не дожидаясь, пока они закончат предложение, без потери смысла.
По словам руководителя приложения «Яндекс» и «Яндекс.Браузер» Дмитрия Тимко, чтобы достигнуть этого, пришлось полностью перестроить архитектуру закадрового перевода видео. В частности, одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии, третья — расставляет знаки препинания и выделяет смысловые фрагменты, а четвертая — переводит.
Сейчас нейросети умеют переводить трансляции на пяти языках — английском, немецком, французском и итальянском. Предполагается, что в будущем технология научится переводить трансляции на китайском и японском языках, а также будут добавлены новые пары европейских языков. Кроме того, разработчики алгоритма надеются добавить перевод потоковых видео и трансляций на другие платформы, в том числе в популярный у геймеров ресурс Twitch.
