Яндекс Браузер научился синхронному переводу прямых трансляций

Яндекс Браузер научился синхронному переводу прямых трансляций

Фото аватара
Алексей Авдеев 5 августа 2022 в 14:45
Яндекс Браузер научился синхронному переводу прямых трансляций

Компания Яндекс добавила в свой браузер технологию автоматического закадрового перевода прямых трансляций некоторых YouTube-каналов.

Перевод на русский язык работает в режиме реального времени, что позволяет не ждать завершения мероприятия. Автоматический закадровый перевод прямых трансляций дополняет технологии голосового перевода видео и интерактивных субтитров.

Нейросети выступают в роли синхронного переводчика, который начинает переводить предложение еще до того, как его закончили произносить. Для быстрой и качественной работы потокового сценария, разработчикам Яндекса понадобилось перестроить всю архитектуру закадрового перевода видео. Одна нейросеть распознает аудио и превращает его в текст буквально на лету, другая – определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Именно их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.

Синхронный перевод можно опробовать в «Яндекс Браузере» для компьютера на ограниченном списке YouTube-каналов:

  • NASA;
  • English Speeches;
  • TED;
  • TedX Talks;
  • Hubble;
  • SpaceX;
  • Business Insider;
  • Freeinvesting;
  • TechCrunch;
  • Google;
  • Google Developers;
  • Apple;
  • CNET Highlights;
  • Gaming News — IGN;
  • thegameawards;
  • The Overlap.

Также в в «Яндексе» поделились поделились статистикой использования закадрового перевода. За 10 месяцев функцию запустили на 81 млн видеороликов.

Выбор редакции

От MagSafe
до геймпада

Смотреть подборку

Шесть полезных аксессуаров для тех, кому мало одного iPhone.