Системы машинного перевода стремительно развиваются, но их качество по-прежнему сильно зависит от объёма текстов, на которых их обучали. Для языков без большого корпуса данных — а тем более без устоявшейся письменности — современные модели работают заметно хуже. Расширение перевода на новые языки требует поиска обучающих примеров там, где их в принципе мало, поэтому качественный перевод сегодня доступен в основном для самых распространённых языков сети.
Большинство систем машинного перевода работают по билингвальному принципу — то есть заточены на пару языков. По мнению исследователей, масштабировать такой подход на десятки языковых пар, не говоря уже обо всех языках мира, крайне сложно.
Два проекта Meta AI
Команда Meta AI работает над технологиями, которые должны охватить большинство языков планеты. В рамках инициативы заявлены два направления. Первое — No Language Left Behind (NLLB), модель, которую можно обучать на меньшем количестве примеров и получать перевод экспертного качества для сотен языков — от астурийского и луганда до урду. Второе — Universal Speech Translator, набор методов перевода речи с одного языка на другой в реальном времени, включая языки без устоявшейся системы письма.
LASER и обучение «учитель-ученик»
Чтобы автоматизировать сбор данных для малоресурсных языков, команда представила открытый инструментарий LASER, который сейчас охватывает более 125 языков на 28 разных системах письма. LASER объединяет предложения на разных языках в единое многоязычное представление, а затем с помощью масштабного поиска по сходству находит фразы с близким смыслом в разных языках.
Для борьбы с нехваткой данных исследователи разработали особую схему обучения «учитель-ученик», которая позволяет LASER работать сразу с множеством языков в большом масштабе: модель фокусируется на конкретных языковых подгруппах и обучается на существенно меньших наборах данных. LASER также адаптирован для работы с речью — он умеет извлекать перевод между речью на одном языке и текстом на другом, а также выполнять прямой перевод «речь-в-речь», объединяя речевые и текстовые представления в общем многоязычном пространстве.
Речевой перевод: CoVoST 2 и VoxPopuli
Существующие эталонные наборы для оценки речевого перевода охватывают лишь несколько языков, поэтому команда создала CoVoST 2 — набор данных на 22 языка и 36 направлений перевода с разным объёмом доступных ресурсов. Ещё один инструмент, VoxPopuli, — крупный многоязычный речевой корпус для обучения представлений, включающий 400 000 часов речи на 23 языках. На его основе построена крупнейшая открытая универсальная предобученная модель для 128 языков и различных речевых задач; на наборе CoVoST 2 эта модель улучшила предыдущий рекорд по переводу речи в текст с 21 языка на английский.
Смесь экспертов и отказ от английского как посредника
Отдельное направление работы — эффективное обучение моделей огромной ёмкости с помощью разреженных архитектур mixture-of-experts, повышающих качество перевода. Увеличивая размер модели и добавляя автономную функцию маршрутизации, при которой разные токены задействуют разные «экспертные» блоки, команда смогла сбалансировать качество перевода для языков с большим и малым объёмом данных.
Кроме того, исследователи создали первую многоязычную систему текстового перевода, не ориентированную на английский язык как на промежуточное звено, — она охватывает 101 язык. Обычные билингвальные системы сначала переводили исходный текст на английский, а затем на целевой язык; команда Meta отказалась от этого посредника, что повысило скорость и качество перевода при прямом сопоставлении языков. Раньше многоязычные модели уступали по качеству специализированным билингвальным системам даже без английского посредника, но, по данным исследователей, системы машинного перевода Meta превзошли даже лучшие билингвальные аналоги.
Команда также занимается системой перевода «речь-в-речь» без промежуточного текстового представления — она превосходит по качеству стандартный каскадный подход, объединяющий отдельные модели распознавания речи, перевода и синтеза. В планах — учитывать особенности исходного аудио, например интонацию, чтобы переведённая речь сохраняла выразительность и характер голоса говорящего.
FLORES-101 — эталон для оценки
Оценка крупной многоязычной модели — отдельная сложная задача, требующая экспертизы во всех охваченных языках. Поэтому команда представила FLORES-101 — первый многоязычный набор данных для оценки перевода, охватывающий 101 язык. FLORES-101 позволяет измерять качество перевода в любом направлении между языками, а не только относительно английского.
Авторы проекта надеются, что их работа приблизит реальное применение подобных систем перевода к повседневной практике.
Источник: MarkTechPost.