Qwen3.8-LiveTranslate: Архитектура и возможности для синхронного перевода
Релиз Qwen3.8-LiveTranslate включает поддержку 60 языков, разделение говорящих и синхронный вывод текста и аудио. Модель построена на базе Hybrid-MoE и доступна через API DashScope.
Компания Qwen представила модель Qwen3.8-LiveTranslate для синхронного перевода речи. Новое решение использует архитектуру Interleave, поддерживает разделение говорящих и сохраняет тембр голоса, снижая среднюю задержку до 2.3 секунд.
Главные тезисы
- Снижение средней задержки (LAAL) до 2.3 секунд
- Поддержка 60 языков для ввода/вывода текста и 29 для аудио
- Разделение говорящих и сохранение тембра голоса
- Доступность через API DashScope
Qwen представила модель Qwen3.8-LiveTranslate, предназначенную для задач синхронного перевода речи. Система способна не только переводить текст, но и идентифицировать говорящего, а также сохранять оригинальный тембр голоса в синтезированной речи. Модель поддерживает работу с 60 языками на входе и выводе текста, а также 29 языками для синтеза аудио.
Архитектура и производительность
В основе Qwen3.8-LiveTranslate лежит архитектура Interleave, которая объединяет аудио и текст в единый интерлированный поток. Это позволяет кэшировать уже обработанное аудио и переведенный текст, что повышает качество перевода и снижает среднюю задержку (LAAL) с 2.8 до 2.3 секунд по сравнению с предыдущим поколением. Модель использует двухмодульный дизайн Thinker–Talker на базе Hybrid-MoE:
- Thinker обрабатывает видео, аудио, исходный текст и перевод в виде единой каузальной последовательности.
- Talker синтезирует речь на основе перевода и исходного аудио, сохраняя тембр оригинального говорящего.
Ключевые возможности
- Разделение говорящих в реальном времени: модель различает разных спикеров в диалоге и обеспечивает стабильное клонирование голоса каждого из них.
- Синхронный вывод: поддержка двуязычного экрана позволяет одновременно видеть исходный текст и перевод, что упрощает проверку и последующую работу с контентом.
- Разрешение неоднозначностей по длинному контексту: использование исторических данных помогает точнее переводать имена собственные и терминологию в сложных сценариях.
Оценка качества
На наборе данных Omnilingua-MSpeaker, охватывающем 14 направлений перевода между языками, Qwen3.8-LiveTranslate превосходит существующие системы по четырем метрикам: точность перевода (faithfulness), беглость (fluency), лаконичность (conciseness) и ошибка диаризации (DER). При оценке на публичном наборе FLEURS для 70 языковых направлений модель лидирует среди текущих систем по качеству перевода, средней задержке, точности распознавания речи и качеству синтеза.
Доступность и интеграция
Модель доступна через API DashScope. Для интеграции используется WebSocket-соединение. Клиентская часть может быть реализована с использованием Python, библиотеки pyaudio для захвата микрофона и websockets для передачи данных на сервер. Конфигурация сессии позволяет настроить:
- Целевой язык перевода.
- Модальности вывода (текст, аудио или оба варианта).
- Включение распознавания исходного языка (ASR).
- Регистрацию горячих слов (корпуса) для повышения точности перевода специфичных терминов.
Пример подключения требует указания API-ключа и ID рабочей области (workspace_id). URL для подключения зависит от региона (например, cn-beijing для Китая). Сервер возвращает идентификатор спикера, исходный текст и перевод, что исключает необходимость вызова отдельных интерфейсов ASR.
