xAI представила Grok Voice Transcribe 2.0 с улучшенной точностью транскрипции
xAI представила Grok Voice Transcribe 2.0, модель для преобразования речи в текст, которая в два раза точнее предыдущей версии. Модель поддерживает транскрипцию на десятках языков, распознавание спикеров и работу с аудио в реальном времени по тем же ценам
xAI выпустила новую модель для преобразования речи в текст Grok Voice Transcribe 2.0. Модель демонстрирует двукратный рост точности по сравнению с первой версией при сохранении прежней стоимости использования.
Главные тезисы
- Модель заняла первое место в рейтинге Artificial Analysis среди 32 потоковых моделей.
- Снижение средней ошибки в словах на коротких фразах с 20,6% до 6,8%.
- Стоимость использования не изменилась: $0,10 для пакетной и $0,20 для потоковой транскрипции.
Улучшенная точность и мультязычность
xAI выпустила Grok Voice Transcribe 2.0, основанную на аудио-фундаментальной модели Grok Voice. Новая версия показывает двукратное улучшение точности транскрипции по сравнению с Grok Voice Transcribe 1.0. Модель обучена на уникальном наборе данных, включающем живые, зашумленные и многоязычные аудиозаписи, сделанные в различных условиях.
В публичном рейтинге Artificial Analysis Grok Voice Transcribe 2.0 заняла первое место по точности среди 32 моделей потоковой транскрипции. Внутренние тесты на телекоммуникационном аудио, разговорах с Grok, произнесении учетных данных и коротких голосовых командах также подтвердили превосходство новой версии.
Значительное улучшение наблюдается в мультязычности. Модель автоматически определяет язык и поддерживает переключение языков в процессе записи. На наборе коротких фраз средняя ошибка в словах (WER) снизилась с 20,6% до 6,8%.
Функциональные возможности
Модель поддерживает интеграцию с существующими API Speech-to-Text без изменения кода. Она позволяет транскрибировать как записанные файлы и URL-адреса, так и потоковое аудио в реальном времени. Для каждого слова доступны точные временные метки начала и конца, а также оценки уверенности.
Дополнительные функции включают:
- Разделение спикеров (диааризацию) без дополнительной платы;
- Независимую транскрипцию до 8 аудиоканалов;
- Передачу до 100 доменных терминов на запрос для улучшения точности;
- Автоматическое преобразование чисел, дат, валют, телефонных номеров и адресов электронной почты в текстовый формат;
- Возможность исключения слов-паразитов из транскрипта;
- Определение конца реплики спикера для голосовых агентов.
Применение и стоимость
Модель уже используется в продуктах xAI, включая голосовых агентов в автомобилях Tesla, и обрабатывает тысячи клиентских звонков ежедневно. Компания Atlassian внедрила Grok Voice Transcribe 2.0 в сервис Loom для транскрипции видеозаписей экрана, что позволяет автоматизировать создание кода через интеграцию с Cursor.
Стоимость использования Grok Voice Transcribe 2.0 осталась неизменной по сравнению с первой версией: пакетная транскрипция стоит $0,10 за час аудио, а потоковая — $0,20 за час. Включенные функции диааризации, временных меток и ключевых терминов не требуют доплат.
В ближайшее время Grok Voice Transcribe 2.0 станет моделью по умолчанию в API Speech-to-Text, а версия 1.0 будет отключена.
