NVIDIA представила модель для расшифровки речи на 40 языках

Компания NVIDIA выпустила модель Nemotron 3.5 Transcribe, способную расшифровывать речь на 40 языках, включая русский

Главная особенность модели в том, что стиль расшифровки задаётся обычной текстовой инструкцией к каждому запросу, без дообучения: дословно или без запинок и слов-паразитов, с числами прописью или цифрами, с нужным написанием специальных терминов. Обычные системы распознавания речи привязаны к одному такому формату ещё при обучении. Внутри Nemotron 3.5 Transcribe объединены кодировщик речи, модель, которая различает говорящих, и большая языковая модель NVIDIA. Кроме того, Nemotron 3.5 Transcribe переводит речь и определяет язык на записях длиной до часа.

Модель выдаёт временные метки для каждого слова с указанием говорящего, даже когда несколько человек говорят одновременно, — например, на встречах или в звонках. По данным NVIDIA, это первая языковая модель с распознаванием речи, которая справляется с такими записями лучше специализированных систем.

Среди моделей с открытыми весами Nemotron 3.5 Transcribe показала лучший результат в рейтингах Open ASR Leaderboard: доля неверно распознанных слов составила в среднем 4,71 % на англоязычных тестах и 4,62 % на многоязычных. Если заранее дать модели список ожидаемых имён и названий, она ошибается в них в шесть раз реже. На одной видеокарте RTX PRO 6000 Blackwell модель за одну секунду расшифровывает до 37 минут записи.

Модель выпущена в открытом доступе под лицензией OpenMDW-1.1 вместе с набором инструментов для дообучения. Её можно адаптировать к новым языкам, областям применения и задачам на одной видеокарте, обычно за 0,5–2,3 часа на задачу.

Ранее по теме: Aleph Alpha представила билингвальную ИИ-модель Kolibri для госорганов и промышленности

Источник: NVIDIA