Aleph Alpha представила билингвальную ИИ-модель Kolibri для госорганов и промышленности

Компания Aleph Alpha выпустила новую языковую модель Kolibri — билингвальное решение для госуправления, промышленности и аэрокосмической отрасли

Kolibri — это смесь экспертов-трансформеров (Mixture-of-Experts Transformer) с 78 млрд общих параметров, из которых активно задействуются 3 млрд. Модель поддерживает контекст до 1 млн токенов и доступна для скачивания на Hugging Face под лицензией Apache 2.0. Она оптимизирована для английского и немецкого языков: 21,3 % токенов на этапе предварительного обучения — немецкие, а перевод использовался ограниченно (всего 6 %).

Разработку вели с учётом требований европейского законодательства: регламента GDPR, Общего регламента по ИИ (EU AI Act) и Кодекса практики для ИИ общего назначения. Модель обучена отвечать «Я не знаю», если ответа нет в контексте, — это повышает надёжность и снижает риск «галлюцинаций». Инфраструктура обучения располагалась в Германии и Финляндии, весь процесс контролировался в рамках европейского и немецкого права.

Kolibri превосходит аналоги по соотношению качества и стоимости обслуживания: она справляется с задачами по математике, программированию и работе с длинными текстами не хуже моделей с вчетверо большим числом активных параметров (например, Nemotron 3 Super). Создание модели стало возможным благодаря автоматизированному конвейеру обучения: он выдержал 38 незапланированных прерываний за 21 день пре-обучения и автоматически восстанавливал процесс без участия человека.

Источник: Aleph Alpha