В МФТИ научились сжимать нейросети с меньшей потерей качества

Учёные МФТИ разработали алгоритм HARP, который улучшает качество экстремально сжатых языковых моделей

При сильном сжатии нейросеть теряет точность, и новый алгоритм помогает с этим бороться. Сжатие (квантование) означает, что числа, из которых состоит модель, — её веса — записывают меньшим числом бит. Перед этим HARP подбирает для каждого слоя модели собственную систему координат, чтобы данные лучше поддавались сжатию. Данные при этом как бы «поворачивают» — в основе метода лежат структурированные ортогональные повороты. Меняется только способ записи данных, а не сама модель, поэтому информация не теряется.

Алгоритм проверили на моделях разного масштаба — Llama 2 70B и Qwen3-8B. При самом жёстком 2-битном сжатии ошибка снизилась на 12–15 %. Тесты с вопросами и вариантами ответа подтвердили преимущество нового метода.

HARP сохраняет около 90 % скорости стандартного сжатия и работает примерно в 2,1 раза быстрее полной версии модели. При этом он не заменяет существующие методы квантования, а работает поверх них — подстраивает повороты под конкретный слой модели и выбранный метод сжатия.

Метод универсален: его проверили и с другой системой сжатия — QTIP, и там он тоже улучшил результаты. Код HARP выложен в открытый доступ на GitHub, готовые сжатые модели опубликованы на Hugging Face.

В будущем учёные планируют исследовать алгоритм и для других этапов работы готовой нейросети.

Источник: МФТИ