ИИ ·

Nvidia усомнилась в пользе огромных контекстных окон для ИИ

Исследователи Nvidia показали, что языковые модели точнее отвечают на вопросы по длинным документам, когда выборочно читают нужные отрывки, а не загружают текст целиком: в двух тестах точность выросла на 23–33 процентных пункта при рабочем контексте в 16 тысяч токенов.

Nvidia усомнилась в пользе огромных контекстных окон для ИИ
Изображение: THE DECODER

Генерация каждого следующего токена обходится дороже предыдущих: вычислительные затраты и объём памяти растут с глубиной контекста. На открытых моделях передового уровня обслуживание окна в 256 тысяч токенов стоит в 3,6–7 раз дороже за токен, чем окна в 16 тысяч, — такие измерения на ускорителях H100 приводят авторы работы, опубликованной 3 ноября на arXiv.

Вместо того чтобы подавать модели весь документ, исследователи превратили длинные входные данные в файлы, которые агент читает выборочно: ищет нужные фрагменты и при необходимости кратко записывает уже выясненное, чтобы продолжить работу с коротким контекстом. Этот приём авторы называют сжатием контекста.

В синтетическом тесте RULER на поиск и извлечение фактов из текстов объёмом до 500 тысяч токенов средняя полнота ответов Claude Opus 4.5 выросла с 62,5 до 95,7 процента, а GPT 5.6 Sol — с 65,5 до 96,4 процента. В тесте BABILong на рассуждения по фактам, спрятанным в книжном тексте, точность поднялась с 67,1 до 92,0 процента и с 70,7 до 94,0 процента соответственно. Рабочий контекст в обоих случаях ограничивался 16 тысячами токенов, а сжатие почти не требовалось: поиск нужных отрывков решал задачу сам по себе.

На задачах полного цикла разработки ПО выборочное чтение со сжатием контекста тоже не ухудшило результат: на SWE-bench Verified доля решённых задач у Claude Opus 4.5 выросла с 70,0 до 74,8 процента, а расчётная стоимость прогона снизилась с 420 до 70 долларов. Модель сохраняла работоспособность, даже выполняя в каждом контексте не более одного действия.

Авторы делают вывод, что длинные контекстные окна не обязательны: достаточно короткого рабочего контекста и умения находить нужное во внешних данных, — и на этой основе предлагают концепцию семантических моделей пространства состояний. Стоит учитывать, что работа не прошла рецензирование и сравнивает два разных режима: чтение всего текста и агентский поиск по файлам.

Ранее по теме: ИТМО ускорил ИИ-систему глубокого поиска в шесть раз

Источник: arXiv

Читайте также