Нейросети оказались понятнее, чем считалось

Исследователь после многомесячного изучения нейросетей пришёл к выводу, что их механизмы гораздо понятнее, чем считалось ранее

Изучив работу отдельных нейронов и их цепочек в моделях, которые распознают изображения и обрабатывают текст, он обнаружил: то, что раньше считали случайным смешением разных понятий в одном нейроне (полисемантичность), на деле чаще связано с механизмом, который автор называет рекурсивным обобщением.

Ранее считалось, что при нехватке ресурсов нейросеть начинает смешивать несвязанные понятия (принцип суперпозиции), из-за чего её работу было сложно расшифровать. Однако исследование показало, что проблема заключалась не в этом принципе, а в архитектурных недочётах и слабых инструментах анализа — например, в модели InceptionV1 почти не было понятных нейронов в последнем слое.

После обычных улучшений архитектуры модели 99–100% нейронов в последнем слое стало легко расшифровать — без изменения размера модели или объёма обучающих данных. То есть нейросети оказались более «чистыми» и понятными, чем думали раньше.

Анализ современных языковых моделей, в том числе Qwen3-32B, показал, что около 90% нейронов имеют одну основную функцию, ещё примерно 7% — две связанные функции, и лишь 2–4% пока остаются непонятными. Прежние оценки были значительно скромнее — 1,7% понятных нейронов и меньше.

Источник: Goodfire