Большие языковые модели умеют многое, но объяснить, почему они вдруг ответили не на том языке, зациклились на повторах или отказались выполнять безобидный запрос, почти невозможно — разработчикам просто не хватает инструментов для диагностики на уровне внутренних вычислений. Именно эту проблему решает новый релиз команды Qwen.
Qwen Team опубликовала Qwen-Scope — открытый набор разреженных автоэнкодеров (sparse autoencoders, SAE), обученных на моделях семейств Qwen3 и Qwen3.5. В релиз вошли 14 групп весов SAE для 7 вариантов моделей: пять плотных моделей (Qwen3-1.7B, Qwen3-8B, Qwen3.5-2B, Qwen3.5-9B, Qwen3.5-27B) и две модели типа mixture-of-experts — Qwen3-30B-A3B и Qwen3.5-35B-A3B.
Что такое разреженный автоэнкодер и зачем он нужен
SAE можно представить как переводчик между «сырыми» активациями нейросети и понятными человеку концепциями. Когда LLM обрабатывает текст, она генерирует многотысячные векторы скрытых состояний, разобраться в которых напрямую нереально. Автоэнкодер учится раскладывать эти активации на большой словарь разреженных латентных признаков, где на каждый вход активируется лишь небольшое подмножество признаков — и каждый такой признак обычно соответствует конкретному интерпретируемому понятию: языку, стилю, поведению, связанному с безопасностью.
Для каждой базовой модели и каждого слоя трансформера Qwen-Scope обучает отдельный SAE, который реконструирует активации residual-потока с помощью разреженного набора латентных признаков. Кодировщик отображает активацию в избыточное латентное представление, а правило Top-k оставляет для реконструкции только k крупнейших активаций (в релизе k равно 50 или 100). Для плотных моделей ширина SAE масштабируется до 16-кратного размера скрытого слоя; для MoE-моделей стандартные SAE используют ширину 32К (16-кратное расширение), а также опубликованы более широкие версии до 128К (64-кратное расширение) для более тонкой структуры представлений. Важная деталь: Qwen3.5-27B — единственная модель, для которой SAE обучены на instruct-варианте, все остальные шесть моделей используют базовые чекпоинты.
Управление поведением модели без переобучения
Самое очевидное применение — steering, то есть влияние на выход модели без изменения её весов. Идея опирается на гипотезу, что сложное поведение кодируется направлениями во внутреннем пространстве представлений. Добавляя или вычитая направление признака SAE из residual-потока по формуле h' ← h + αd (где h — скрытое состояние, d — направление признака, α — сила воздействия), инженеры могут подталкивать модель к желаемому поведению или отдалять её от нежелательного.
Команда показала два примера на моделях Qwen3. В первом модель, которой задали вопрос на английском, неожиданно начинала подмешивать китайский текст; ранжирование признаков SAE по силе активации выявило сильно активированный «китайский» признак (id 6159) — его подавление во время генерации полностью убрало смешение языков. Во втором примере активация признака классического китайского языка (id 36398) успешно направляла продолжение истории в сторону классического литературного стиля. Оба результата достигнуты без единого обновления весов.
Оценка бенчмарков без запуска модели
Проверка LLM обычно требует множества прямых проходов по большим наборам данных — это дорого по вычислениям и времени. Qwen-Scope предлагает более дешёвую альтернативу: использовать активации признаков SAE как представление-прокси для анализа бенчмарков.
Идея в том, что при обработке модели тестового примера SAE раскладывает активацию на разреженный набор признаков, каждый из которых можно трактовать как «микро-способность». Бенчмарк, все примеры которого активируют одни и те же признаки, избыточен; два бенчмарка с сильно пересекающимися наборами признаков — похожи. Команда ввела метрику избыточности признаков, которая достигает ранговой корреляции Спирмена ρ ≈ 0,85 с избыточностью, посчитанной по реальным результатам моделей, на 17 распространённых бенчмарках, включая MMLU, GSM8K, MATH, EvalPlus и GPQA-Diamond — и всё это без единого запуска оценки модели. Анализ также показал, что 63% признаков GSM8K уже покрываются MATH, а значит наборы, включающие MATH, можно безопасно сокращать за счёт GSM8K с минимальной потерей различительной силы.
Метод распространяется и на попарное сравнение бенчмарков: после исключения влияния общей способности модели (через частичную корреляцию с результатами MMLU) частичная корреляция Пирсона между пересечением признаков и схожестью по реальным результатам на 28 парах бенчмарков достигает 75,5%. Это подтверждает, что пересечение признаков отражает именно схожесть проверяемых способностей, а не просто общий уровень модели: бенчмарки с низким пересечением признаков стоит сохранять оба, а с высоким — можно объединять.
Классификация токсичности и синтез данных для безопасности
Признаки SAE хорошо работают и как лёгкие классификаторы. Команда построила многоязычный классификатор токсичности для 13 языков по простой двухэтапной схеме: сначала на небольшой выборке находятся признаки, которые чаще активируются на токсичных примерах, чем на чистых, затем к отложенным тестовым данным применяется OR-правило по этим признакам — без дополнительной классификационной головы и без градиентного обучения. На английском языке точность (F1) превышает 0,90 как на Qwen3-1.7B, так и на Qwen3-8B. Признаки, найденные на английском, переносятся на другие языки без повторного поиска: перенос лучше всего работает для лингвистически близких языков — русского и французского, — и слабее для арабского, китайского и амхарского, а переход на Qwen3-8B повышает и уровень, и стабильность кросс-языкового переноса. Использование всего 10% исходных данных для поиска признаков сохраняет около 99% качества классификации.
Отдельно команда предложила пайплайн синтеза данных для безопасности на основе признаков: сначала находятся значимые для безопасности признаки, которых не хватает в существующей разметке, затем генерируются пары «промпт — ответ», рассчитанные на активацию именно этих признаков, а результат проверяется в пространстве признаков. При равном бюджете такой подход достигает 99,74% покрытия целевого набора признаков безопасности — заметно выше, чем при обычной случайной выборке. Добавление 4 тысяч синтетических примеров к 4 тысячам реальных даёт точность по безопасности 77,75 — почти на уровне обучения на 120 тысячах примеров исключительно по безопасности.
Применение при дообучении и обучении с подкреплением
Пожалуй, самый технически новый вклад — использование признаков SAE как сигнала не только при инференсе, но и во время самого обучения.
Для контролируемого дообучения (SFT) команда решает проблему непроизвольного переключения языков (code-switching), когда многоязычная модель внезапно выдаёт токены на нежелательном языке. Метод SASFT (Sparse Autoencoder-guided Supervised Fine-Tuning) сначала выявляет языко-специфичные признаки через оценку монолингвальности, а затем вводит вспомогательную регуляризацию, подавляющую активацию этих признаков при обучении на данных не на целевом языке. На пяти моделях из трёх семейств — Gemma-2, Llama-3.1 и Qwen3 — и трёх целевых языках (китайском, русском и корейском) SASFT снижает долю переключения языков более чем на 50% в большинстве настроек, а в отдельных случаях (например, Qwen3-1.7B для корейского) устраняет её полностью, сохраняя при этом качество на шести многоязычных бенчмарках.
Для обучения с подкреплением команда взялась за проблему бесконечных повторов — редкую, но разрушительную ошибку, когда модель зацикливается на повторяющемся контенте. Обычное онлайн-RL почти не встречает такие повторяющиеся раскаты (rollouts), поэтому не может выработать сильный корректирующий сигнал. Qwen-Scope решает это, используя steering по признакам SAE, чтобы синтетически сгенерировать по одному «предвзятому к повтору» раскату на группу обучения, — этот пример затем добавляется как редкий негативный сэмпл в пайплайн RL DAPO. В результате доля повторов резко и стабильно снижается на Qwen3-1.7B, Qwen3-8B и Qwen3-30B-A3B, при этом общая производительность на бенчмарках остаётся сопоставимой с обычным RL.
Источник: MarkTechPost.