Большинство современных языковых моделей создаются с расчётом на мощности облачных дата-центров, а затем их пытаются сжать под нужды edge-устройств — ноутбуков, смартфонов, встраиваемых систем. Итог обычно один: заметная потеря качества. Исследователи из Шанхайского университета Цзяотун и компании Zenergize AI пошли другим путём и задались вопросом — что, если проектировать модель сразу под ограничения локального устройства, а не подгонять её под них постфактум. Так появилось семейство SmallThinker — модели на архитектуре Mixture-of-Experts (MoE), рассчитанные на инференс при ограниченной памяти и вычислительных ресурсах. В семейство входят два варианта: SmallThinker-4B-A0.6B и SmallThinker-21B-A3B.
Архитектурные решения
В основе SmallThinker — «мелкозернистая» MoE-архитектура: вместо одной монолитной сети обучается набор специализированных экспертных подсетей, но для обработки каждого токена активируется лишь небольшая их часть. У SmallThinker-4B-A0.6B из 4 млрд параметров на токен задействуется только 600 млн, у SmallThinker-21B-A3B из 21 млрд — 3 млрд. Это позволяет держать большую «ёмкость» модели без затрат памяти и вычислений, характерных для плотных сетей.
Разреженность усилена и на уровне активаций — за счёт функции ReGLU. Даже внутри уже активированных экспертов более 60% нейронов остаются неактивными на каждом шаге инференса, что даёт дополнительную экономию вычислений и памяти.
Для работы с контекстом используется гибридная схема внимания NoPE-RoPE: глобальные слои без позиционных эмбеддингов (NoPE) чередуются с локальными слоями скользящего окна на основе RoPE. Это позволяет поддерживать длинный контекст — до 32 тыс. токенов у 4B-модели и 16 тыс. у 21B — при уменьшенном размере кэша Key/Value по сравнению со схемами с полностью глобальным вниманием.
Ключевой элемент для работы на устройстве — «router перед вниманием» (pre-attention router), который заранее предсказывает, какие эксперты понадобятся на следующем шаге attention, и параллельно с вычислениями подгружает их параметры с SSD или флеш-памяти. «Горячие» эксперты кэшируются в оперативной памяти по политике LRU, а редко используемые остаются на быстром накопителе. Такая схема маскирует задержки ввода-вывода и сохраняет высокую пропускную способность даже при минимальном объёме системной памяти.
Обучение
Модели SmallThinker обучались с нуля, а не путём дистилляции из более крупных моделей, по учебному плану, движущемуся от общих знаний к специализированным STEM-, математическим и программистским данным. Версия 4B обработала 2,5 трлн токенов, версия 21B — 7,2 трлн. Данные собраны из курируемых открытых коллекций, синтетических датасетов по математике и коду, а также корпусов для supervised instruction-following. Среди методик — фильтрация по качеству, синтез данных в стиле MGA и стратегии на основе «персон» в промптах — в первую очередь для повышения качества в формальных и требующих рассуждений задачах.
Результаты тестов
На академических бенчмарках SmallThinker-21B-A3B, несмотря на активацию заметно меньшего числа параметров, чем у конкурентов, показывает результаты на уровне или выше их — от математики (MATH-500, GPQA-Diamond) до генерации кода (HumanEval) и общих знаний (MMLU).
| Модель | MMLU | GPQA | Math-500 | IFEval | LiveBench | HumanEval | Среднее |
|---|---|---|---|---|---|---|---|
| SmallThinker-21B-A3B | 84,4 | 55,1 | 82,4 | 85,8 | 60,3 | 89,6 | 76,3 |
| Qwen3-30B-A3B | 85,1 | 44,4 | 84,4 | 84,3 | 58,8 | 90,2 | 74,5 |
| Phi-4-14B | 84,6 | 55,5 | 80,2 | 63,2 | 42,4 | 87,2 | 68,8 |
| Gemma3-12B-it | 78,5 | 34,9 | 82,4 | 74,7 | 44,5 | 82,9 | 66,3 |
Модель 4B-A0.6B тоже опережает или сравнивается с другими моделями с похожим числом активных параметров, особенно хорошо показывая себя в задачах на рассуждение и код.
На реальном железе преимущество SmallThinker раскрывается ещё сильнее. Модель 4B работает при всего 1 ГБ ОЗУ, а 21B — при 8 ГБ, без катастрофического падения скорости. Благодаря предзагрузке и кэшированию инференс остаётся заметно быстрее и стабильнее, чем у базовых моделей, которые в тех же условиях просто выгружаются на диск. Например, вариант 21B-A3B удерживает более 20 токенов в секунду на обычном CPU, тогда как Qwen3-30B-A3B в схожих условиях практически перестаёт работать.
Разреженность и специализация экспертов
Логи активации показывают, что 70–80% экспертов используются редко, тогда как небольшое число «горячих» экспертов активно задействуется для конкретных доменов или языков — это свойство и делает кэширование предсказуемым и эффективным. Разреженность проявляется и на уровне отдельных нейронов: медианный показатель неактивности превышает 60% даже внутри задействованных экспертов, причём ранние слои почти полностью разрежены, а глубокие слои сохраняют эту эффективность.
Ограничения
У SmallThinker есть и оговорки. Обучающий корпус, хотя и велик, всё же уступает по объёму датасетам некоторых передовых облачных моделей, что может ограничивать обобщающую способность в редких и узкоспециализированных областях. Для выравнивания применялось только supervised fine-tuning — в отличие от ведущих облачных LLM, здесь не использовалось обучение с подкреплением на основе обратной связи от людей (RLHF), из-за чего возможны пробелы в безопасности и полезности ответов. Основной языковой охват — английский и китайский с упором на STEM-тематику, качество на других языках может быть ниже. Авторы планируют расширить датасеты и добавить RLHF-конвейер в будущих версиях.
Итог
SmallThinker — это отход от привычной практики «сжимать облачные модели под edge»: архитектура и системные решения проектировались с учётом ограничений локальных устройств с самого начала. Это открывает путь к приватному, быстрому и функциональному ИИ практически на любом устройстве. Модели SmallThinker-4B-A0.6B-Instruct и SmallThinker-21B-A3B-Instruct находятся в открытом доступе для исследователей и разработчиков.
Источник: MarkTechPost.