Inkling 2 Mini от Thinking Machines: 26,4B параметров и запуск на 32 ГБ Mac

Thinking Machines Lab выпустила Inkling 2 Mini — открытую модель с зацикленными слоями (looped transformer) и 26,4B общих параметров. Вместо наращивания весов модель трижды прогоняет средние слои на каждый токен, поэтому чекпоинт занимает около 20 ГБ и помещается на Mac с 32 ГБ памяти или на одну NVIDIA DGX Spark. Веса опубликованы под лицензией Apache 2.0 на Hugging Face, хостинговый инференс и дообучение доступны на платформе Tinker.

Новинка продолжает линию Inkling 2 Small — модели на 594B параметров, вышедшей 5 ноября. Это разреженная смесь экспертов (MoE), которая принимает текст и изображения, а возвращает только текст. Для разработчиков Inkling 2 Mini — локальный вариант для агентского кодинга, вызова инструментов и работы с документами.

Как устроен зацикленный трансформер

Модель хранит 24 слоя, разбитых на 4 блока по 6. Первый и последний блоки проходят один раз, а два средних прогоняются трижды с общими весами. Так из 24 слоёв весов получается 48 применений слоёв на каждый токен. Каждый проход после первого получает «сообщение» от предыдущего — его переносят Attention Residuals и обученный гейт. Слои прямого прохода используют 128 экспертов, из которых на токен маршрутизируются 8.

Зацикливание средних слоёв дало прирост, эквивалентный 1,51–1,91× вычислений. Зацикливание последних слоёв — только 1,24–1,36×. Вариант со средними слоями выиграл 27 из 28 оценок. Обучение при этом дорожает, а инференс дешевеет: базовая модель без зацикливания потратила на 7,5% меньше вычислений при тренировке, но ей требовалось на 140% больше вычислений на инференсе, чтобы догнать зацикленную модель по loss на агентских трассах длиной 512k токенов.

Обучение: прореживание экспертов и дистилляция

Обучение началось с 384 экспертов на слой при 8 активных на токен. На этапе midtraining команда отсекла две трети и оставила 128 самых используемых экспертов. Затем дистилляция на 1T токенов от более крупной внутренней модели Inkling «залечила» прореженную модель. Посттренировка включала SFT, затем RL на 2,2T токенов и 2000 шагов, а также on-policy дистилляцию.

Слои экспертов обучаются и разворачиваются в NVFP4, последние 4 слоя используют MXFP8. По заявлению Thinking Machines, это устраняет потери при конвертации квантования. Есть и исследовательский вариант TML-d24-varloop-research, который тренируется с 1–5 проходами.

Что показывает на бенчмарках

Все результаты Inkling ниже — самозаявленные Thinking Machines. Сильнее всего модель в кодинге: 79,2% на SWE-bench Verified (только bash) и 77,9% на SWE-bench Pro v2 (Hard). На DeepSWE v1.1 — 48,2%, тогда как карточка Qwen указывает для Qwen3.8-27B 42,2%. На Terminal Bench v2.1 модель набирает 71,6% и уступает Qwen3.8-27B с 73,0%.

Агентский поиск тоже держится: 79,0% на BrowseComp с компакцией и 82,7% на MCP Atlas. По документам и зрению — 92,8% на OmniDocBench v1.6 и 74,9% на MMMU Pro. В рассуждениях — 86,6% на GPQA Diamond и 49,3% на ARC-AGI-2.

Главное заявление — эффективность. По метрике Intelligence per Watt Стэнфорда Thinking Machines сообщает 0,703 на DGX Spark, тогда как для Qwen3.6-35B-A3B указано 0,430, а для Gemma-4-26B-A4B — 0,159.

Сравнение с Qwen и Gemma

Параметр Inkling 2 Mini Qwen3.8-27B Qwen3.6-35B-A3B Gemma 4 26B A4B
Архитектура Looped MoE Dense MoE MoE
Всего параметров 26,4B 27B 35B 25,2B
Активных параметров 3,4B (5,4B эффективных) 27B (dense) 3B 3,8B
Контекст до 1M 262 144 нативно, до 1M 262 144 нативно, до 1 010 000 256K
Лицензия Apache 2.0 Apache 2.0 Apache 2.0 Apache 2.0
Вход текст, изображение текст, изображение, видео текст, изображение текст, изображение
Железо ~20 ГБ; Mac 32 ГБ или DGX Spark не раскрыто не раскрыто не раскрыто
GPQA Diamond 86,6% 89,2 86,0 82,3%
Terminal Bench 2.1 71,6% 73,0 не указано не указано
SWE-bench Verified 79,2% (только bash) не указано 73,4 не указано
DeepSWE 1.1 48,2% 42,2 не указано не указано
Хостинг Tinker Qwen Cloud не раскрыто не раскрыто

Каждый столбец взят из карточки самого вендора. Наборы тестов и настройки различаются, поэтому разрывы между вендорами стоит считать ориентировочными.

Какое железо нужно и как запустить

Чекпоинт в Safetensors весит около 20 ГБ. Thinking Machines перечисляет три поддерживаемых варианта: одна NVIDIA DGX Spark, Apple silicon с 32 ГБ памяти и выше, другие GPU с 32 ГБ VRAM и выше. Квантованные сборки GGUF доступны через Unsloth и llama.cpp.

Поддержка развёртывания заявлена для Transformers, vLLM, SGLang, Ollama, NVIDIA Dynamo и TokenSpeed. Цены Tinker для Mini в материалах запуска не раскрыты. Быстрый старт в vLLM — одна команда:

vllm serve "thinkingmachines/Inkling-2-Mini"

Если вы уже гоняете локальные модели через Ollama, это тот же класс задач: скачать GGUF-сборку, проверить, что памяти хватает с запасом под контекст, и только потом обещать команде локального агента. Контекст до 1M токенов на 32 ГБ машине — это не бесплатно: KV-кэш растёт вместе с окном, так что реальный потолок определит именно он, а не размер чекпоинта.

Где модель проседает

Знания в основном зависят от общего числа параметров, и зацикливание здесь не помогло. Inkling 2 Mini набирает −8,6 на AA-Omniscience при 63,4% доли ответов без галлюцинаций. Это не лучшая малая модель для многоходового чата и промптов с жёсткими ограничениями: 50,0% на MultiChallenge и 33,4% на ComplexConstraints v1.1. Она также уступает более крупным моделям на HLE-Diamond (15,2%) и CritPt v2.

Практический вывод: модель стоит брать под агентский кодинг и работу с инструментами, а не под справочные вопросы и длинные диалоги с плотным набором условий. Смежная тема — стриминг экспертов MoE с диска: там речь о том, как уложить разреженную модель в память, здесь — как сэкономить на ней за счёт архитектуры. Полезно и сравнение с Inkling 2 Small на 594B параметров: видно, что даёт масштаб, а что — зацикливание.

Частые вопросы

Кого касается релиз?

Разработчиков и админов, которые хотят держать агентскую модель локально, без обращения к облаку: для кодинга, вызова инструментов и разбора документов. Для команд, работающих с чувствительными данными, локальный запуск снимает вопрос передачи данных наружу.

Поместится ли модель на мой Mac?

Thinking Machines указывает Apple silicon с 32 ГБ памяти и выше. Чекпоинт занимает около 20 ГБ, остальное уйдёт на контекст и служебные расходы, поэтому на 32 ГБ рассчитывать на максимальное окно не стоит.

Что делать, если у меня 16 ГБ памяти?

В материалах запуска такого варианта нет. Есть квантованные сборки GGUF через Unsloth и llama.cpp, но гарантий, что они уложатся в 16 ГБ, донор не даёт.

Какая лицензия у весов?

Apache 2.0. Под той же лицензией идут Qwen3.8-27B, Qwen3.6-35B-A3B и Gemma 4 26B A4B из сравнительной таблицы.

Чем зацикленные слои отличаются от обычных?

Модель хранит 24 слоя, но два средних блока по 6 слоёв прогоняются трижды с общими весами — получается 48 применений слоёв на токен. Весов не прибавляется, вычислений на инференсе становится больше, зато чекпоинт остаётся компактным.

Насколько можно верить цифрам бенчмарков?

Все результаты Inkling — самозаявленные Thinking Machines. Столбцы конкурентов взяты из их собственных карточек, а наборы тестов и настройки различаются, поэтому сравнивать стоит направленно, а не как точный рейтинг.

Можно ли дообучить модель?

Да, дообучение доступно на платформе Tinker. Цены для Mini в материалах запуска не раскрыты.

Какие движки поддерживаются для развёртывания?

Transformers, vLLM, SGLang, Ollama, NVIDIA Dynamo и TokenSpeed. Для vLLM достаточно команды vllm serve "thinkingmachines/Inkling-2-Mini".

В чём модель слабее конкурентов?

В воспроизведении знаний, многоходовом чате и промптах с жёсткими ограничениями: 50,0% на MultiChallenge, 33,4% на ComplexConstraints v1.1 и −8,6 на AA-Omniscience. На Terminal Bench v2.1 она чуть уступает Qwen3.8-27B — 71,6% против 73,0%.

Источник: marktechpost.com