Thinking Machines Lab выпустила Inkling 2 Mini — открытую модель с зацикленными слоями (looped transformer) и 26,4B общих параметров. Вместо наращивания весов модель трижды прогоняет средние слои на каждый токен, поэтому чекпоинт занимает около 20 ГБ и помещается на Mac с 32 ГБ памяти или на одну NVIDIA DGX Spark. Веса опубликованы под лицензией Apache 2.0 на Hugging Face, хостинговый инференс и дообучение доступны на платформе Tinker.
Новинка продолжает линию Inkling 2 Small — модели на 594B параметров, вышедшей 5 ноября. Это разреженная смесь экспертов (MoE), которая принимает текст и изображения, а возвращает только текст. Для разработчиков Inkling 2 Mini — локальный вариант для агентского кодинга, вызова инструментов и работы с документами.
Как устроен зацикленный трансформер
Модель хранит 24 слоя, разбитых на 4 блока по 6. Первый и последний блоки проходят один раз, а два средних прогоняются трижды с общими весами. Так из 24 слоёв весов получается 48 применений слоёв на каждый токен. Каждый проход после первого получает «сообщение» от предыдущего — его переносят Attention Residuals и обученный гейт. Слои прямого прохода используют 128 экспертов, из которых на токен маршрутизируются 8.
Зацикливание средних слоёв дало прирост, эквивалентный 1,51–1,91× вычислений. Зацикливание последних слоёв — только 1,24–1,36×. Вариант со средними слоями выиграл 27 из 28 оценок. Обучение при этом дорожает, а инференс дешевеет: базовая модель без зацикливания потратила на 7,5% меньше вычислений при тренировке, но ей требовалось на 140% больше вычислений на инференсе, чтобы догнать зацикленную модель по loss на агентских трассах длиной 512k токенов.
Обучение: прореживание экспертов и дистилляция
Обучение началось с 384 экспертов на слой при 8 активных на токен. На этапе midtraining команда отсекла две трети и оставила 128 самых используемых экспертов. Затем дистилляция на 1T токенов от более крупной внутренней модели Inkling «залечила» прореженную модель. Посттренировка включала SFT, затем RL на 2,2T токенов и 2000 шагов, а также on-policy дистилляцию.
Слои экспертов обучаются и разворачиваются в NVFP4, последние 4 слоя используют MXFP8. По заявлению Thinking Machines, это устраняет потери при конвертации квантования. Есть и исследовательский вариант TML-d24-varloop-research, который тренируется с 1–5 проходами.
Что показывает на бенчмарках
Все результаты Inkling ниже — самозаявленные Thinking Machines. Сильнее всего модель в кодинге: 79,2% на SWE-bench Verified (только bash) и 77,9% на SWE-bench Pro v2 (Hard). На DeepSWE v1.1 — 48,2%, тогда как карточка Qwen указывает для Qwen3.8-27B 42,2%. На Terminal Bench v2.1 модель набирает 71,6% и уступает Qwen3.8-27B с 73,0%.
Агентский поиск тоже держится: 79,0% на BrowseComp с компакцией и 82,7% на MCP Atlas. По документам и зрению — 92,8% на OmniDocBench v1.6 и 74,9% на MMMU Pro. В рассуждениях — 86,6% на GPQA Diamond и 49,3% на ARC-AGI-2.
Главное заявление — эффективность. По метрике Intelligence per Watt Стэнфорда Thinking Machines сообщает 0,703 на DGX Spark, тогда как для Qwen3.6-35B-A3B указано 0,430, а для Gemma-4-26B-A4B — 0,159.
Сравнение с Qwen и Gemma
| Параметр | Inkling 2 Mini | Qwen3.8-27B | Qwen3.6-35B-A3B | Gemma 4 26B A4B |
|---|---|---|---|---|
| Архитектура | Looped MoE | Dense | MoE | MoE |
| Всего параметров | 26,4B | 27B | 35B | 25,2B |
| Активных параметров | 3,4B (5,4B эффективных) | 27B (dense) | 3B | 3,8B |
| Контекст | до 1M | 262 144 нативно, до 1M | 262 144 нативно, до 1 010 000 | 256K |
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Вход | текст, изображение | текст, изображение, видео | текст, изображение | текст, изображение |
| Железо | ~20 ГБ; Mac 32 ГБ или DGX Spark | не раскрыто | не раскрыто | не раскрыто |
| GPQA Diamond | 86,6% | 89,2 | 86,0 | 82,3% |
| Terminal Bench 2.1 | 71,6% | 73,0 | не указано | не указано |
| SWE-bench Verified | 79,2% (только bash) | не указано | 73,4 | не указано |
| DeepSWE 1.1 | 48,2% | 42,2 | не указано | не указано |
| Хостинг | Tinker | Qwen Cloud | не раскрыто | не раскрыто |
Каждый столбец взят из карточки самого вендора. Наборы тестов и настройки различаются, поэтому разрывы между вендорами стоит считать ориентировочными.
Какое железо нужно и как запустить
Чекпоинт в Safetensors весит около 20 ГБ. Thinking Machines перечисляет три поддерживаемых варианта: одна NVIDIA DGX Spark, Apple silicon с 32 ГБ памяти и выше, другие GPU с 32 ГБ VRAM и выше. Квантованные сборки GGUF доступны через Unsloth и llama.cpp.
Поддержка развёртывания заявлена для Transformers, vLLM, SGLang, Ollama, NVIDIA Dynamo и TokenSpeed. Цены Tinker для Mini в материалах запуска не раскрыты. Быстрый старт в vLLM — одна команда:
vllm serve "thinkingmachines/Inkling-2-Mini"
Если вы уже гоняете локальные модели через Ollama, это тот же класс задач: скачать GGUF-сборку, проверить, что памяти хватает с запасом под контекст, и только потом обещать команде локального агента. Контекст до 1M токенов на 32 ГБ машине — это не бесплатно: KV-кэш растёт вместе с окном, так что реальный потолок определит именно он, а не размер чекпоинта.
Где модель проседает
Знания в основном зависят от общего числа параметров, и зацикливание здесь не помогло. Inkling 2 Mini набирает −8,6 на AA-Omniscience при 63,4% доли ответов без галлюцинаций. Это не лучшая малая модель для многоходового чата и промптов с жёсткими ограничениями: 50,0% на MultiChallenge и 33,4% на ComplexConstraints v1.1. Она также уступает более крупным моделям на HLE-Diamond (15,2%) и CritPt v2.
Практический вывод: модель стоит брать под агентский кодинг и работу с инструментами, а не под справочные вопросы и длинные диалоги с плотным набором условий. Смежная тема — стриминг экспертов MoE с диска: там речь о том, как уложить разреженную модель в память, здесь — как сэкономить на ней за счёт архитектуры. Полезно и сравнение с Inkling 2 Small на 594B параметров: видно, что даёт масштаб, а что — зацикливание.
Частые вопросы
Кого касается релиз?
Разработчиков и админов, которые хотят держать агентскую модель локально, без обращения к облаку: для кодинга, вызова инструментов и разбора документов. Для команд, работающих с чувствительными данными, локальный запуск снимает вопрос передачи данных наружу.
Поместится ли модель на мой Mac?
Thinking Machines указывает Apple silicon с 32 ГБ памяти и выше. Чекпоинт занимает около 20 ГБ, остальное уйдёт на контекст и служебные расходы, поэтому на 32 ГБ рассчитывать на максимальное окно не стоит.
Что делать, если у меня 16 ГБ памяти?
В материалах запуска такого варианта нет. Есть квантованные сборки GGUF через Unsloth и llama.cpp, но гарантий, что они уложатся в 16 ГБ, донор не даёт.
Какая лицензия у весов?
Apache 2.0. Под той же лицензией идут Qwen3.8-27B, Qwen3.6-35B-A3B и Gemma 4 26B A4B из сравнительной таблицы.
Чем зацикленные слои отличаются от обычных?
Модель хранит 24 слоя, но два средних блока по 6 слоёв прогоняются трижды с общими весами — получается 48 применений слоёв на токен. Весов не прибавляется, вычислений на инференсе становится больше, зато чекпоинт остаётся компактным.
Насколько можно верить цифрам бенчмарков?
Все результаты Inkling — самозаявленные Thinking Machines. Столбцы конкурентов взяты из их собственных карточек, а наборы тестов и настройки различаются, поэтому сравнивать стоит направленно, а не как точный рейтинг.
Можно ли дообучить модель?
Да, дообучение доступно на платформе Tinker. Цены для Mini в материалах запуска не раскрыты.
Какие движки поддерживаются для развёртывания?
Transformers, vLLM, SGLang, Ollama, NVIDIA Dynamo и TokenSpeed. Для vLLM достаточно команды vllm serve "thinkingmachines/Inkling-2-Mini".
В чём модель слабее конкурентов?
В воспроизведении знаний, многоходовом чате и промптах с жёсткими ограничениями: 50,0% на MultiChallenge, 33,4% на ComplexConstraints v1.1 и −8,6 на AA-Omniscience. На Terminal Bench v2.1 она чуть уступает Qwen3.8-27B — 71,6% против 73,0%.
Источник: marktechpost.com