Компания PrismML выпустила Bonsai 27B — сжатую версию модели Qwen3.6-27B, рассчитанную на устройства с ограниченными ресурсами. Это не новая архитектура, а «низкобитное представление» через агрессивное сжатие. При этом сохранены исходное окно контекста в 262 тыс. токенов и мультимодальность.
Две сборки
Обе выходят под лицензией Apache 2.0:
- Тернарная Bonsai 27B — веса из набора {−1, 0, +1}, 1,71 бита на вес, объём 5,9 ГБ;
- 1-битная Bonsai 27B — бинарные веса {−1, +1}, 1,125 бита на вес, объём 3,9 ГБ.
Сжатие — групповое: на каждую группу из 128 весов приходится одна общая шкала в FP16. Тернарный вариант даёт примерно 9,4-кратное сжатие относительно FP16, бинарный — около 14,2-кратного. В высокой точности остаются только параметры нормализации и шкалы.
Сколько теряется в качестве
На 15 бенчмарках в режиме рассуждения:
- тернарная сборка сохраняет 94,6% качества базовой FP16-модели (80,49 против 85,07);
- 1-битная — 89,5% (76,11 против 85,07).
Для сравнения: обычное сжатие ниже 4 бит обычно «проседает» на математике и коде. Базовый IQ2_XXS падал до 57,5 на AIME26, тогда как 1-битный Bonsai выдаёт 91,66 на математических тестах.
Реально ли на телефоне
Да. 1-битная сборка укладывается в ограничения iPhone: iOS отдаёт приложению примерно половину физической памяти, то есть около 6 ГБ на устройстве с 12 ГБ. С 4-битным KV-кэшем модель требует около 4,3 ГБ на окно в 262 тыс. токенов — то, что раньше для моделей класса 27B на телефоне было невозможно.
Пиковое потребление памяти при 100 тыс. токенов: 1-битная — 11,6 ГБ, тернарная — 14,7 ГБ, базовый Q4_K_XL — около 25,6 ГБ.
Скорость
Генерация упирается в пропускную способность памяти. На M5 Max бинарная сборка выдаёт 66,4 токена/с при генерации и 874 токена/с на префилле. На iPhone 17 Pro Max — 11,0 и 111 токенов/с соответственно. Встроенный спекулятивный декодер DSpark на H100 при глубине черновика k=4 доводит бинарную модель до 143,8 токена/с — ускорение в 1,37 раза без потери качества проверки.
Почему это важно
По заявлению авторов, это первая модель класса 27B, которая помещается в телефон и работает без подключения к сети. В документации приводят красноречивую цифру: 672 токена на 1% заряда батареи iPhone. То есть по-настоящему локальные, приватные агентные сценарии на обычном железе — сдвиг от инференса, завязанного на облако.