Бразильская лаборатория Supersonic Labs выпустила Julia 1 — компактную модель принятия решений, а не чат-бота. Ей передают контекст, вопрос и от 2 до 20 вариантов ответа; модель выбирает один и возвращает вероятность для каждого варианта. При 144,3M параметров она работает на обычном CPU.
Веса опубликованы на Hugging Face под лицензией Apache 2.0 и запускаются локально на Python 3.11+ на CPU или на GPU с поддержкой BF16. Сборка ONNX также работает в браузере через WebGPU. Хостинговый API анонсирован, но пока не открыт.
Три типа решений через один API
Julia 1 обрабатывает три типа решений:
- choice — выбрать одну метку из 2–20 описанных вариантов (классификация, маршрутизация);
- score — вернуть ожидаемый индекс по упорядоченной шкале, например low, medium, high;
- noul — вернуть вероятность того, что утверждение «да/нет» истинно.
Результаты возвращаются в порядке вариантов вызывающей стороны с полными вероятностями softmax. Идентификаторы вызывающей стороны, например billing, возвращаются без изменений. Текст модель не генерирует.
Архитектура и бюджет обучения
Julia 1 построена на mmBERT-small от JHU CLSP — многоязычном энкодере ModernBERT на 140M параметров, обученном на более чем 1 800 языках. Supersonic Labs сохранила энкодер и токенизатор, добавила голову решений и обучила модель на примерах в формате решений. Лаборатория подчёркивает, что Julia 1 — не дообученная модель Qwen.
Среда выполнения поддерживает до 8 192 объединённых токенов, но в опубликованных бенчмарках использовалось ограничение в 1 024 токена. Общие расходы на облачные GPU для обучения и экспериментов составили около R$540 (US$104,08). Веса в FP32 занимают 550,5 MiB. Приватный конвейер обучения не раскрыт. Julia 2 на собственной фундаментальной архитектуре лаборатории находится в разработке.
Результаты бенчмарков
Оценка от 24 сентября 2026 года проводилась на H200 BF16 со строгим кодированием. Базовая линия сравнения — Jev от TypeSafe, использующая эталонные значения из протокола бенчмарка Jev, а не новый запуск Jev.
- Typed Decisions: 73,15% (1 463/2 000) против эталонных 72,70%.
- AG News, 4 метки: 94/100 против эталонных 91%.
- DAIR Emotion, 6 меток: 86/100 против эталонных 48%.
- Banking77, 72 метки: 64/100 против эталонных 87%. Это явный провал.
- MASSIVE, 18 сценариев: 71,50% макроточности по 52 локалям; 86,25% для pt-PT и 86,75% для en-US.
В пилотах классификации использовалось всего по 100 примеров. Запуск на CPU 25 сентября воспроизвёл большинство чисел: 72,55% на Typed Decisions и 60/100 на Banking77 при 3 отказах от ответа.
Задержки на устройствах
Лаборатория опубликовала замеры по устройствам. На Apple M4 одно решение на вызов заняло медианные 33,15 мс. На планшете Samsung SM-X510 через ONNX Runtime медиана составила 203 мс при пиковом RSS 393,1 МБ. На Intel Core i5-1235U решения AG News заняли медианные 107,83 мс. Banking77 занял 3 713,54 мс, потому что сначала сужает 72 метки.
В X аккаунте @supersonicai утверждается, что Julia 1 классифицирует в 5 раз быстрее Jev на ноутбуке с i5. К этому стоит относиться осторожно: в пилоте Jev измерялся как хостинговый сервис, вызываемый из Франции, поэтому задержки не сопоставимы напрямую.
Сравнение с ближайшими конкурентами
| Характеристика | Julia 1 | TypeSafe Jev | GLiNER2.5 Multi |
|---|---|---|---|
| Разработчик | Supersonic Labs | TypeSafe AI | Fastino |
| Доступ | Открытые веса | Хостинговый API, ранний доступ | Открытые веса |
| Лицензия | Apache 2.0 | Проприетарная | Apache 2.0 |
| Параметры | 144,3M | Не раскрыто | 287M |
| Базовый энкодер | mmBERT-small | Не раскрыто | mDeBERTa-v3-base |
| Типы решений | Choice, score, да/нет | Типизированные структурированные решения | Классификация, NER, связи, записи |
| Вариантов на вызов | 2–20 (Router для большего) | До 255 | Список меток по схеме |
| Локально на CPU | Да | Нет | Да |
| Цена входа за 1M токенов | $0,025 (планируемый API) | $0,042 | Бесплатно (self-hosted) |
| Пилот AG News | 94% | 91% | 70% |
| Пилот DAIR Emotion | 86% | 48% | 44% |
| Пилот Banking77 | 64% | 87% | 61% |
Пилоты Julia 1 проводились отдельно от запусков Jev и GLiNER.
Ограничения
Julia 1 сравнивает только те ответы, которые вы ей передали. На неё нельзя полагаться при отсутствующих фактах, алгебре или многошаговых вычислениях. Router может отбросить правильную метку при сужении. Это не готовый к замене конвейер Transformers, и ни один провайдер инференса Hugging Face её не обслуживает. Supersonic Labs советует оценивать модель на собственных вопросах и оставлять человека в цикле для ответственных решений.
Разработка локальных моделей такого класса перекликается с другими открытыми релизами: недавно GLiFormer от Knowledgator предложил 575M-энкодер для извлечения данных без генерации токенов, а Ternary Bonsai 2 27B показал, как сжатие весов позволяет запускать крупные модели на скромном железе.
Частые вопросы
Что такое Julia 1 и чем она отличается от чат-бота?
Это модель принятия решений, а не генератор текста. Ей передают контекст, вопрос и 2–20 вариантов ответа, а она выбирает один и возвращает вероятности для каждого.
Какие задачи решает Julia 1?
Классификацию и маршрутизацию (choice), оценку по упорядоченной шкале (score) и ответы «да/нет» (noul). Всё через один API.
На каком оборудовании она работает?
На обычном CPU или на GPU с поддержкой BF16, локально под Python 3.11+. Есть сборка ONNX, работающая в браузере через WebGPU.
Под какой лицензией выложены веса?
Под Apache 2.0. Веса доступны на Hugging Face.
Сколько стоит обучение модели?
Около R$540, то есть US$104,08, на облачные GPU для обучения и экспериментов.
Какая задержка на устройствах?
На Apple M4 медиана 33,15 мс на одно решение, на Intel Core i5-1235U решения AG News — 107,83 мс, на планшете Samsung SM-X510 через ONNX Runtime — 203 мс.
Где Julia 1 проигрывает?
На Banking77 с 72 метками: 64/100 против эталонных 87%. Также Router может отбросить правильную метку при сужении, а сама модель не подходит для многошаговых вычислений.
Можно ли использовать её в продакшене?
Лаборатория советует оценивать модель на собственных вопросах и оставлять человека в цикле для ответственных решений. Хостинговый API пока не открыт, но заявлена цена $0,025 за 1M токенов.
Чем Julia 1 отличается от Jev?
Jev — хостинговый сервис от TypeSafe с проприетарной лицензией, а Julia 1 — открытые веса, работающие локально на CPU. В трёх из четырёх пилотов Julia 1 обошла эталонные значения Jev, но сильно отстала на Banking77.
Источник: marktechpost.com