Nous Research выпустила Arete-27B — модель с 27 млрд параметров, полученную из Alibaba Qwen3.8-27B обычным supervised fine-tuning. На собственном наборе из 803 запросов доля ответов с пропагандой упала с 22% до 0,9%. Веса, набор для оценки и данные обучения опубликованы: лицензия Apache 2.0 у модели, MIT у набора Propaganda_Eval.
Это не новый архитектурный вариант и не RLHF-надстройка: Nous не меняла архитектуру, не применяла обучение с подкреплением и оптимизацию предпочтений. Вся работа — дообучение на парах «вопрос — ответ», собранных у открытой модели-учителя. Для администратора, который держит локальную LLM, это означает: поведение Qwen3.8-27B можно скорректировать без пересборки пайплайна и без смены квантизации.
Что именно изменилось в ответах
Nous указывает, что в базовой Qwen3.8-27B встречались отказы, уход от темы и ответы в рамках официальной китайской трактовки на чувствительные вопросы. Именно поэтому для дообучения выбрали эту модель — как самую сильную из локальных и уже демонстрирующую целевое поведение.
На странице модели приведены результаты: средний балл фактов вырос с 2,32 до 2,98 из 5, доля ответов с пропагандой — с 22% до 0,9%, число ответов с нулевым баллом сократилось с 359 до 216 из 803. Самый заметный сдвиг — в категории свободы выражения: балл фактов с 0,89 до 2,44, пропаганда с 60% до 1%.
Способности при этом не просели на тех тестах, что прогонял Nous: Hermes Bench — 65,60% против 65,77%, что Nous называет шумом. Terminal-Bench-2.1 в их стенде вырос с 67% до 70%, но авторы прямо не записывают этот прирост себе в заслугу.
Как обучали и на чём
Учителем стала Inkling — открытая модель от Thinking Machines. Nous выбрала открытого учителя, чтобы не упираться в ограничения лицензий на дистилляцию, а от Nemotron 3 Ultra отказалась, сославшись на неоднозначную историю по китайской тематике.
Параметры прогона:
- объём — около 52,8 млн токенов при контексте 64k, без упаковки последовательностей;
- 2 эпохи, 1 202 шага, размер батча 48;
- оптимизатор AdamW, пиковый learning rate 1e-5, tensor parallel 4;
- обучены все веса языковой модели, визуальный энкодер заморожен (данные текстовые), голова multi-token prediction отключена.
Набор arete-data-pairs содержит 34 878 запросов по 7 темам, к каждому приложены ответы Inkling и Qwen. В SFT-сплит вошли 29 236 принятых ответов учителя.
Как устроена оценка Propaganda_Eval
Набор состоит из 803 запросов по 7 категориям ценностей — среди них свобода выражения, государственная идеология, приватность данных и демократия. К каждому запросу приложены 2–4 обязательных факта из цитируемого источника.
Судья Grok 4.7 оценивает две вещи раздельно: средний балл фактов от 0 до 5 (один противоположный факт обнуляет ответ) и долю ответов, где государственная трактовка принята как своя. Чтобы пометить пропаганду, судья обязан процитировать точную фразу. Все обучающие запросы, пересекавшиеся с оценочным набором, Nous удалила; скрипты оценки открыты под MIT.
Сколько памяти нужно и как запустить
Веса выложены в BF16 на Hugging Face — это 53,81 ГБ. Хостингового провайдера инференса для модели пока нет. Квантизации GGUF от сообщества идут от 8,64 до 53,81 ГБ и работают в llama.cpp, LM Studio и Ollama; вариант Q4_K_M занимает 17,20 ГБ и рассчитан на потребительские GPU с 24 ГБ. В сборку GGUF включён и проектор изображений.
Для сравнения с соседями по классу: у Muse Glimmer 30B от Meta пропаганда 0,5% и средний балл фактов 3,02, у Gemma 4 31B от Google DeepMind — 0,5% и 2,58. То есть по чистоте ответов Arete-27B обходит базовую Qwen, но всё ещё отстаёт от этих двух моделей, а по фактам уступает обеим. Оговорка из карточки: Arete и Qwen прогоняли при temperature 0, Muse Glimmer и Gemma — при 0,6, а цифры Terminal-Bench получены в разных стендах.
Если вы уже держите локальный контур на Qwen, замена весов не требует менять код: тот же формат GGUF, тот же llama.cpp или Ollama. Практический смысл — не в приросте возможностей, а в смене поведения на чувствительных темах при сохранении прежнего уровня агентных навыков. Подробнее о запуске моделей Nous Research локально — в материале Hermes Desktop: локальные ИИ-модели в один клик, а о другом варианте той же базовой модели — в разборе Saluki 27B: 2-битная сборка Qwen3.8-27B.
Частые вопросы
Кого касается эта новость?
Тех, кто запускает Qwen3.8-27B локально и сталкивается с отказами или трактовками на чувствительных темах, а также команды, которым нужна открытая модель с предсказуемой политикой ответов.
Модель стала умнее базовой?
Нет. Nous прямо пишет, что способности не изменились на прогнанных тестах: Hermes Bench остался в пределах шума, а рост Terminal-Bench-2.1 авторы себе не приписывают.
Сколько памяти нужно для запуска?
BF16-веса занимают 53,81 ГБ. Квантизация Q4_K_M от сообщества — 17,20 ГБ, её рассчитывали на GPU с 24 ГБ видеопамяти.
Можно ли запустить в Ollama или LM Studio?
Да, GGUF-сборки от сообщества работают в llama.cpp, LM Studio и Ollama. Диапазон размеров — от 8,64 до 53,81 ГБ.
Есть ли хостинг, где модель доступна по API?
Нет, на момент публикации ни один провайдер хостинга инференса модель не обслуживает. Доступны только веса и локальный запуск.
Под какой лицензией модель и данные?
Модель — Apache 2.0, как и базовая Qwen3.8-27B. Оценочный набор Propaganda_Eval — MIT, вместе со скриптами оценки.
Насколько можно доверять цифре 0,9%?
Это результат на собственном наборе Nous из 803 запросов с судьёй Grok 4.7, который обязан цитировать фразу для пометки пропаганды. Независимого воспроизведения в статье не приводится, но набор и скрипты открыты — оценку можно повторить.
Остались ли у модели слабые места?
Да. Средний балл фактов 2,98 из 5, и 216 ответов из 803 всё ещё получают ноль. По фактам модель уступает и Muse Glimmer 30B, и Gemma 4 31B.
Источник: marktechpost.com