IBM Research AI представила новое поколение языковых моделей Granite 3.2 — семейство инструкционно-настроенных LLM, рассчитанных прежде всего на корпоративное применение. В релиз вошли две основные модели — компактная Granite 3.2-2B Instruct и более мощная Granite 3.2-8B Instruct, а также модель раннего доступа Granite 3.2-8B Instruct Preview, в которой обкатываются последние наработки по инструкционной настройке. По заявлению разработчиков, модели получили экспериментальные возможности пошаговых (chain-of-thought) рассуждений.
Зачем бизнесу ещё одна LLM
Большие языковые модели уже давно используются для генерации текста, ответов на вопросы, суммаризации и информационного поиска. Но ранние версии таких систем оказались слишком требовательными к вычислительным ресурсам и плохо подходили для развёртывания в масштабах компании. Многие публично доступные модели либо слишком велики для эффективного запуска, либо недостаточно точно настроены под конкретные бизнес-задачи. Именно поиск баланса между размером модели, скоростью вывода и качеством выполнения инструкций и подтолкнул IBM к разработке Granite 3.2.
Новые модели должны расширить экосистему IBM в области ИИ, дополнив уже существующие модели эмбеддингов Granite Embedding Models, которые компания использует для текстового поиска.
Архитектура и обучение
Granite 3.2 построена на трансформерной архитектуре с послойной оптимизацией, снижающей задержку отклика без потери точности. Вместо обучения только на стандартных датасетах для претрейна модели прошли кастомную процедуру инструкционной настройки на смеси курируемых корпоративных данных и разнообразных инструкционных корпусов — это должно обеспечить стабильную работу в разных отраслях.
Компактная 2-миллиардная модель ориентирована на быстрые и недорогие в эксплуатации сценарии, а 8-миллиардная — на более глубокое понимание контекста и качественную генерацию ответов. Отдельно IBM применила технику самодистилляции: младшие модели «перенимают» знания от старших без роста вычислительных затрат.
Результаты бенчмарков
По данным IBM, Granite 3.2-8B Instruct показывает более высокую точность на задачах со структурированными инструкциями по сравнению с моделями сопоставимого размера, а Granite 3.2-2B Instruct — на 35% меньшую задержку вывода относительно ведущих аналогов.
Ключевые цифры из тестирования:
- точность 8B-модели на доменно-специфичных задачах поиска — 82,6%, что на 7% выше предыдущих версий Granite;
- превосходство над конкурентами в задачах со структурированным следованием инструкциям — на 11%;
- сохранение контекста в многоходовых диалогах — в 97% тестовых сценариев, что важно для корпоративных чат-ботов и виртуальных ассистентов.
Лицензия и планы
Модели Granite 3.2 распространяются по лицензии Apache 2.0, допускающей свободное исследовательское и коммерческое использование. IBM уже заявила о планах развивать линейку дальше — в частности, добавить многоязычный поиск и повысить эффективность использования памяти. Технические детали и сами модели опубликованы на Hugging Face.
Источник: MarkTechPost.