Немецкий консорциум SOOFI представил SOOFI-S 30B-A3B — открытую базовую модель на гибридной архитектуре, ориентированную на немецкий и английский языки. Это ставка Германии на собственную суверенную языковую модель.
Архитектура
Это Mixture-of-Experts на гибриде Mamba и Transformer: около 31,6 млрд параметров всего и примерно 3,2 млрд активных на токен. Всего 52 слоя: 23 слоя Mamba-2 для смешивания последовательностей, 23 гранулярных MoE-слоя со 128 маршрутизируемыми экспертами (6 активных на токен плюс 2 общих) и 6 слоёв Grouped-Query Attention.
Обучение и упор на язык
Модель обучалась примерно на 26,68 трлн токенов в три фазы по схеме Warmup–Stable–Decay. Доля немецкого росла с 7,2% в первой фазе до 15,32% во второй — заметно выше типичных ~5% на мультиязычность у сопоставимых моделей. Обучение шло на Industrial AI Cloud компании Deutsche Telekom, задействовали до 512 видеокарт NVIDIA B200 с 24 марта по 13 мая 2026 года (около 253 000 GPU-часов).
Результаты
Среди протестированных открытых базовых моделей SOOFI-S показала: агрегат по английскому — 70,1%, по немецкому — 79,1%, HumanEval (pass@1) — 73,8%, GSM8K — 86,1%, GLP-DE (немецкий язык) — 88,8%. Сильная сторона ожидаемо — немецкий.
Кто за проектом
Консорциум координирует KI Bundesverband, финансирование — от Федерального министерства экономики и энергетики Германии. Участники: Fraunhofer IAIS, DFKI, TU Darmstadt, ellamind и Merantix Momentum. Предварительные веса выложены на Hugging Face в закрытом (gated) репозитории с собственным кодом модели.