Moonshot AI представила Kimi K3 — крупную открытую модель с архитектурой Mixture-of-Experts. Ставка сделана на масштаб, длинный контекст и новые приёмы, ускоряющие работу с огромными объёмами текста.
Характеристики
- 2,8 триллиона параметров;
- разреженная MoE-архитектура, активирующая 16 экспертов из 896;
- контекстное окно на 1 миллион токенов;
- нативная работа с изображениями и видео.
Что нового под капотом
- Kimi Delta Attention (KDA) — гибридный механизм линейного внимания, дающий «до 6,3 раза более быстрое декодирование на контекстах в миллион токенов».
- Attention Residuals (AttnRes) — примерно на 25% выше эффективность обучения при менее чем 2% дополнительных затрат.
- Stable LatentMoE с квантильной балансировкой для распределения нагрузки между экспертами.
- Веса MXFP4 и активации MXFP8 — ради совместимости с широким кругом железа.
По итогу K3 показывает «примерно в 2,5 раза лучшую общую эффективность масштабирования, чем Kimi K2».
Результаты в бенчмарках
K3 лидирует в пяти категориях: BrowseComp (91,2), SWE Marathon (42,0), OmniDocBench (91,1), Program Bench (77,8) и Automation Bench (30,8). Отстаёт от конкурентов на FrontierSWE (81,2) и HLE-Full (43,5).
Цены и доступ
- вход при попадании в кэш — $0,30 за миллион токенов;
- вход без кэша — $3,00 за миллион токенов;
- выход — $15,00 за миллион токенов.
Модель доступна через OpenAI SDK на Kimi.com и на API-платформе. Дата релиза — 16 июля 2026 года.