Together AI представила Together Compiler (TKCC) — систему, в которой ИИ-агенты непрерывно переоптимизируют инференс, пока меняется профиль трафика. Компилятор уже работает на нескольких serverless-эндпоинтах Together. Главный тезис для разработчиков простой: движок, настроенный один раз, устаревает, поэтому настройку нельзя прекращать.
Система проверена на моделях Kimi K3, GLM 5.3, MiniMax M3.1 Flash, DeepSeek v4.1 Flash и Llama 1B, на железе NVIDIA B200, B300, GB300, H100, AMD MI355X и AWS Trainium2. На каждую конфигурацию уходило не более двух узлов и менее 24 часов. Максимальный результат — до 2,6x выше по TPS, чем у лучших опубликованных конфигураций InferenceX.
Зачем инференсу непрерывная компиляция
Команда Together AI объясняет это нестабильностью самого трафика. Длина промптов в одной стране составляла около 97K токенов против 70K в другой. У одного клиента P90 длины входа вырос с 18K до 33K токенов за три дня.
Вторая проблема — ядра, настроенные на случайных данных, вводят в заблуждение. Случайные входы активировали на 13–38% больше экспертов MoE, чем реальный трафик. Одно написанное агентом ядро top-k на случайных данных работало 20 µs, а на реальных при контексте 70K — до 62 ms.
Как устроен постоянный движок
Большинство агентных циклов перезапускают vLLM, SGLang или TensorRT-LLM на каждом эксперименте. Исследователи замерили 761 секунду холодного старта для MiniMax M3.1 Flash на TensorRT-LLM. Together Compiler запускает движок один раз: агенты присылают кандидатный forward pass по RPC, сервер подменяет указатель на функцию forward и заново захватывает CUDA-графы.
Измерения идут в два уровня. Быстрый обслуживает 12 слоёв для первичного отсева, медленный — 60 слоёв, чтобы подтвердить выигрыш на реальных распределениях. Два уровня позволили проверить в 8,1 раза больше кандидатов, чем один медленный (1 354 против 168), и найти решение на 7,2% быстрее. По заявлению Together AI, пропускная способность агентных экспериментов оказалась в 252 раза выше, чем у варианта с перезапуском движка.
Выбор схемы параллелизма и роль агентов
Перед стартом агентов модель стоимости ранжирует схемы тензорного, экспертного, данных и контекстного параллелизма. Она смешивает данные из спецификаций, микробенчмарки и замеренные forward pass, учитывает дисбаланс экспертов MoE и неравномерную длину запросов. На Kimi K3 так нашли производственную схему с TPS до 24% выше.
Любопытный вывод касается экспертных баз знаний. База, собранная экспертами, через 12 часов дала ускорение на 25–31% ниже. «Наивные» агенты, которым сказали сделать forward pass «как можно быстрее», обошли экспертные стратегии: ансамблевые оценки 6,2x против 4,9x после 10 попыток. Пользовательские структуры логирования съедали до 43% вызовов инструментов, поэтому теперь агентам отдают исходный код движка, а не промежуточное представление.
Что показали бенчмарки
На рабочей нагрузке AgentX из SemiAnalysis InferenceX Together Compiler обошёл лучшие открытые конфигурации с приростом до 2,6x по TPS. Замеры при batch size 1, P90 TPS на пользователя (данные самой Together AI):
| Модель и железо | Together Compiler | Лучший InferenceX |
|---|---|---|
| MiniMax M3.1 Flash (B200) | 1 111 | 633 |
| DeepSeek v4.1 Flash (GB300) | 1 205 | 943 |
| GLM 5.3 (B200) | 417 | 329 |
| Kimi K3 (GB300) | 450 | 423 |
| GLM 5.3 (MI355X) | 480 | 463 |
Разброс большой: худший случай — GLM 5.3 на MI355X, рост с 463 до 480 TPS, около 4%. Для MiniMax модель стоимости выбрала TP8 вместо TP4 у базовой конфигурации, что вдвое снижает трафик весов на каждой GPU при memory-bound декоде.
На Llama 1B при batch size 1 система обошла megakernels от Hazy Research, Mirage и базовые варианты с CUDA-графами до 1,7x. Помимо языковых моделей, она ускорила 8 научных моделей в 1,5–6,4 раза с бит-в-бит идентичными результатами. Claude Code с /goal дал 1,2x–4,4x и не справился с AIFS-ENS 2.0.
Чем это отличается от других агентных оптимизаторов
Together Compiler работает не с отдельными ядрами, а со всем forward pass внутри сервинг-движка, и измеряет результат на реальном трафике через постоянный движок с горячей перезагрузкой. Для сравнения: Cursor + NVIDIA multi-agent оптимизирует 235 отдельных CUDA-ядер на 27 GPU B200 с геометрическим средним 1,38x и победами в 149 из 235 случаев. AMD GEAK — фреймворк агентов для ядер Triton с ускорением до 2,59x и корректностью до 63,33%. Apple RSI-Inference Bench — не система оптимизации, а бенчмарк для кодинг-агентов на 37 задачах правки vLLM или SGLang.
Доступность разная: результаты Together Compiler — ограниченная бета для клиентов Together, результаты Cursor + NVIDIA лежат в публичном репозитории, AMD GEAK открыт, Apple RSI-Inference Bench распространяется по Apple Sample Code License.
Что это значит для практики
Все цифры в статье — самоотчёт Together AI, и разброс от 4% до 2,6x показывает, что выигрыш сильно зависит от модели, железа и профиля трафика. Для команды, которая держит собственный инференс, вывод практический: разовая настройка ядер и схемы параллелизма перестаёт быть достаточной, когда распределение запросов уплывает за дни. Механика с постоянным движком и горячей подменой forward pass интересна и тем, кто не готов отдавать инференс вендору: перезапуск движка на каждый эксперимент — это сотни секунд простоя и в разы меньше проверенных кандидатов.
Смежная тема — как превращать сбои ИИ-агентов в тесты и правки обвязки: об этом spbcomputers.ru писал в материале NVIDIA NeMo и агентные прогоны. А про экономику инференса открытых моделей — в новости IBM и Together AI запускают облачный сервис инференса.
Частые вопросы
Что такое Together Compiler простыми словами?
Это цикл непрерывной компиляции: ИИ-агенты предлагают более быстрые варианты forward pass модели, движок замеряет каждый на реальном трафике, лучший код уходит в сервинг. Когда трафик меняется, цикл повторяется.
На каком железе это работает?
На NVIDIA B200, B300, GB300 и H100, на AMD MI355X и на AWS Trainium2. На каждую конфигурацию уходило не более двух узлов.
Насколько быстрее стал инференс?
До 2,6x по TPS против лучших опубликованных конфигураций InferenceX. Но разброс большой: от примерно 4% на GLM 5.3 с MI355X до 1,8x на MiniMax M3.1 Flash с B200.
Почему нельзя просто один раз настроить движок?
Потому что профиль трафика дрейфует: длина промптов различается по странам (97K против 70K токенов), а у одного клиента P90 входа вырос с 18K до 33K за три дня. Настройки, снятые на случайных данных, тоже обманывают — они активируют на 13–38% больше экспертов MoE.
Чем постоянный движок лучше перезапуска?
Он стартует один раз, а кандидаты приходят по RPC с подменой указателя на forward и повторным захватом CUDA-графов. Для MiniMax M3.1 Flash на TensorRT-LLM холодный старт занимает 761 секунду — перезапускать его на каждый эксперимент слишком дорого.
Помогает ли агентам экспертная база знаний?
По данным Together AI, нет: база, собранная экспертами, через 12 часов дала ускорение на 25–31% ниже, чем «наивные» агенты с задачей «сделать как можно быстрее» (6,2x против 4,9x после 10 попыток).
Можно ли уже воспользоваться?
Together Compiler работает на нескольких serverless-эндпоинтах Together, доступ — ограниченная бета для клиентов компании. Публичного открытого релиза в статье не упоминается.
Ускоряет ли система что-то кроме языковых моделей?
Да, 8 научных моделей ускорились в 1,5–6,4 раза с бит-в-бит идентичными выходами. На Llama 1B при batch size 1 система обошла megakernels Hazy Research, Mirage и базовые CUDA-графы до 1,7x.
Источник: marktechpost.com