Команда исследователей из Microsoft Research и UC Berkeley выпустила TokenEconomizer — открытый контроллер стоимости для кодинг-агентов. Это плагин, который учится на прошлых сессиях в репозитории и сокращает лишние траты в последующих. Он работает с Claude Code, Codex, GitHub Copilot CLI и Pi, не трогая веса модели и код агента. На 277 задачах SWE-Bench средняя стоимость снизилась на 18,4–30,9% в пяти комбинациях «агент + модель».
Откуда берутся лишние токены
Каждый ход агента заново оплачивает системный промпт, все загруженные схемы инструментов и полную историю. Исследователи разобрали 60 задач SWE-Bench в шести репозиториях на связке Claude Code с Opus 4.8 и нашли три повторяющихся источника потерь.
- Повторное исследование. Как только перед текущей задачей набирается пять предыдущих, 30% вызовов инструментов повторяют уже сделанное действие.
- Неиспользуемые инструменты. Каждый ход загружается 23 схемы инструментов. Шестнадцать из них не вызываются никогда, а три покрывают 98% вызовов.
- Циклы неудач. Десять проваленных прогонов — это 17% задач, но 32% всех расходов.
Заодно проверили три готовые открытые стратегии: RTK, Serena и RepoMap из Aider. Ни одна не оказалась дешевле везде — все три снижали стоимость на Django и повышали на SymPy.
Три механизма, которые включает контроллер
TokenEconomizer — внешний контроллер, для которого агент остаётся чёрным ящиком. Он держит состояние по каждому репозиторию, построенное на завершённых трассах, и перед каждой задачей задаёт три политики через промпт, настройки инструментов и поток событий.
Микронавыки. LLM-предлагатель превращает дайджесты трасс в однострочные факты, например рабочую команду запуска тестов. У каждого факта есть regex-детекторы, которые проверяют последующие трассы без вызова модели. Факт попадает в промпт после трёх подтверждений на задачах с непересекающимися изменёнными файлами, причём его доля необходимости должна оставаться не ниже 0,4. Одно противоречие считается за пять подтверждений, поэтому ошибочные факты быстро отсеиваются.
Прореживание инструментов. Shell, чтение, запись и редактирование сохраняются всегда. Остальные маскируются после трёх подряд задач без использования или когда LLM-судья признаёт их нерелевантными. Полный каталог возвращается каждые пять задач для повторной проверки. На Django с Claude Code первый запрос на второй задаче упал с 43 351 до 16 295 токенов промпта.
Вмешательство в циклы неудач. Контроллер вычисляет бюджет ходов: 1,25 от 90-го процентиля длины успешных прогонов. Дешёвые проверки по правилам отмечают повторяющиеся сбои или плотные ошибки, после чего LLM-судья решает, застрял ли агент, при уверенности 0,7 и выше. Застрявшему агенту даётся одна перенаправляющая подсказка, а при повторе цикла — остановка.
Что показали SWE-Bench и другие бенчмарки
| Связка | Стоимость к базовой | Pass@1 базовый | Pass@1 с TokenEconomizer |
|---|---|---|---|
| Claude Code + Sonnet 5 | −23,6% | 74,7 | 76,0 |
| Claude Code + Opus 4.8 | −30,9% | 74,0 | 73,0 |
| Codex + GPT-5.6 Terra | −24,7% | 73,8 | 74,7 |
| Codex + GPT-5.6 Sol | −26,1% | 80,1 | 81,7 |
| Copilot CLI + Sonnet 5 | −18,4% | 75,0 | 77,6 |
Данные из arXiv 2610.22732, таблица 1. Затраты включают все вызовы контроллера, по три сида на каждую связку. Pass@1 вырос в четырёх из пяти случаев и упал на 1,0 пункта на Opus 4.8. Снижение усилий рассуждения экономило деньги, но отнимало от 1,8 до 10,3 пункта Pass@1. RTK в одиночку повышал стоимость в 12 из 30 ячеек «репозиторий + связка», RepoMap — в 15.
Экономия накапливается со временем: большинство репозиториев сначала стоят дороже, но к шестой задаче все стали дешевле. На Claude Code по отдельности прореживание инструментов дало 13,2–17,7%, микронавыки — 11,8–14,3%, защита от циклов — 5,4–7,1%. Вне SWE-Bench результаты тоже удержались: −16,0–21,2% на Web-Bench и −16,5–19,6% на CredData. На ReposVul вышло скромнее, 6,4–9,3%, потому что короткие прогоны оставляют меньше лишнего.
Чем отличается от других инструментов экономии
| Характеристика | TokenEconomizer | RTK | Serena | Aider RepoMap |
|---|---|---|---|---|
| Подход | Учит политики по репозиторию на прошлых сессиях | Сжимает вывод shell-команд | MCP-сервер с символьными инструментами кода | Ранжированная карта символов репозитория в промпте |
| Учится на прошлых задачах | Да | Нет | Нет | Нет |
| Лицензия | Apache 2.0 | Apache 2.0 для CLI, BUSL-1.1 для движка | GPL-3.0-or-later (MIT для SolidLSP) | Apache 2.0 |
| Агенты | Claude Code, Codex, Copilot CLI, Pi | 18 ИИ-инструментов для кодинга | Любой MCP-клиент | Aider |
| Среднее изменение стоимости SWE-Bench | −18,4%…−30,9% | −8,9%…+4,5% | В основных прогонах не участвовал (повышал суммарную стоимость при профилировании) | −6,1%…+6,5% |
| Ячейки с ростом стоимости (из 30) | 0 | 12 | Не раскрыто | 15 |
Строки о стоимости — из статьи TokenEconomizer, лицензии и заявления — из репозиториев и документации проектов.
Как установить
Плагину нужен один из четырёх агентов и Python 3.10 или новее. GPU и собственный API-ключ не требуются. На Claude Code: клонируйте репозиторий, добавьте его как marketplace и выполните:
claude plugin install tokeneconomizer@tokeneconomizer
Выученные данные остаются локально в ~/.tokeneconomizer. Прореживание инструментов и защита от циклов включены по умолчанию. Микронавыки по умолчанию выключены, потому что предлагатель добавляет вызовы модели.
По теме стоит посмотреть, как Microsoft SkillOpt переносит навыки ИИ-агентов между Codex и Claude Code и как устроена песочница Anthropic sandbox-runtime для ИИ-агентов на уровне ОС. Если интересует, как агент улучшается без переобучения модели, пригодится разбор Harness² от Google.
Частые вопросы
Какие агенты поддерживает TokenEconomizer?
Claude Code, Codex, GitHub Copilot CLI и Pi. Нужен Python 3.10 или новее, GPU и собственный API-ключ не требуются.
Насколько падает стоимость на практике?
На 277 задачах SWE-Bench средняя стоимость снизилась на 18,4–30,9% в пяти связках «агент + модель», и дешевле стало во всех 30 ячейках «репозиторий + связка».
Не теряется ли качество кода?
Pass@1 вырос в четырёх из пяти связок. Единственное падение — на 1,0 пункта на Claude Code с Opus 4.8.
Почему сначала может стать дороже?
Плагин учится на завершённых трассах: большинство репозиториев в начале стоят больше, но к шестой задаче все оказались дешевле базового варианта.
Что включено по умолчанию?
Прореживание инструментов и защита от циклов неудач. Микронавыки выключены, потому что LLM-предлагатель добавляет вызовы модели.
Куда уходят выученные данные?
Остаются локально в ~/.tokeneconomizer, отдельного сервера или облака не требуется.
Какая у проекта лицензия?
Apache 2.0 — можно использовать и в коммерческих проектах.
Можно ли ставить на машины без GPU?
Да, плагин работает на любой машине с одним из четырёх агентов и Python 3.10+, вычислений на GPU он не требует.
Что даёт больший эффект — микронавыки или прореживание?
На Claude Code прореживание инструментов дало 13,2–17,7%, микронавыки — 11,8–14,3%, защита от циклов — 5,4–7,1%. Прореживание — самый крупный одиночный рычаг.
Подходит ли плагин для коротких задач?
Экономия зависит от длины прогона: на ReposVul с короткими аудитами вышло только 6,4–9,3%, потому что убирать меньше лишнего.
Источник: marktechpost.com