ИИ-агенты заметно ускоряют работу в сложных маршрутах проектирования чипов, но их склонность выдавать правдоподобные и при этом неверные артефакты мешает перевести такие решения в промышленную эксплуатацию. В многоэтапных инженерных процессах незамеченная ошибка на раннем этапе тихо распространяется по всей цепочке и доходит до финального результата. Поэтому оценивать и дорабатывать агентов нужно по проверенным итоговым артефактам, а не по отдельным промежуточным шагам.
NVIDIA NeMo Gym — открытая библиотека для оценки и улучшения моделей и агентов с помощью сред — как раз решает эту задачу. Её среда агентной оценки создана, чтобы диагностировать режимы отказа и отслеживать распространение ошибок по сложным многоэтапным маршрутам. Задавая предметный верификатор, который сверяет финальные результаты с эталонными артефактами, NeMo Gym позволяет инженерам просматривать полные траектории прогонов и находить первопричину тонких ошибок.
Что именно делал Siemens Fuse EDA AI Agent
Стандартная характеризация ячеек — это построение точных моделей задержек, мощности и шумов для логических ячеек во всех рабочих условиях. Это основа проектирования чипов, и она нужна каждый раз, когда фабрика выпускает новый комплект проектирования процесса (PDK). В каждом новом PDK идут SPICE-модели транзисторов, правила проектирования и определения процесса, напряжения и температуры (PVT), связывающие производство с инструментами проектирования. Когда PDK обновляется, прежние наборы данных характеризации могут перестать корректно описывать устройства — модели задержек и мощности приходится пересчитывать и проверять для каждой затронутой ячейки по комбинациям входного фронта, выходной нагрузки и PVT-условий.
Агент Solido Characterization Suite автоматизирует этот процесс. Он управляет инструментами Solido Characterization Suite через Siemens Fuse EDA AI Agent, который предоставляет MCP-серверы и навыки (skills) распространённым средам разработки, включая Claude Code, Codex и Cursor. MCP-интерфейсы делают ускоренные инструменты доступными инженерным агентам, а навыки подсказывают, как применять их в маршрутах характеризации.
Агент должен выполнять настройку инструментов, крупномасштабное SPICE-моделирование, распределённые вычисления, генерацию Liberty-файлов, отладку и финальную проверку. Ошибки часто дают правдоподобный результат вместо явного сбоя: неверные пороги, пропущенные углы (corners) или неполный набор ячеек остаются незамеченными. Поскольку этапы зависят друг от друга, ошибка ранней настройки распространяется на все последующие шаги — поэтому строгий протокол оценки стал ключевым условием подготовки агента к рабочему использованию.
Цикл оценки и доработки в NeMo Gym
NeMo Gym входит в набор открытых библиотек NVIDIA NeMo для специализации и оптимизации агентов и встраивается в маршрут характеризации стандартных ячеек как управляемый цикл оценки. Для каждого прогона среда определяет задачу, инструменты, состояние и верификатор, чтобы попытки стартовали из чистого состояния и давали сравнимые результаты. Она же записывает цепочки рассуждений, входные и выходные сообщения и действия с инструментами.
Инженеры работали по такому циклу:
- Базовые прогоны с версионированной задачей и верификатором в собственной среде NeMo Gym.
- Разбор траекторий, неудачных вызовов инструментов и диагностики верификатора.
- Поиск неоднозначных инструкций, бесполезных действий и неверного выбора инструментов.
- Доработка навыков агента и описаний инструментов MCP.
- Повтор тех же задач в тех же условиях оценки.
- Сравнение проверенных результатов и эффективности на каждый успешный исход.
Почему оценивают финальный артефакт, а не отдельные вызовы
Разбирая траектории, команда обнаружила отказы, которые промежуточные проверки пропускали. Финальная верификация Liberty-файлов вскрыла пропущенные ячейки и рабочие условия, неверные пороги фронта, а также значения задержек и мощности вне допуска. Отсюда и вывод: инженерных агентов надо оценивать по итоговым артефактам, а не по отдельным вызовам инструментов.
Чтобы сделать работу воспроизводимой, команда реализовала верификаторы, которые выдают итоговую композитную оценку по нескольким метрикам:
- Coverage — все ли ожидаемые ячейки и PVT-углы сгенерированы.
- Validity — корректны ли Liberty-файлы и пригодны ли они для инструментов проверки.
- Relative validation — не появилось ли отказов сверх тех, что уже есть в эталоне.
- Accuracy — доля ожидаемых значений задержек и мощности, попавших в допуск.
- Integrity — получен ли полный результат, а не переиспользованные, усечённые или переформатированные значения.
Итоговая награда считается так:
R = 1[Coverage] × 1[Validity] × 1[Relative Validation] × 1[Integrity] × (X_tol / X_total)
Здесь X_tol — число значений в выходных данных, попавших в допуск, а X_total — общее число значений. Их отношение и есть доля значений в пределах допуска. Каждый индикатор 1[·] равен 1, когда соответствующий гейт пройден, и 0, когда нет. Если не пройден хотя бы один гейт, награда обнуляется.
Что дала оптимизация агента
Для бенчмарка генерации Liberty-файлов команда взяла открытый PDK GF180MCU. Набор данных включает 229 стандартных ячеек и 36 PVT-углов, для SPICE-моделирования использовался Solido AFS.
Собственную агентную среду построили на NeMo Gym. В каждом прогоне маршрут характеризации ограничивали двумя ячейками и 36 PVT-углами — этого подмножества хватило для настройки агентного процесса. Один прогон занимал примерно 1,5–2 часа, всего сделали около 25 прогонов; фиксированной моделью и средой был Claude Opus 4.8 в Claude Code.
От раунда к раунду команда дорабатывала навыки характеризации и описания инструментов MCP. Чтобы улучшить выбор инструментов, она упростила пересекающиеся файловые и shell-интерфейсы и задала входные параметры инструментов явными JSON-схемами — так агенту стало проще вызывать инструменты характеризации.
После этих правок средняя композитная оценка по прогонам выросла примерно с 55% до 95%. Улучшенный маршрут потребовал меньше шагов агента и выходных токенов: число шагов упало со 155 до 53 (примерно на 66%), а выходные токены — примерно с 81K до 29K (примерно на 64%).
| Модель | Композитная оценка | Шаги | Средний объём выходных токенов |
|---|---|---|---|
| Claude Opus 4.8 | ~55% → ~95% | 155 → 53 | ~81K → ~29K |
Как перенести метод на другие домены
Тот же подход к оценке применим к инженерным агентам в EDA, CAE и других областях:
- оценивать финальные инженерные артефакты, а не только успешность отдельных вызовов инструментов;
- писать предметный верификатор, который ловит пропущенные, усечённые, переформатированные или переиспользованные результаты — это защита от «жульничества» агента;
- собирать много прогонов, чтобы повышать надёжность за счёт оптимизации навыков и интерфейсов инструментов MCP.
Начать можно с руководства NeMo Gym Quickstart: запустить первичную оценку, затем применить описанный подход к одной показательной задаче — определить корректный финальный артефакт, построить предметный верификатор, разобрать отказы прогонов, доработать навыки и описания инструментов и повторить прогон в неизменных условиях оценки. Подробнее о подходе Solido Fuse к генеративному и агентному ИИ в Solido Characterization Suite рассказывает демонстрация Self-Verifying, Long-Running Agentic Characterization Workflow Demo.
Метод близок и к тому, как в отрасли вообще измеряют качество агентов: без оценки по конечному результату переход от вызова инструментов к выполнению задачи остаётся набором разрозненных метрик. Показательно и то, что рост надёжности здесь достигнут не сменой модели, а правкой описаний инструментов и навыков — та же логика, что в разборе шести барьеров на пути агентов в продакшен. А для тех, кому важнее не качество, а компактность и скорость вызова инструментов, есть отдельный пример — Needle 2, модель на 45 млн параметров.
Частые вопросы
Что такое NeMo Gym?
Открытая библиотека NVIDIA для оценки и улучшения моделей и агентов с помощью сред. Она задаёт задачу, инструменты, состояние и верификатор для каждого прогона и записывает траектории, сообщения и действия с инструментами.
Кого касается эта новость?
Команды, которые внедряют ИИ-агентов в инженерные маршруты: разработчиков EDA и CAE, а также всех, кто автоматизирует многоэтапные процессы, где ошибка раннего этапа портит финальный результат.
Каких результатов удалось добиться?
Средняя композитная оценка выросла примерно с 55% до 95%, число шагов агента упало со 155 до 53, а выходные токены — примерно с 81K до 29K.
На каком наборе данных проводили замеры?
На открытом PDK GF180MCU: 229 стандартных ячеек и 36 PVT-углов, для SPICE-моделирования использовался Solido AFS.
Почему нельзя оценивать агента по отдельным вызовам инструментов?
Промежуточные проверки пропускают отказы: финальная верификация Liberty-файлов выявила пропущенные ячейки и рабочие условия, неверные пороги фронта и значения задержек и мощности вне допуска. Поэтому оценивать нужно итоговый артефакт.
Как работает система награды?
Награда равна произведению четырёх гейтов — Coverage, Validity, Relative Validation и Integrity — на долю значений, попавших в допуск. Если не пройден хотя бы один гейт, награда обнуляется.
Что именно доработали в агенте?
Навыки характеризации и описания инструментов MCP: упростили пересекающиеся файловые и shell-интерфейсы и задали входные параметры инструментов явными JSON-схемами.
Сколько времени занимает один прогон?
Примерно 1,5–2 часа. В настройке маршрут ограничивали двумя ячейками и 36 PVT-углами, всего провели около 25 прогонов на Claude Opus 4.8 в Claude Code.
Подойдёт ли метод для не-EDA задач?
Да, подход применим к инженерным агентам в EDA, CAE и других доменах. Общее правило — оценивать финальные артефакты, писать предметный верификатор и набирать много прогонов для оптимизации навыков и интерфейсов инструментов.
Источник: developer.nvidia.com