Meta перевела систему Catching Just-in-Time Tests (JiTTests) из исследовательского прототипа в продакшен-инфраструктуру. Это LLM-система, которая пишет исполняемые тесты с обратной логикой: тест должен упасть, если дифф вносит ошибку. Падение теста — конкретное доказательство, что изменение поменяло поведение кода. По данным команды Meta, в первом полугодии 2026 года JiTTests поймали 74 privacy SEV на стадии диффа. Метод описан в научной работе FSE 2026 «Just-in-Time Catching Test Generation at Meta».
Чем «ловящий» тест отличается от обычного
Традиционные тесты на укрепление (hardening) проходят в момент написания и защищают от будущих регрессий. Catching-тесты нацелены на конкретное изменение под ревью — до того, как оно попадёт в кодовую базу. Детали Meta формализовала ещё в работе 2025 года «Harden and Catch».
Большинство ИИ-инструментов для поиска багов работают как ускоренный ревьюер: читают дифф и оставляют комментарии. JiTTests вместо этого исполняют код и показывают конкретное расхождение в поведении. Команда Meta признаёт, что такой подход требует больше вычислительных шагов, но настаивает: он ловит классы ошибок, которые ревью LLM или агента пропускает.
Пять стадий конвейера
- Отбор (Targeting). Работает ночью на свободных мощностях и выбирает рискованные диффы за прошедший день через механизм, похожий на Diff Risk Score от Meta.
- Генерация тестов. Два workflow, учитывающих дифф, дают тесты-кандидаты.
- Ансамбль LLM-судей. Несколько моделей оценивают каждый упавший тест по коду теста, трассировке падения, диффу и предполагаемому намерению.
- RubFake. Среда Rule-Based False-Positive Killing Environment добавляет детерминированные проверки: правила помечают рефлексию, сломанные моки и исключения «не реализовано».
- Human-on-the-loop. Система по совокупному рейтингу решает, стоит ли беспокоить инженера.
В работе в роли судей участвовали модели Llama3.3-70B, Gemini 3 Pro и Claude Sonnet 4. Сама система работает на внутренней инфраструктуре Meta поверх бэкенд-кода в сотни миллионов строк.
Два подхода к генерации: dodgy diff и intent-aware
Workflow dodgy diff исходит из того, что багован любой дифф: он относится к изменению как к мутанту родительской версии и пишет тесты, отличающие одно от другого.
Workflow intent-aware сначала выводит из кода, заголовка и описания диффа, что тот должен делать. Затем перечисляет риски, строит мутанта под каждый и пишет тесты, убивающие этих мутантов. Тесты, которые после этого падают на реальном диффе, называют «слабыми поимками» (weak catches).
Что показали замеры на 22 126 тестах
Исследователи проанализировали 22 126 сгенерированных тестов. Методы, учитывающие дифф, дали в 4 раза больше кандидатов в поимки, чем hardening-тесты, и в 20 раз больше, чем тесты, упавшие случайно.
| Подход | Слабые поимки на тест | Диффы со слабой поимкой |
|---|---|---|
| JiTTests, intent-aware | 6,4% (52 из 811) | 7,9% |
| JiTTests, dodgy diff | 2,5% (41 из 1621) | 4,0% |
| ACH mutation-guided (Meta, 2025) | 0,8% (6 из 754) | 1,6% |
| TestGen-LLM (Meta, FSE 2024) | 2,0% (89 из 4499) | 3,6% |
Цифры взяты из таблицы 1 статьи JiTTests и относятся к кодовой базе Meta. Слабая поимка — это кандидат в падение, а не подтверждённый баг. По оценке команды, правила и LLM-оценщики сократили нагрузку на ручное ревью на 70%.
От 19,5% к 60%: как менялись цифры
Первое развёртывание было скромным. Инженерам сообщили о 41 кандидате в поимки, подтвердились 8 — 19,5%. Четверо из них привели бы к серьёзным сбоям в продакшене.
Инженерный пост октября 2026 года приводит куда более сильные производственные числа: 589 инженеров взаимодействовали с JiTTests, это 64% от тех, кого система затронула. Инженеры сообщают о 60% доле истинных срабатываний. За первое полугодие 2026 года на стадии диффа поймали 74 privacy SEV, а общая частота privacy SEV за тот же период упала на 20%.
Важная оговорка: 60% и 74 SEV — самоотчёт инженеров Meta, а не независимая проверка.
Human-on-the-loop: люди ставят правила, а не читают тесты
Human-in-the-loop означает, что человек просматривает каждый результат. Human-on-the-loop — что инженеры задают критерии и следят за результатами в совокупности, вмешиваясь на уровне политики, а не каждого теста. Инженерам Meta редко приходится читать код тестов: они лишь подтверждают, было ли наблюдавшееся изменение поведения намеренным.
Доступен ли JiTTests снаружи
Нет. Это внутренняя инфраструктура Meta: код, модели и API не выпущены. Команды могут воспроизвести саму схему — генерацию тестов с учётом диффа и на основе мутаций, ансамбль LLM-судей, детерминированные фильтры и агрегированный надзор человека. Похожий принцип — превращать сбои агента в проверки и правки обвязки — разбирался в материале про NVIDIA NeMo. А как Meta отбирает и ранжирует ML-эксперименты до траты GPU-часов, описано в разборе Meta RPM — там та же логика экономии вычислений на отборе перспективных кандидатов.
Для российского админа или разработчика практическая ценность здесь не в копировании кода, которого нет, а в идее: тест, написанный под конкретное изменение и обязанный упасть, даёт исполняемое доказательство ошибки. Такой подход можно собрать и на открытых моделях своими силами, если есть инфраструктура для прогона тестов и фильтрации ложных срабатываний. Открытые веса у Meta тоже есть — например, Muse Spark Open на 816B параметров, но к JiTTests она отношения не имеет: судейские модели в статье другие.
Частые вопросы
Что такое JiTTests простыми словами?
Это система Meta, где LLM пишет тесты под конкретное изменение кода так, чтобы тест упал, если изменение содержит ошибку. Падение теста служит доказательством изменения поведения.
Кого касается эта новость?
Напрямую — только инженеров Meta: система внутренняя. Остальным она интересна как схема организации проверки кода с помощью LLM.
Сколько privacy SEV поймали?
74 инцидента приватности на стадии диффа за первое полугодие 2026 года. За тот же период общая частота privacy SEV снизилась на 20%.
Насколько можно верить цифре 60% истинных срабатываний?
Это самоотчёт инженеров Meta при полном масштабе. Первое развёртывание давало всего 19,5%: из 41 кандидата подтвердились 8.
Можно ли скачать JiTTests?
Нет. Meta не выпустила ни код, ни модели, ни API. Воспроизвести можно только архитектурный шаблон.
Какие модели работают судьями?
В статье указаны Llama3.3-70B, Gemini 3 Pro и Claude Sonnet 4. Это модели-судьи из исследования, а не публичный продукт.
Чем dodgy diff отличается от intent-aware?
dodgy diff считает багованным любой дифф и ищет отличие от родительской версии. intent-aware сначала выводит намерение изменения, перечисляет риски и строит мутантов под каждый.
Что такое RubFake?
Это набор детерминированных правил, который отсеивает ложные срабатывания: рефлексию, сломанные моки, исключения «не реализовано». Работает вместе с ансамблем LLM-судей.
Зачем нужен human-on-the-loop?
Чтобы люди не читали каждый тест. Они задают критерии и смотрят на агрегированные результаты, подтверждая лишь намеренность изменения поведения.
Источник: marktechpost.com