Cisco IT: обновление прошивок 60 000 устройств за 7 дней вместо месяцев

Cisco IT перевела обновление прошивок своей сети на конвейер: больше 95% из 60 000 с лишним управляемых устройств получают hardened-релизы в пределах семи дней с момента публикации. Раньше на это уходили месяцы. Главный тезис инженеров Cisco — вопрос «уязвимы ли мы» сменился на «как быстро мы можем безопасно обновиться», потому что разрыв между раскрытием уязвимости и её эксплуатацией сократился с недель до минут.

Что именно поменяли

Старый процесс рассматривал каждый бюллетень PSIRT как отдельное расследование: инженеры сверяли инвентарь, резервные конфиги и живое состояние устройств, чтобы ответить на один вопрос — есть ли у нас дыра. При парке из IOS-XE, IOS-XR, NX-OS, ACI и других платформ такой подход упирался в три стены: у каждого типа ОС своя методика оценки, версии расползались по парку, а скрипты по одному устройству и ручные заявки на изменение привязывали скорость ремонта к доступности инженера, а не к доступности патча.

Новая схема состоит из четырёх слоёв. Решения принимаются на основе CMDB — единого источника правды с инвентарём и атрибутами устройств. Контроллеры Catalyst Center, Nexus Dashboard и Meraki dashboard исполняют эти решения и проверяют результат. Ход процесса пишется в Splunk Cloud Platform, а ИИ-агенты закрывают пробелы там, где устройство ещё не под управлением контроллера.

После того как человек задаёт golden image, автоматика проходит шаги: проверка обслуживания и пригодности, создание записи об изменении с разрешением конфликтов и согласованием, распространение образа, предполётные проверки, собственно обновление. Если любой шаг падает, обновление устройства не продолжается.

Контроллеры вместо скриптов

Ключевое изменение — исполнение стало функцией продукта, а не отдельным проектом. Software Image Management (SWIM) в Catalyst Center распространяет и активирует образы на тысячах устройств со встроенными проверками до и после и откатом. В Nexus Dashboard и Meraki dashboard есть аналогичные возможности для своих доменов. Там, где контроллера нет, подключаются автоматизация и агентные операции: команда Cisco Network IT с помощью ИИ-агента обновила 200 устройств вне Catalyst Center за три дня с момента выхода пакета. Тот же агент ускорил развёртывание обновлений на Identity Services Engine (ISE).

Автоматизация не отменяет согласований. Изменения, подходящие под критерии стандартного изменения — низкий риск, минимальное влияние, повторяемость, — идут по заранее одобренному маршруту и не требуют разбора по одному. Остальные проходят обычный процесс. Топология из источника правды позволяет планировать порядок обновлений так, чтобы не ронять сеть. Похожий сдвиг — когда решение принимает не человек у консоли, а политика на уровне сети — разбирается в материале о том, почему в эпоху ИИ-агентов фаервол спрашивает про полномочия.

Скорость по радиусу поражения

Правило простое: чем меньше последствия отказа, тем быстрее движение. На периферии можно быстро выводить из строя один коммутатор, точку доступа или половину здания — особенно вне рабочих часов; правила топологии держат вторую половину в строю. С командами, работающими круглосуточно, окна согласуют напрямую, всё остальное обновляется автономно. Так удалось обновить больше 30 000 устройств в пределах SLO.

В дата-центре спешат, но не торопятся: изменение в ACI-фабрике задевает куда больше рабочих нагрузок. Раньше обновление 1200 коммутаторов ACI-фабрики занимало шесть месяцев, теперь — пять недель, сокращение в пять раз. Помогли три вещи: более качественный код релизов, который позволяет обновляться в рабочие часы; ускоренные согласования, где заявки учитывают не влияющие на работу изменения; и автоматика APIC, которая обновляет коммутаторы группами с перекрытием так, чтобы резервные пары никогда не уходили в офлайн одновременно. Внутренняя валидация сравнивает конечные точки, соседей по протоколам и интерфейсы с базовой линией до старта следующей группы — партии доходят до 34 коммутаторов за раз.

Что получилось и чему научились

Главная метрика — последняя миля: сколько устройство остаётся открытым после выхода исправления. Среднее время до устранения (MTTR) упало с месяцев до дней, hardened-релизы укладываются в SLO по всему парку, за исключением NX-OS. Обновления прошли на IOS-XE, включая облачно управляемые коммутаторы, IOS-XR, NX-OS (ACI-фабрики и отдельные устройства), точках доступа Catalyst и Meraki, Meraki Hybrid Worker Bundles, межсетевых экранах ASA и FTD, нескольких глобальных кластерах ISE, контроллерах Nexus Dashboard, компонентах управления SD-WAN и устройствах Webex — с минимальными операционными последствиями.

Основной выигрыш дала не магия, а перестройка процесса согласований и сокращение ожиданий. Контроллеры масштабируют исполнение за счёт параллельного развёртывания вместо обхода устройства за устройством, а инженеры занимаются исключениями. Каждое изменение прослеживается в Splunk Cloud Platform, и чем меньше остаётся одноразовых вариантов ОС, тем быстрее проходит следующий релиз.

Практические выводы Cisco формулирует так: договоритесь о приоритете и считайте hardened-релизы обязательными к установке; приведите в порядок CMDB, а уже поверх неё стройте стандарты ОС, правила изменений и топологии; используйте то, что уже есть в продуктах, — начинайте с SWIM в Catalyst Center, прежде чем писать собственную автоматизацию; переводите повторяемые низкорисковые обновления в стандартные изменения; соизмеряйте скорость с радиусом поражения; и используйте семидневное предупреждение PSIRT, чтобы заранее разложить пакеты на контроллеры и устройства, провести лабораторную проверку и автоматизировать согласования. Если же обновление всё-таки сорвалось, полезен разбор того, как неотловленный баг ПО обернулся сбоем Microsoft 365: цена незамеченной ошибки в инфраструктуре хорошо видна на чужом примере.

Что дальше

Бюллетени PSIRT выходят по расписанию, а эксплойты — нет. Следующий шаг Cisco IT и команды безопасности — сценарий, когда известная критическая уязвимость не может ждать неделями: цель уложиться в часы-дни. Для этого планируют быстрее находить и локализовывать экспозиции через программу Attack Surface Management, сдерживать их точечными средствами — Cisco Live Protect на сетевых устройствах, EDR на хостах, адресные сетевые политики вместо грубой изоляции сегмента, — расчищать окна для патчинга и переводить рутинные обновления в модель «информировать» вместо согласования каждого изменения. Плюс референсные дизайны Cisco IT под разные уровни критичности приложений, чтобы команды заранее знали: их приложение переживёт плановый патчинг.

Частые вопросы

Кого касается эта история?

Прежде всего крупные сети, где парк устройств исчисляется тысячами и включает несколько платформ: IOS-XE, IOS-XR, NX-OS, ACI. Но принципы — единый инвентарь, контроллеры, стандартные изменения — переносятся и на парк в сотни устройств.

Что такое hardened-релиз?

Это выпуск ПО от Cisco, в который включено множество исправлений безопасности без детализации каждого бага. Такие релизы выходят по регулярному графику, а PSIRT анонсирует их за семь дней.

Почему нельзя было просто ставить патчи быстрее?

Мешали ручные заявки на изменение, разбор каждого бюллетеня как отдельного расследования и обновление по одному устройству скриптами. Скорость упиралась в доступность инженеров, а не в наличие исправления.

Как автоматика не роняет сеть?

Она опирается на топологию из CMDB и обновляет устройства группами с перекрытием, чтобы резервные пары не уходили в офлайн одновременно, а также на предполётные и постпроверки с откатом. На периферии допустим вывод половины здания, в дата-центре действуют осторожнее.

Обязательно ли покупать что-то дополнительно?

Cisco предлагает начинать с того, что уже есть: SWIM в Catalyst Center, аналогичные функции в Nexus Dashboard и Meraki dashboard. Собственную автоматизацию советуют писать только после этого.

Сколько теперь занимает обновление ACI-фабрики?

Обновление 1200 коммутаторов ACI-фабрики сократилось с шести месяцев до пяти недель. Партии доходят до 34 коммутаторов за раз.

Что делать, если устройство не под управлением контроллера?

Для таких случаев Cisco использует автоматизацию и ИИ-агентов с человеческим контролем: например, 200 устройств вне Catalyst Center обновили за три дня после выхода пакета.

Где смотреть прогресс и блокеры обновлений?

В Splunk Cloud Platform: туда пишется ход процесса, а на этих данных строят дашборды, которые показывают проблемы соответствия, мешающие обновлению устройств.

Есть ли исключения из семидневного SLO?

Да, NX-OS назван исключением: hardened-релизы для него пока не укладываются в заявленные service-level objectives.

Источник: blogs.cisco.com