Добавить возможности машинного обучения в системы на MySQL традиционно было делом небыстрым и хлопотным. Данные приходилось выгружать во внешнюю систему, там строить и разворачивать модели — а это порождало разрозненные хранилища, задержки и дополнительные точки утечки, из-за которых база становилась более уязвимой для атак. К тому же готовые ML-решения редко умели объяснять, почему модель выдала то или иное предсказание.
Oracle предложила иной подход и выпустила MySQL HeatWave ML — единственный на рынке облачный сервис MySQL со встроенным в саму базу данных машинным обучением. Весь жизненный цикл модели автоматизирован, а обученные модели хранятся прямо в MySQL: переносить данные или модели во внешний ML-инструмент больше не нужно. Это снижает сложность приложений, сокращает расходы и повышает безопасность данных и моделей. На выходе сервис подбирает модель с оптимальным алгоритмом, набором признаков и гиперпараметрами под конкретный набор данных и задачу.
Команда Oracle также опубликовала ML-бенчмарки на основе общедоступных наборов данных для классификации и регрессии. Благодаря высокой скорости обучения клиенты смогут переобучать модели значительно чаще, оперативно подстраиваясь под изменения в данных, — а это напрямую повышает точность моделей.
Чем HeatWave ML отличается от конкурентов
Другие облачные провайдеры баз данных обычно интегрируются с внешними ML-платформами, и весь процесс обучения требует активного участия разработчиков. В HeatWave ML все этапы построения модели полностью автоматизированы и не нуждаются в ручной настройке — при этом итоговая модель точнее.
Самый трудоёмкий этап обучения — подбор гиперпараметров. Здесь HeatWave ML использует новую технику на основе градиентного поиска с редукцией, которая позволяет выполнять поиск гиперпараметров параллельно, не теряя в точности модели.
Для выбора оптимального алгоритма сервис применяет так называемые прокси-модели — упрощённые версии, воспроизводящие свойства полноценной сложной модели. Это позволяет быстро и точно определить, какой алгоритм лучше подойдёт для конкретной задачи.
Большинство облачных провайдеров используют для обучения моделей случайную выборку данных, не учитывая особенности их распределения. HeatWave ML вместо этого применяет интеллектуальную выборку: небольшая доля данных отбирается так, чтобы сохранить все характерные для полного набора паттерны, — это повышает производительность без потери репрезентативности.
Отдельный механизм отвечает за выбор признаков — он определяет, какие характеристики обучающих данных сильнее всего влияют на итоговое предсказание, опираясь на накопленную статистику и метаинформацию по широкому кругу наборов данных.
Наконец, HeatWave ML умеет объяснять и модели, и конкретные предсказания. Такие объяснения формируются уже на этапе обучения, поэтому при инференсе модель может пояснить своё решение, даже не имея под рукой исходных обучающих данных. По словам Oracle, компания заметно улучшила существующие техники объяснимости — как по качеству интерпретации, так и по производительности.
Что ещё изменилось в сервисе
Помимо ML-возможностей, Oracle обновила и сам сервис MySQL HeatWave. Теперь кластер можно масштабировать вверх или вниз до любого числа узлов в реальном времени — без простоя, без периода «только для чтения» и без ручной ребалансировки. Новое сжатие данных позволяет хранить на одном узле вдвое больше информации при снижении расходов примерно вдвое — при сохранении прежнего соотношения цены и производительности. Появилась и функция паузы: пользователи могут временно приостанавливать работу HeatWave, чтобы экономить средства, а при возобновлении данные и статистика, необходимые MySQL Autopilot, подгружаются мгновенно.
По данным Oracle, MySQL HeatWave — один из самых быстрорастущих облачных сервисов компании: клиенты активно переходят на него с других облачных СУБД, получая заметный прирост производительности и экономию на инфраструктуре.
Источник: MarkTechPost.