Amazon объявила об общей доступности сервиса Redshift ML, который позволяет клиентам с помощью обычных SQL-запросов работать со структурированными и полуструктурированными данными из разных хранилищ, оперативных баз и озёр данных. Главная особенность новинки — возможность обучать, развёртывать и создавать модели машинного обучения прямо из инстанса Amazon Redshift, без переноса данных в отдельные сервисы вручную.
Как было раньше
До появления Redshift ML клиентам, которым требовалось обучить модель на данных из Redshift, приходилось сначала экспортировать эти данные в бакет Amazon S3, а уже потом настраивать и запускать обучение. Процесс требовал разных компетенций и участия нескольких специалистов, что заметно поднимало порог входа для компаний, которые хотели прогнозировать выручку, предсказывать отток клиентов, выявлять аномалии и решать похожие задачи.
Что изменилось
Теперь для создания модели достаточно SQL-запроса, в котором указываются обучающие данные и значение, которое нужно предсказать. После выполнения команды Redshift ML сам экспортирует данные из Redshift в S3, а затем обращается к Amazon SageMaker Autopilot — тот подготавливает данные, подбирает алгоритм и запускает обучение. Если клиент не хочет полагаться на автоматический выбор SageMaker Autopilot, алгоритм можно задать самостоятельно.
Всё взаимодействие между Amazon Redshift, S3 и SageMaker, включая все этапы обучения, берёт на себя Redshift ML. После завершения обучения сервис использует Amazon SageMaker Neo, чтобы оптимизировать модель для развёртывания, и превращает её в обычную SQL-функцию. Эту функцию можно применять к данным прямо в запросах, отчётах и дашбордах.
География и оплата
На старте Redshift ML доступен в регионах AWS: US East (Огайо), US East (Северная Виргиния), US West (Орегон), US West (Сан-Франциско), Canada (Центральная), Europe (Франкфурт), Europe (Ирландия), Europe (Париж), Europe (Стокгольм), Asia Pacific (Гонконг), Asia Pacific (Токио), Asia Pacific (Сингапур), Asia Pacific (Сидней) и South America (Сан-Паулу).
По заявлению Amazon, модель оплаты остаётся «плати только за то, что используешь»: во время обучения новой модели клиент платит за ресурсы Amazon SageMaker Autopilot и S3, задействованные Redshift ML. А вот за предсказания с помощью моделей, импортированных в кластер Redshift, дополнительная плата не взимается. Кроме того, Redshift ML позволяет использовать для инференса уже существующие эндпоинты SageMaker.
В последнее время Amazon активно выпускает высокоуровневые продукты, которые упрощают работу с её сложными сервисами, и Redshift ML — ещё один шаг в этом направлении.
Источник: MarkTechPost.