Amazon SageMaker AI научился стримить результаты бенчмарков моделей в MLflow

Amazon представила новую интеграцию MLflow с Amazon SageMaker AI, которая в реальном времени передаёт результаты заданий по бенчмаркингу моделей и подбору оптимальной инференс-конфигурации в единый интерфейс отслеживания экспериментов.

Что именно стримится в MLflow

В SageMaker AI есть два типа заданий, из которых теперь автоматически идёт поток данных в MLflow: задания по подбору оптимальной инференс-конфигурации (optimized inference recommendation jobs) и бенчмарк-задания (benchmark jobs). Из них в серверлес-приложение Amazon SageMaker MLflow передаются метрики, параметры запуска и графики — без ручной выгрузки и последующего сведения таблиц вручную.

• Интеграция построена поверх управляемого MLflow-приложения в составе Amazon SageMaker AI
• Потоку подлежат два типа заданий — бенчмарк-задания и задания подбора инференс-конфигурации
• В MLflow передаются метрики, параметры запуска и графики
• Данные обновляются в реальном времени, а не выгружаются постфактум после завершения задания

Что это даёт инженерам ML?

Бенчмарк- и recommendation-задания в SageMaker AI могут идти долго, потому что перебирают разные варианты конфигурации инфраструктуры под конкретную модель. Раньше промежуточный прогресс такого задания было не видно — результат появлялся только после полного завершения прогона. Со стриминговой интеграцией метрики поступают в интерфейс MLflow по ходу выполнения, и инженер может наблюдать за тем, как ведёт себя каждый вариант конфигурации, не дожидаясь финала.

Второе изменение касается самого способа хранения результатов. Amazon описывает итог как «единый опыт отслеживания экспериментов»: вместо разрозненных логов по каждому отдельному запуску команда получает общий трекер, куда автоматически стекаются данные всех связанных заданий. Это тот же принцип, ради которого MLflow как открытый инструмент изначально и создавался — только теперь он нативно подключён к управляемым бенчмаркам SageMaker AI, а не требует отдельной настройки клиента для логирования метрик.

Что это значит

Для команд, которые тестируют разные конфигурации инфраструктуры перед выводом генеративных моделей в продакшен, единая витрина метрик снижает трение при сравнении вариантов и ускоряет выбор оптимального решения — не нужно вручную собирать результаты из отдельных заданий, чтобы понять, какая конфигурация лучше по соотношению задержки, пропускной способности и стоимости.