Введение
MLflow – открытая AI/ML-платформа для управления жизненным циклом моделей машинного обучения. Создана Databricks и выпущена в июне 2018 года. Изначально фокусировалась на трекинге экспериментов для классических ML-моделей; MLflow 3.0 (2025) расширил платформу до полноценной системы наблюдаемости и управления LLM-агентами. По данным Databricks, MLflow имеет более 30 млн загрузок в месяц, более 850 контрибьюторов и используется в более чем 5000 организациях по всему миру.
История и контекст
MLflow появился как ответ на хаос в ML-разработке: разные команды использовали несовместимые форматы логирования, версии моделей терялись, воспроизвести эксперименты было невозможно. Databricks выпустили MLflow в открытый доступ в 2018 году с тремя компонентами: Tracking, Projects, Models. В 2019 добавился Model Registry. С 2023 года – поддержка LLM fine-tuning и GenAI-трассировки. MLflow 3 (2025) ввёл концепцию Logged Models, Deployment Jobs, промпт-менеджмент и LLM-evaluation – превратившись из MLOps-инструмента в полноценную AI Engineering Platform.
Как это работает
MLflow состоит из нескольких ключевых компонентов:
- MLflow Tracking – API для логирования параметров, метрик, артефактов и версий кода во время обучения. Данные хранятся на tracking-сервере (локальном или облачном).
- MLflow Projects – стандарт упаковки ML-кода для воспроизводимых запусков с зависимостями через Conda или Docker.
- MLflow Models – формат упаковки модели, поддерживающий множество ML-фреймворков (sklearn, PyTorch, TensorFlow, XGBoost) и deployment-платформ (Docker, Azure ML, AWS SageMaker).
- Model Registry – централизованный реестр версий моделей с управлением стадиями (Staging, Production, Archived) и интеграцией с Unity Catalog на Databricks.
- MLflow Tracing – OpenTelemetry-совместимая трассировка запросов к LLM-агентам: входы, выходы, промежуточные шаги, вызовы инструментов.
MLflow поддерживает автоматическое логирование (autolog) для популярных фреймворков: достаточно вызвать mlflow.sklearn.autolog() перед обучением модели.
Где применяется
- Команды ML-инженеров – единое место для сравнения экспериментов, воспроизводимости, управления версиями моделей.
- MLOps-пайплайны – интеграция с CI/CD (GitHub Actions, GitLab CI) для автоматического тестирования и деплоя моделей.
- LLM-разработка – трекинг fine-tuning runs, управление промптами, оценка качества агентов.
- Корпоративная AI – управление доступом, аудит, lineage-трекинг через Unity Catalog на Databricks.
- Исследования – документирование экспериментов для воспроизводимости научных результатов.
Преимущества и ограничения
Преимущества: открытый исходный код; агностик к ML-фреймворку; богатая экосистема интеграций (50+ фреймворков); единый интерфейс для классического ML и GenAI; активное сообщество (850+ контрибьюторов).
Ограничения: для production-масштаба требует либо Databricks Managed MLflow, либо существенной инфраструктурной настройки; при большом числе экспериментов UI может быть медленным; ограниченная нативная поддержка распределённого обучения (решается через KubeFlow или Ray).
Связь с другими понятиями
KubeFlow – альтернативная/дополняющая платформа оркестрации ML на Kubernetes: KubeFlow управляет пайплайнами обучения, MLflow – трекингом и реестром. DVC специализируется на версионировании данных и ML-пайплайнов через Git, часто используется совместно с MLflow. Feature Store предоставляет признаки, которые MLflow логирует как входы экспериментов. Мониторинг модели в production – следующий этап после регистрации модели в MLflow Model Registry. Evaluation (МО) реализована в MLflow через встроенные метрики и LLM-judges.
