아마존 웹 서비스(AWS)가 아마존 세이지메이커 AI(Amazon SageMaker AI) MLflow 앱에 MLflow v3.10 지원을 추가했다고 발표했다. 이번 업데이트는 생성형 AI 개발 워크플로우를 간소화하고, 실험 추적 및 모델 관찰 가능성을 향상시키는 데 중점을 둔다. 특히 복잡한 다중 턴 워크플로우 추적, LLM 프레임워크와의 통합, 생성형 AI 상호작용 로깅 기능이 강화되었다. AIDEN 편집팀은 이번 MLflow v3.10 통합이 생성형 AI 개발의 핵심 과제인 모델 평가와 운영 가시성 확보에 기여할 것으로 분석한다. 특히 `mlflow.genai.evaluation()` API를 통해 관련성, 충실도, 정확성, 안전성 등 내장된 지표로 생성형 AI 품질을 체계적으로 측정할 수 있게 된 점은 개발자들이 모델 성능을 일관되게 관리하는 데 큰 도움이 될 것으로 보인다. 이는 빠르게 변화하는 생성형 AI 시장에서 모델의 신뢰성과 안정성을 확보하는 데 필수적인 요소다. 이번 업데이트는 데이터 과학자와 ML 엔지니어들이 실험 단계부터 프로덕션 배포에 이르기까지 AI 이니셔티브를 가속화하는 데 중요한 역할을 할 전망이다. 세이지메이커 AI의 엔터프라이즈급 인프라와 MLflow의 강화된 기능이 결합되면서, 대규모 AI 애플리케이션 전반에 걸쳐 실험 추적, 생성형 AI 성능 모니터링, 거버넌스 유지가 더욱 용이해질 것으로 기대된다. 이는 기업들이 생성형 AI를 실제 비즈니스에 적용하는 데 있어 효율성과 안정성을 동시에 확보할 수 있는 기반을 제공한다. 출처: https://aws.amazon.com/blogs/machine-learning/streamlining-generative-ai-development-with-mlflow-v3.10-on-amazon-sagemaker-ai/