Databricks를 활용한 고급 머신러닝

대규모 머신러닝
이 과정에서는 Apache Spark 아키텍처와 Databricks 환경에서 머신러닝 워크로드에 적용하는 방법에 대한 이론 및 실무 지식을 습득하게 됩니다. 데이터 준비, 모델 학습 및 배포에 Spark를 언제 사용해야 하는지 배우고, Spark ML 및 Spark 기반 pandas API를 직접 사용해 볼 수 있습니다. 또한, 이 과정에서는 하이퍼파라미터 튜닝, Spark를 이용한 Optuna 확장과 같은 고급 개념을 소개합니다. 더불어, 이 과정에서는 MLflow 및 Unity Catalog와 같은 관련 과정에서 소개된 기능과 개념을 활용하여 포괄적인 모델 패키징 및 관리를 구현합니다.

고급 머신러닝 운영
이 과정에서는 머신 러닝 라이프사이클과 MLOps에 대한 포괄적인 이해를 제공하며, 데이터 및 모델 관리, 테스트, 확장 가능한 아키텍처에 대한 모범 사례를 중점적으로 다룹니다. CI/CD, 파이프라인 관리, 환경 분리 등 주요 MLOps 구성 요소를 다루는 동시에 Databricks Asset Bundles(DAB), 워크플로, Mosaic AI Model Serving과 같은 Databricks의 자동화 및 인프라 관리 도구를 소개합니다. 모니터링, 사용자 지정 메트릭, 드리프트 감지, 모델 배포 전략, A/B 테스트, 안정적인 MLOps 시스템 원칙에 대해 학습하여 Databricks에서 ML 프로젝트를 구현하고 관리하는 데 필요한 전체적인 관점을 제공합니다.