Training
Contact
News
About Us
Member




Databricks > Generative AI

생성형 AI 애플리케이션 배포 및 모니터링

이 과정에서는 생성형 AI 애플리케이션을 배포, 운영 및 모니터링하는 방법에 대한 자세한 내용을 다룹니다. 이 과정에서는 Model Serving과 같은 도구를 사용하여 생성형 AI 애플리케이션을 배포하는 기술을 습득할 수 있습니다. 또한 모범 사례와 권장 아키텍처에 따라 생성형 AI 애플리케이션을 운영하는 방법도 다룹니다. 마지막으로, Lakehouse Monitoring을 사용하여 생성형 AI 애플리케이션과 그 구성 요소를 모니터링하는 방법에 대해 설명합니다.

1,450,000

선수지식

프롬프트 엔지니어링과 프롬프트 엔지니어링 모범 사례에 대한 이해, 데이터브릭스 데이터 인텔리전스 플랫폼에 대한 지식, RAG에 대한 이해(데이터 준비, RAG 아키텍처 구축, 임베딩, 벡터, 벡터 데이터베이스 등의 개념), 다단계 추론 LLM 체인 및 에이전트를 사용하여 LLM 애플리케이션 구축 경험, 평가 및 거버넌스를 위한 데이터브릭스 데이터 인텔리전스 플랫폼 도구에 대한 지식

교육목표

- Model Serving과 같은 도구를 사용하여 생성형 AI 애플리케이션을 배포하는 모범 사례 숙지
- 모범 사례와 권장 아키텍처에 따라 생성형 AI 애플리케이션을 운영하는 방법 숙지
- Lakehouse Monitoring을 사용하여 생성형 AI 애플리케이션과 해당 구성 요소를 모니터링

강의내용

모델 배포 기초
- 모델 관리
- 배포 방법

배치 배포 (Batch Deployment)
- 배치 배포 소개
- 배치 추론 (Batch Inference)
- SLM을 활용한 배치 추론 워크플로우

실시간 배포 (Real-Time Deployment)
- 실시간 배포 소개
- Databricks 모델 서빙
- 모델 서빙을 활용한 외부 모델 서빙
- LLM 체인의 Databricks 모델 서빙 배포
- 커스텀 모델 배포 및 A/B 테스트

AI 시스템 모니터링 (AI System Monitoring)
- AI 애플리케이션 모니터링
- LLM RAG 체인 온라인 모니터링

LLMOps 개념
- MLOps 기초
- LLMOps vs MLOps