Trainocate - 가장 신뢰받는 IT 공인 교육 기업 트레이노케이트

Databricks > Generative AI

생성형 AI 애플리케이션 평가 및 거버넌스

이 과정에서는 생성형 AI 시스템을 평가하고 관리하는 방법을 소개합니다. 첫째, 평가 및 거버넌스/보안 시스템 구축의 의미와 동기를 살펴봅니다. 둘째, 평가 및 거버넌스 시스템을 Databricks Data Intelligence Platform에 연결합니다. 셋째, 특정 구성 요소 및 응용 프로그램 유형에 대한 다양한 평가 기법에 대해 알려드립니다. 마지막으로 이 과정은 성능 및 비용과 관련하여 전체 AI 시스템을 평가하는 분석으로 마무리됩니다.

선수지식

자연어 처리 개념에 대한 이해, 프롬프트 엔지니어링/프롬프트 엔지니어링 모범 사례에 대한 이해, Databricks 데이터 인텔리전스 플랫폼에 대한 이해, RAG에 대한 이해(데이터 준비, RAG 아키텍처 구축, 임베딩, 벡터, 벡터 데이터베이스 등과 같은 개념), 다단계 추론 LLM 체인 및 에이전트를 사용한 LLM 애플리케이션 구축 경험

교육목표

- 평가 및 거버넌스/보안 시스템 구축의 의미와 동기 설명
- LLM 평가 및 거버넌스를 위한 데이터브릭스 데이터 인텔리전스 플랫폼 기능에 대해 설명
- 특정 구성 요소와 애플리케이션 유형에 대한 평가 기법 설명
- 성능 및 비용과 관련하여 전체 AI 시스템 분석

강의내용

생성형 AI 애플리케이션 평가의 중요성
- 생성형 AI 애플리케이션을 평가해야 하는 이유
- 데이터셋 라이선스 탐색
- 프롬프트와 가드레일 기초
- LLM을 위한 가드레일 구현 및 테스트

생성형 AI 애플리케이션 보안 및 거버넌스
- AI 시스템 보안
- AI 가드레일 구현

생성형 AI 평가 기법
- 평가 기법
- 벤치마크 평가
- LLM-as-a-Judge
- 도메인 특화 평가 (Domain-Specific Evaluation)

엔드투엔드 애플리케이션 평가
- AI 시스템 아키텍처
- 커스텀 메트릭 (Custom Metrics)
- 오프라인 vs. 온라인 평가

한국트레이노케이트(주) | 대표 : 김 효 용 | 사업자등록번호 : 709-88-02461 | 통신판매업신고번호 : 2024-서울금천-0771호

주소 : 서울시 금천구 가산디지털1로 168 우림라이온스밸리 B동 1206호 | 대표전화 : 02-558-1130 | 이메일 : help@trainocate.co.kr

한국트레이노케이트(주) 대표 : 김 효 용
사업자등록번호 : 709-88-02461
통신판매업신고번호 : 2024-서울금천-0771호
주소 : 서울시 금천구 가산디지털1로 168 우림라이온스밸리 B동 1206호
대표전화 : 02-558-1130
이메일 : help@trainocate.co.kr

이용약관 | 개인정보처리방침 | 찾아오시는길