책임 있고 투명하며 설명 가능한 AI 워크플로우를 구동하려면 엔터프라이즈에 AI 모델을 추적, 모니터링 및 재훈련하기 위한 통합 시스템이 필요합니다. Cloud Pak for Data as a Service 는 엔터프라이즈가 프로덕션에서 머신 러닝 및 AI 모델을 모니터링, 유지보수, 자동화 및 통제할 수 있도록 프로세스 및 기술을 제공합니다.
AI 거버넌스 솔루션을 구현하기 위한 유스 케이스를 보려면 이 비디오를 시청하십시오.
이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.
해결 과제
AI 거버넌스 유스 케이스를 구현하여 엔터프라이즈에 대한 다음과 같은 과제를 해결할 수 있습니다.
- 모델 거버넌스 및 준수 확인
- 조직은 준수를 보장하고 모든 이해 당사자에게 가시성을 제공하기 위해 모델의 자세한 히스토리를 추적하고 문서화해야 합니다.
- 위험 관리 및 책임 있는 AI 보장
- 조직은 프로덕션에서 모델을 모니터하여 모델이 올바르고 정확하며 의도된 목표에서 벗어나거나 편향되지 않도록 해야 합니다.
- 모델 라이프사이클 조작
- 조직은 반복 가능한 프로세스를 구현하여 모델을 효율적으로 재훈련하고 프로덕션 환경에 배치해야 합니다.
예: Golden Bank의 과제
새로운 온라인 신청 프로세스가 준수되고 설명 가능한지 확인하기 위해 AI 거버넌스 프로세스를 구현하는 Golden Bank의 사례를 따르십시오. 골든 은행의 비즈니스 분석가는 준수를 보장하기 위해 모델 정보를 검토하고, 개발에서 프로덕션까지의 모델 진행을 인증하고, 공유 또는 아카이브할 보고서를 생성해야 합니다.
프로세스
엔터프라이즈에 대한 AI 거버넌스를 구현하기 위해 조직은 다음 프로세스를 따를 수 있습니다.
Cloud Pak for Data as a Service watsonx.ai Studio, watsonx.ai Runtime, Watson OpenScale, IBM Knowledge Catalog 서비스는 조직이 AI 거버넌스 솔루션을 구현하는 데 필요한 도구와 프로세스를 제공합니다.
1. 모델 추적
팀은 요청에서 프로덕션까지 기계 학습 모델을 추적하고 모델이 조직의 규정 및 요구사항을 준수하는지 여부를 평가할 수 있습니다.
| 사용할 수 있는 항목 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| 패싯 시트 | IBM Knowledge Catalog 카탈로그에 있는 모델 인벤토리에서 새 모델에 대한 사용 사례를 만듭니다. ' 등록된 모든 자산의 수명 주기 상태를 보고 모델 사용 사례에 등록된 모델 또는 배포에 대한 자세한 팩트 시트로 드릴다운합니다. ' 일반 모델 세부 정보, 학습 정보 및 메트릭, 입력 및 출력 스키마를 봅니다. ' 일반 배포 세부 정보, 평가 세부 정보, 품질 메트릭, 공정성 세부 정보 및 드리프트 세부 정보를 봅니다. |
데이터 과학 팀에서 새 모델을 요청해야 합니다. 모델이 준수되고 예상대로 수행되는지 확인하려고 합니다. 추적 데이터를 기반으로 모델을 업데이트해야 하는지 여부를 판별하려고 합니다. 세부사항을 공유하거나 유지하기 위해 모델에 대한 보고서를 실행하려고 합니다. |
예: Golden Bank의 모델 추적
골든 은행의 비즈니스 분석가들은 "모기지 승인 모델" 을 요청합니다. 그런 다음 데이터 과학자가 모델을 빌드 및 훈련하고 ModelOps 엔지니어가 배치하고 평가할 때 AI 라이프사이클의 모든 단계에서 모델을 추적할 수 있습니다. Factsheets는 모델 히스토리에 대한 세부사항을 문서화하고 해당 성능을 표시하는 메트릭을 생성합니다.
2. 배치된 모델 모니터
모델이 배치된 후에는 모델을 관리하고 모니터하여 모델이 해석 가능하고 투명한지 확인하는 것이 중요합니다. 데이터 과학자는 예측에 내재적 또는 명시적 편향성이 있는지 여부를 판별할 수 있도록 모델이 특정 예측에 도달하는 방법을 설명할 수 있어야 합니다. 또한 모델의 라이프사이클 동안 모델 성능 및 데이터 일관성 문제를 확인하는 것이 가장 좋습니다.
| 사용할 수 있는 항목 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| Watson OpenScale | 여러 기능에서 모델 공정성 문제를 모니터합니다. 시간 경과에 따라 모델 성능 및 데이터 일관성을 모니터합니다. 가중치 요인을 사용하여 모델이 특정 예측에 도달하는 방법을 설명합니다. 조직에서 모델 통제 및 라이프사이클을 유지보수하고 보고합니다. |
보호되거나 예측 공정성에 기여할 수 있는 기능이 있습니다. 시간 경과에 따른 모델 성능 및 데이터 일관성을 추적하려고 합니다. 모델이 특정 예측을 제공하는 이유를 알고자 합니다. |
예: Golden Bank의 모델 모니터링
골든 은행의 데이터 과학자는 Watson OpenScale 을 사용하여 배치된 "모기지 승인 모델" 을 모니터하여 정확하고 모든 골든 은행 모기지 신청자를 공정하게 처리하는지 확인합니다. 노트북을 실행하여 모델에 대한 모니터를 설정한 후 Watson OpenScale 사용자 인터페이스를 사용하여 구성을 조정합니다. 데이터 과학자는 Watson OpenScale 품질 모니터 및 공정성 모니터의 메트릭을 사용하여 모델이 결과를 얼마나 잘 예측하고 편향된 결과를 생성하는지 판별합니다. 또한 모기지 신청자에게 의사결정을 설명할 수 있도록 모델이 의사결정에 도달하는 방법에 대한 인사이트를 얻습니다.
3. AI 라이프사이클 자동화
팀은 오케스트레이션 파이프라인을 사용하여 MLOps및 AI 라이프사이클을 자동화하고 간소화할 수 있습니다.
| 사용할 수 있는 항목 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| 오케스트레이션 파이프라인 | 파이프라인을 사용하여 데이터 수집에서 모델 훈련, 테스트 및 배치에 이르기까지 기계 학습 파이프라인을 자동화하는 반복 가능하고 스케줄된 플로우를 작성하십시오. | MLOps 플로우의 일부 또는 모든 단계를 자동화하려고 합니다. |
예: Golden Bank의 자동화된 ML 라이프사이클
골든 은행의 데이터 과학자들은 파이프라인을 사용하여 완전한 AI 거버넌스 라이프사이클 및 프로세스를 자동화함으로써 모델 재훈련 프로세스를 간소화할 수 있습니다.
AI 거버넌스에 대한 학습서
| Tutorial | 설명 | 학습서에 대한 전문 지식 |
|---|---|---|
| 모델 빌드 및 배치 튜토리얼 | 모델을 훈련하고, 이를 배치 공간으로 프로모션시키고 모델을 배치하십시오. | 노트북을 실행하십시오. |
| 모델 테스트 및 유효성 검증 학습서 | 정확성, 공정성 및 설명 가능성을 위해 모델을 평가합니다. | 노트북을 실행하고 사용자 인터페이스에서 결과를 보십시오. |
자세한 정보
상위 주제: 유스 케이스