책임 있고 투명하며 설명 가능한 AI 워크플로우를 구동하려면 엔터프라이즈에 AI 모델을 추적, 모니터링 및 재훈련하기 위한 통합 시스템이 필요합니다. Watsonx.governance 는 엔터프라이즈가 프로덕션에서 기계 학습 및 생성 AI 모델을 모니터링, 유지보수, 자동화 및 통제할 수 있도록 프로세스 및 기술을 제공합니다.
해결 과제
Watsonx.governance 를 사용하면 엔터프라이즈에 대해 다음과 같은 문제를 해결할 수 있습니다.
- 머신 러닝 모델 및 생성 AI 자산에 대한 거버넌스 및 컴플라이언스 보장
- 조직은 머신 러닝 모델 및 생성 AI 자산의 세부 히스토리를 평가, 추적 및 문서화하여 컴플라이언스를 보장하고 모든 이해 당사자에게 가시성을 제공해야 합니다.
- 위험 관리 및 책임 있는 AI 보장
- 조직은 프로덕션에서 모델을 모니터하여 모델이 올바르고 정확하며 의도된 목표에서 벗어나거나 편향되지 않도록 해야 합니다.
- 기계 학습 모델 모니터링 및 재훈련
- 조직은 프로덕션 피드백을 기반으로 기계 학습 모델의 모니터링 및 재교육을 자동화해야 합니다.
예: Golden Bank의 과제
투자 상품 판매를 촉진하는 마케팅 프로모션을 분석하는 프로세스를 구현하면서 AI 자산을 관리하기 위해 watsonx.governance 사용하는 Golden Bank의 사례를 살펴보세요. 팀은 다음을 수행해야 합니다.
- 라이프사이클 전체에서 머신 러닝 모델 및 생성 AI 자산을 추적하여 자산에 대한 정보를 캡처하고 공유하며 통제 및 규제 준수 목표를 충족하도록 지원합니다.
- 배치된 모델의 공정성, 정확성, 설명 가능성 및 드리프트를 모니터하십시오.
- 요약 및 질문에 응답하는 프롬프트 템플리트를 평가하여 기초 모델이 얼마나 효과적으로 응답을 생성하는지 측정하십시오.
- 파이프라인을 작성하여 재훈련 프로세스를 단순화하십시오.
프로세스
엔터프라이즈에 대해 watsonx.governance 를 구현하기 위해 조직은 다음 프로세스를 따를 수 있습니다.
Watsonx.ai 및 watsonx.governance 는 조직이 AI 자산을 통제하는 데 필요한 도구 및 프로세스를 제공합니다.
1. 기계 학습 모델 및 프롬프트 템플리트 추적
팀은 기계 학습 모델을 추적하고 요청에서 프로덕션까지 템플리트를 프롬프트할 수 있으며 조직의 규정 및 요구사항을 준수하는지 여부를 평가할 수 있습니다.
| 사용할 수 있는 항목 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| 패싯 시트 | AI 유스 케이스를 작성하여 프로덕션을 통해 요청에서 AI 자산을 추적하고 통제합니다. 등록된 모든 자산의 라이프사이클 상태를 보고 모델 유스 케이스에 등록된 모델, 배치 또는 프롬프트 템플리트의 자세한 패시트로 드릴 다운합니다. AI 유스 케이스와 연관된 패시트에서 각 추적된 자산에 대해 캡처된 세부사항을 검토합니다. 평가 세부사항, 품질 메트릭, 공정성 세부사항, 및 드리프트 세부사항 |
데이터 과학 팀에서 새 모델 또는 프롬프트 템플리트를 요청해야 합니다. 모델 또는 프롬프트 템플리트가 준수되고 예상대로 수행되는지 확인하려고 합니다. 추적 데이터를 기반으로 모델 또는 프롬프트 템플리트를 업데이트해야 하는지 여부를 판별하려고 합니다. 세부사항을 공유하거나 유지하기 위해 추적된 자산에 대한 보고서를 실행하려고 합니다. |
예: Golden Bank의 모델 추적
Golden Bank의 비즈니스 분석가들은 예측 모델을 요청했습니다. 그런 다음 데이터 과학자 또는 ML 엔지니어가 모델을 빌드하고 훈련시키고 ModelOps 엔지니어가 배치하고 평가할 때 AI 라이프사이클의 모든 단계에서 모델을 추적할 수 있습니다. Factsheets는 모델 히스토리에 대한 세부사항을 문서화하고 해당 성능을 표시하는 메트릭을 생성합니다.
2. 기계 학습 모델 및 프롬프트 템플리트 평가
프로젝트 또는 배치 공간에서 기계 학습 모델 및 프롬프트 템플리트를 평가하여 성능을 측정할 수 있습니다. 기계 학습 모델의 경우 품질, 공정성 및 정확성에 대해 모델을 평가하십시오. 기초 모델의 경우 foundation model 작업을 평가하고 모델이 응답을 생성하는 방식을 이해합니다.
| 사용할 수 있는 항목 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| 프로젝트 | 프로젝트를 협업 작업 영역으로 사용하여 기계 학습 모델을 빌드하고, 기초 모델을 프롬프트하고, 기계 학습 모델 및 프롬프트 템플리트를 저장하고, 기계 학습 모델 및 프롬프트 템플리트를 평가합니다. 기본적으로 샌드박스 프로젝트는 watsonx에 등록할 때 자동으로 작성됩니다. | 기계 학습 모델 및 프롬프트 템플리트에 대해 협업하려고 합니다. |
| 공간 사용자 인터페이스 | 공간 UI를 사용하여 프로젝트에서 공간으로 기계 학습 모델, 프롬프트 템플리트 및 기타 자산을 배치하고 평가하십시오. | 기계 학습 모델 및 프롬프트 템플리트를 전개 및 평가하고 협업 작업 영역에서 전개 정보를 보려고 합니다. |
예: Golden Bank의 프롬프트 평가
골든뱅크의 데이터 과학자와 프롬프트 엔지니어링 팀은 테스트 데이터를 사용하여 프롬프트 템플릿의 생성 및 질의응답을 평가하기 위해 협력하고 있습니다. 이들은 foundation model 성능을 측정하고 모델이 응답을 생성하는 방식을 이해하고자 합니다. 평가는 AI Factsheets 추적되므로 전체 팀이 개발 단계부터 생산 단계에 이르기까지 수명 주기 전반을 모니터링할 수 있습니다.
3. 배치된 기계 학습 모델 및 프롬프트 템플리트 모니터
모델을 배치한 후에는 모델을 통제하고 모니터하여 모델이 설명 가능하고 투명한지 확인하는 것이 중요합니다. 데이터 과학자는 예측에 내재적 또는 명시적 편향성이 있는지 여부를 판별할 수 있도록 모델이 특정 예측에 도달하는 방법을 설명할 수 있어야 합니다. 모델에 대한 일관된 결과를 보장하기 위해 시간 경과에 따른 데이터의 변경사항을 측정하도록 드리프트 평가를 구성할 수 있습니다. 드리프트 평가를 사용하여 모델 출력의 변경사항, 예측의 정확성 및 입력 데이터의 분포를 식별하십시오.
| 사용할 수 있는 항목 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| Watson OpenScale | 여러 기능에서 모델 공정성 문제를 모니터합니다. 시간 경과에 따라 모델 성능 및 데이터 일관성을 모니터합니다. 가중치 요인을 사용하여 모델이 특정 예측에 도달하는 방법을 설명합니다. 조직에서 모델 통제 및 라이프사이클을 유지보수하고 보고합니다. |
보호되거나 예측 공정성에 기여할 수 있는 기능이 있습니다. 시간 경과에 따른 모델 성능 및 데이터 일관성을 추적하려고 합니다. 모델이 특정 예측을 제공하는 이유를 알고자 합니다. |
예: Golden Bank의 모델 모니터링
골든뱅크의 데이터 과학자들은 Watson OpenScale 사용하여 배포된 예측 모델을 모니터링하여 정확하고 공정하며 설명 가능한지 확인합니다. 노트북을 실행하여 모델에 대한 모니터를 설정한 후 Watson OpenScale 사용자 인터페이스를 사용하여 구성을 조정합니다. 데이터 과학자는 Watson OpenScale 품질 모니터 및 공정성 모니터의 메트릭을 사용하여 모델이 결과를 얼마나 잘 예측하고 편향된 결과를 생성하는지 판별합니다. 또한 모델이 의사 결정에 도달하는 방식에 대한 인사이트를 얻어 데이터 분석가에게 의사 결정을 설명할 수 있습니다.
watsonx.governance 에 대한 학습서
| 자습서 | 설명 | 학습서에 대한 전문 지식 |
|---|---|---|
| 프롬프트 템플리트 평가 및 추적 | 프롬프트 템플릿을 평가하여 foundation model 성능을 측정하고 수명 주기 동안 프롬프트 템플릿을 추적합니다. | 평가 도구 및 AI 유스 케이스를 사용하여 프롬프트 템플리트를 추적하십시오. |
| 기계 학습 모델 평가 | 모델을 배치하고 배치된 모델에 대한 모니터를 구성하고 모델을 평가하십시오. | 노트북을 실행하여 모델을 구성하고 Watson OpenScale 을 사용하여 평가하십시오. |
| 공간에서의 배포 평가 | 모델을 배포하고, 배포된 모델에 대한 모니터를 구성하고, 배포 공간에서 모델을 평가합니다. | 배포 공간에서 모니터를 구성하고 모델을 평가합니다. |
다음 단계
- watsonx.ai 를 사용하여 기계 학습 및 생성 AI 모델 빌드
- watsonx.data Presto로 어디서나 모든 데이터에 대해 AI 워크로드를 확장할 수 있습니다
자세히 알아보기
- IBM watsonx 개요
- watsonx.ai Studio 개요
- watsonx.ai 런타임 개요
- Watson OpenScale 개요
- 비디오
- 셀프 서비스 사이트에서 다른 유스 케이스를 사용해 보십시오. watsonx로 빌드된 라이브 애플리케이션을 경험하기 위한 유스 케이스를 선택하십시오. 개발자가 샘플 애플리케이션 코드와 함께 신속한 선택 및 구성 안내에 액세스하여 프로젝트를 가속화합니다.
상위 주제: 유스 케이스