배치 영역에서 watsonx.governance 평가를 구성하여 모델 성능에 대한 인사이트를 얻으십시오. 평가를 구성할 때 평가 결과를 분석하고 공간에서 직접 트랜잭션 레코드를 모델링할 수 있습니다.

watsonx.governance 는 모델 배치를 평가하여 성능을 측정하고 모델 예측을 이해하는 데 도움을 줍니다. 모델 평가를 구성할 때 watsonx.governance 는 사용자가 검토할 수 있는 서로 다른 통찰을 제공하는 각 평가에 대한 메트릭을 생성합니다. watsonx.governance 는 또한 모델 예측이 판별되는 방법을 이해하는 데 도움이 되도록 평가 중에 처리되는 트랜잭션을 로그합니다. 자세한 정보는 Watson OpenScale로 AI 모델 평가를 참조하십시오.

프로비저닝된 watsonx.governance 인스턴스가 있는 경우 온라인 배치를 매끄럽게 작성한 후 배치 결과에서 공정성, 품질, 드리프트 및 설명 가능성을 모니터할 수 있습니다.

일반적인 시나리오는 다음 순서를 따릅니다.

1. 배치 영역을 작성하고 watsonx.governance 인스턴스를 영역과 연관시켜 모든 모니터링 기능을 사용으로 설정하십시오. 요구사항에 따라 공간 유형 (예: 프로덕션 또는 사전 프로덕션) 을 선택할 수 있습니다.
2. 훈련된 기계 학습 모델 및 입력 (페이로드) 데이터를 배치 영역으로 승격하고 모델에 대한 온라인 배치를 작성하십시오.
3. 배치 테스트 탭에서 입력 데이터를 제공하고 예측을 다시 가져오십시오.
4. 평가 탭에서 품질, 공정성 및 설명 가능성에 대해 배치를 모니터하도록 평가를 구성하십시오. Watson OpenScale 이 모델, 훈련 및 페이로드 데이터, 평가 결과를 저장하기 위한 저장소에 연결할 수 있도록 모든 필수 모델 세부사항을 제공하십시오.
5. 모델이 편향되지 않은 결과를 생성하도록 공정성에 대한 모니터를 구성하십시오. 공정성을 모니터할 필드를 선택한 후 참조 그룹과 비교하여 모니터된 그룹에 대한 예측을 측정하기 위한 임계값을 설정하십시오. 예를 들어, 모델을 평가하여 성별에 따라 편향되지 않은 예측을 제공하는지 확인할 수 있습니다.
6. 피드백 데이터라고 하는 레이블 지정된 테스트 데이터를 기반으로 모델이 생성하는 올바른 결과 수를 기반으로 모델 성능을 판별하도록 품질에 대한 모니터를 구성하십시오. 메트릭 값이 허용 가능한 범위를 벗어날 때 추적할 품질 임계값을 설정하십시오.
7. 배치가 최신 상태이고 일관되도록 드리프트에 대한 모니터를 구성하십시오. 기능 중요도를 사용하여 모델에서 기능 드리프트의 영향을 판별하십시오. 예를 들어, 중요한 기능에서 작은 양의 드리프트는 덜 중요한 기능에서 적당한 양의 드리프트보다 모델에 더 큰 영향을 줄 수 있습니다.
8. 설명 가능성에 대한 배치 결과를 모니터하여 모델이 예측을 판별하도록 한 요인을 이해할 수 있습니다. 사용자의 요구에 가장 적합한 설명 방법을 선택하십시오. 예를 들어, 자세한 설명을 위해 SHAP (Shapley Additive EXplanations) 메소드를 선택하거나 더 빠른 설명을 위해 LIME (Local Interpretable Model-Agnostic 설명) 메소드를 선택할 수 있습니다.
9. 마지막으로 모델 평가를 검사하여 소수의 입력에 대한 작은 변경사항으로 인해 다른 의사결정이 발생하는 영역을 찾을 수 있습니다. 입력 변경이 모델 성능을 향상시킬 수 있는지 여부를 판별하기 위한 테스트 시나리오입니다.

다음 절에서는 watsonx.governance 평가를 구성하고 배치 영역에서 모델 인사이트를 검토하는 방법을 설명합니다.