평가를 구성하여 모델 성능에 대한 인사이트를 생성할 수 있습니다.

다음 유형의 평가를 구성할 수 있습니다:

• 품질
  모델이 레이블 지정된 테스트 데이터와 일치하는 올바른 결과를 얼마나 잘 예측하는지 평가합니다.
• 공정성
  모델이 한 그룹에 대해 다른 그룹보다 유리한 결과를 제공하는 편향된 결과를 생성하는지 여부를 평가합니다.
• 드리프트 지원 모델: 머신러닝 모델만
  최근 트랜잭션을 학습 데이터와 비교하여 모델의 정확도와 데이터 일관성이 어떻게 변화하는지 평가합니다.
• 드리프트 v2
  모델 출력의 변경사항, 예측의 정확성 및 입력 데이터의 분포를 평가합니다.
• 모델 상태
  모델 배치가 트랜잭션을 얼마나 효율적으로 처리하는지 평가합니다.
• 생성형 AI 품질 지원되는 모델: LLM 모델만
  foundation model 작업을 얼마나 잘 수행하는지 측정합니다

기존 머신 러닝 모델을 평가하는 경우, 사용자 지정 평가 및 메트릭를 생성하여 모델 성능에 대한 더욱 다양한 인사이트를 생성할 수도 있습니다.

각 평가는 모델 성능에 대한 통찰력을 얻기 위해 분석할 수 있는 메트릭을 생성합니다.

평가를 구성할 때 다음과 같은 기본 예약 간격에 따라 평가를 지속적으로 실행하도록 선택할 수 있습니다:

상위 주제: Watson OpenScale을 사용하여 AI 모델 평가