모델 품질 평가 지표

범위

Copy link to section

모델 품질 드리프트 지표는 기계 학습 모델만을 평가합니다.

AI 자산의 유형 : 머신 러닝 모델

점수와 가치

Copy link to section

모델 품질 드리프트 지표 점수는 훈련 정확도에서 추정 런타임 정확도까지의 정확도 하락을 나타냅니다.

• 최상의 점수 : 0.0
• 비율:
  • 0시: 정확도 변화 없음
  • 0 이상: 정확도의 증가

평가 프로세스

Copy link to section

드리프트 검출 모델이 구축되어, 드리프트 v2 평가를 구성할 때 페이로드 데이터를 처리하여 모델이 지상 진실(ground truth) 없이 정확한 예측을 생성하는지 예측합니다. 드리프트 탐지 모델은 모델의 입력 특징과 클래스 확률을 사용하여 자체 입력 특징을 만듭니다.

계산하기

Copy link to section

다음 공식을 사용하여 모델 품질의 편차를 계산합니다

모델의 정확도는 훈련 데이터에서 올바르게 예측된 거래의 비율을 측정하여 정확도-분산 비율( base_accuracy )로 계산됩니다. 평가 도중, 여러분의 거래는 드리프트 탐지 모델에 따라 점수가 매겨져, 여러분의 모델이 올바르게 예측할 가능성이 있는 거래의 양을 측정합니다. 이 거래는 처리된 총 거래 수와 비교되어 총 거래 수( predicted_accuracy)를 계산합니다. predicted_accuracy 가 base_accuracy 보다 작으면 모델 품질 편차 점수가 생성됩니다.

상위 주제: 평가 지표