위음률 차이 평가 지표

범위

Copy link to section

가양성률 차이 지표는 생성적 AI 자산과 기계 학습 모델을 평가합니다.

• 인공지능 자산의 유형 :
  • 프롬프트 템플리트
  • 기계 학습 모델
• 생성적 AI 작업 : 텍스트 분류
• 머신 러닝 문제 유형 : 이분법적 분류

점수와 가치

Copy link to section

위양성률 차이 지표 점수는 모니터링 대상 그룹과 참조 그룹의 위양성률 차이를 나타냅니다.

• 값의 범위 : 0.0-1.0
• 최상의 점수 : 0.0
• 비율:
  • 0 미만: 모니터링 대상 그룹의 오탐(false negative) 감소
  • 0시: 두 그룹의 확률은 동일합니다
  • 0 이상: 모니터링 대상 그룹에서 위음성 반응의 비율이 높음

평가 프로세스

Copy link to section

위양성(false positive)과 위음성(false negative)의 차이를 계산하기 위해, 모니터링 대상 그룹과 참조 그룹에 대한 혼동 행렬이 생성되어 각 그룹의 위음성과 위양성 정도를 파악합니다. 거짓 음성 및 참 양성 값은 각 그룹의 거짓 음성 비율을 계산하는 데 사용됩니다. 모니터링 대상 그룹의 오류 음성률에서 참조 그룹의 오류 음성률을 차감하여 오류 음성률 차이를 계산합니다.

계산하기

Copy link to section

다음 공식은 위음성률(FNR)을 계산하는 데 사용됩니다

다음 공식은 위음성률 차이를 계산하는 데 사용됩니다

상위 주제: 평가 지표