드리프트 v2 평가 구성
드리프트 v2 평가를 구성하여 모델에 대한 일관된 결과를 보장하기 위해 시간 경과에 따른 데이터의 변경사항을 측정할 수 있습니다. 드리프트 v2 평가를 사용하여 모델 출력의 변경사항, 예측의 정확성 및 입력 데이터의 분포를 식별하십시오.
다음 절에서는 드리프트 v2 평가를 구성하는 방법에 대해 설명합니다.
드리프트 v2 평가 구성
모델 평가를 준비할 때 페이로드 데이터를 기록하면 데이터의 변화가 모델 결과에 미치는 영향을 이해하는 데 도움이 되는 드리프트 v2 평가를 구성할 수 있습니다.
드리프트 아카이브 계산
모델 기능의 데이터 분포를 결정하려면 학습 데이터를 분석하는 데 사용되는 방법을 선택해야 합니다. 학습 데이터를 연결하고 그 크기가 500MB 미만인 경우, 드리프트 v2 아카이브를 계산하도록 선택할 수 있습니다.
트레이닝 데이터를 연결하지 않거나 데이터 크기가 500MB보다 큰 경우 노트북에서 드리프트 v2 아카이브를 계산하도록 선택해야 합니다. 이미지 또는 텍스트 모델을 평가하려면 노트북에서 드리프트 v2 아카이브도 계산해야 합니다.
드리프트 v2 아카이브의 채점 및 계산에 사용되는 학습 데이터의 양에 대한 최대 샘플 크기를 설정하여 학습 데이터의 크기에 대한 제한을 지정할 수 있습니다. ' non-watsonx.ai 런타임 배포의 경우, 드리프트 ' v2 ' 아카이브를 계산하는 데는 모델의 채점 엔드포인트에 대해 학습 데이터를 채점하는 데 비용이 발생합니다.
드리프트 임계값 설정
평가 결과의 문제를 식별하려면 각 메트릭에 임계값을 설정해야 합니다. 설정한 값은 메트릭 점수가 임계값을 위반할 때 표시되는 Insights 대시보드 에 경보를 작성합니다. 0-1범위의 값을 설정해야 합니다. 위반을 방지하려면 메트릭 점수가 임계값보다 낮아야 합니다.
중요한 기능 선택
표 형식 모델의 경우에만 피처 중요도가 계산되어 피처 드리프트가 모델에 미치는 영향을 결정합니다. 기능 중요도를 계산하려면 모델에서 모델 결과에 가장 큰 영향을 미치는 중요하고 가장 중요한 기능을 선택하면 됩니다.
SHAP 설명을 구성하면 전역 설명을 사용하여 중요한 기능이 자동으로 감지됩니다.
JSON 파일을 업로드하여 중요한 기능 목록을 업로드할 수도 있습니다. JSON 파일을 업로드하는 데 사용할 수 있는 샘플 스니펫이 제공됩니다. 자세한 정보는 기능 중요도 스니펫을 참조하십시오.
샘플 크기 설정
평가 중에 평가되는 트랜잭션 수를 처리하기 위해 샘플 크기가 제공됩니다. 최소 샘플 크기를 설정하여 평가할 최소 트랜잭션 수를 표시해야 합니다. 최대 샘플 크기를 설정하여 평가할 최대 트랜잭션 수를 표시할 수도 있습니다.
상위 주제: 인공지능 모델 평가