편차 v2 평가 구성

드리프트 아카이브 계산

모델 기능의 데이터 분포를 결정하려면 학습 데이터를 분석하는 데 사용할 방법을 선택해야 합니다. 학습 데이터를 연결하고 그 크기가 500MB 미만인 경우, 드리프트 v2 아카이브를 계산하도록 선택할 수 있습니다.

트레이닝 데이터를 연결하지 않거나 데이터 크기가 500MB보다 큰 경우 노트북에서 드리프트 v2 아카이브를 계산하도록 선택해야 합니다. 이미지 또는 텍스트 모델을 평가하려면 노트북에서 드리프트 v2 아카이브도 계산해야 합니다.

드리프트 v2 아카이브의 채점 및 계산에 사용되는 학습 데이터의 양에 대한 최대 샘플 크기를 설정하여 학습 데이터의 크기에 대한 제한을 지정할 수 있습니다. ' non-watsonx.ai 런타임 배포의 경우, 드리프트 ' v2 ' 아카이브를 계산하는 데는 모델의 채점 엔드포인트에 대해 학습 데이터를 채점하는 데 비용이 발생합니다.

드리프트 임계값 설정

평가 결과의 문제를 식별하려면 각 메트릭에 임계값을 설정해야 합니다. 설정한 값은 메트릭 점수가 임계값을 위반할 때 표시되는 Insights 대시보드 에 경보를 작성합니다. 0-1범위의 값을 설정해야 합니다. 위반을 방지하려면 메트릭 점수가 임계값보다 낮아야 합니다.

중요한 기능 선택

표 형식 모델의 경우에만 피처 중요도를 계산하여 피처 드리프트가 모델에 미치는 영향을 결정합니다. 기능 중요도를 계산하려면 모델에서 모델 결과에 가장 큰 영향을 미치는 중요하고 가장 중요한 기능을 선택하면 됩니다.

SHAP 설명을 구성하면 전역 설명을 사용하여 중요한 기능이 자동으로 감지됩니다.

JSON 파일을 업로드하여 중요한 기능 목록을 업로드할 수도 있습니다. JSON 파일을 업로드하는 데 사용할 수 있는 샘플 스니펫이 제공됩니다. 자세한 정보는 기능 중요도 스니펫을 참조하십시오.

샘플 크기 설정

샘플 크기는 평가 중에 평가되는 트랜잭션 수를 처리하는 방법을 이해하는 데 사용됩니다. 최소 샘플 크기를 설정하여 평가할 최소 트랜잭션 수를 표시해야 합니다. 최대 샘플 크기를 설정하여 평가할 최대 트랜잭션 수를 표시할 수도 있습니다.

드리프트 임계값 설정

사용자 고유의 설정으로 드리프트 v2 평가를 구성하기 위해 각 메트릭에 대한 최소 및 최대 샘플 크기를 설정할 수 있습니다. 최소 또는 최대 샘플 크기는 평가할 모델 트랜잭션의 최소 또는 최대 수를 표시합니다.

기준선 데이터를 구성하고 각 메트릭에 대한 임계값을 설정할 수도 있습니다. 임계값은 메트릭 점수가 임계값을 위반할 때 맵핑 프로그램이 사용하는 평가 요약 페이지에서 경보를 작성합니다. 0-1범위의 값을 설정해야 합니다. 위반을 방지하려면 메트릭 점수가 임계값보다 낮아야 합니다.

드리프트 아카이브 계산

Watsonx.governance 는 페이로드 레코드를 사용하여 드리프트 v2 평가에 대한 기준선을 설정합니다. 기준선 데이터로 계산할 레코드 수를 구성해야 합니다. 노트북 을 사용하여 드리프트 v2 기준선 데이터 아카이브를 생성하여 평가를 구성할 수 있습니다.

임베딩 계산하기

임베딩 드리프트 지표를 계산하려면 테스트 데이터와 함께 임베딩을 제공해야 합니다. 노트북를 사용해 임베딩을 생성하고 유지할 수 있습니다.

상위 주제: 인공지능 모델 평가