편차 v2 평가 구성
드리프트 v2 평가를 구성하여 시간 경과에 따른 데이터의 변화를 측정하여 모델의 일관된 결과를 보장할 수 있습니다. 드리프트 v2 평가를 사용하여 모델 출력의 변화, 예측의 정확도, 입력 데이터의 분포를 파악하세요.
다음 절에서는 드리프트 v2 평가를 구성하는 방법에 대해 설명합니다.
머신 러닝 모델에 대한 드리프트 v2 평가 구성하기
모델 평가를 준비할 때 페이로드 데이터를 기록하면 머신 러닝 모델에 대한 드리프트 v2 평가를 구성하여 데이터의 변화가 모델 결과에 미치는 영향을 이해하는 데 도움을 받을 수 있습니다.
드리프트 아카이브 계산
모델 기능의 데이터 분포를 결정하려면 학습 데이터를 분석하는 데 사용할 방법을 선택해야 합니다. 학습 데이터를 연결하고 그 크기가 500MB 미만인 경우, 드리프트 v2 아카이브를 계산하도록 선택할 수 있습니다.
트레이닝 데이터를 연결하지 않거나 데이터 크기가 500MB보다 큰 경우 노트북에서 드리프트 v2 아카이브를 계산하도록 선택해야 합니다. 이미지 또는 텍스트 모델을 평가하려면 노트북에서 드리프트 v2 아카이브도 계산해야 합니다.
드리프트 v2 아카이브의 채점 및 계산에 사용되는 학습 데이터의 양에 대한 최대 샘플 크기를 설정하여 학습 데이터의 크기에 대한 제한을 지정할 수 있습니다. ' non-watsonx.ai 런타임 배포의 경우, 드리프트 ' v2 ' 아카이브를 계산하는 데는 모델의 채점 엔드포인트에 대해 학습 데이터를 채점하는 데 비용이 발생합니다.
드리프트 임계값 설정
평가 결과의 문제를 식별하려면 각 메트릭에 임계값을 설정해야 합니다. 설정한 값은 메트릭 점수가 임계값을 위반할 때 표시되는 Insights 대시보드 에 경보를 작성합니다. 0-1범위의 값을 설정해야 합니다. 위반을 방지하려면 메트릭 점수가 임계값보다 낮아야 합니다.
중요한 기능 선택
표 형식 모델의 경우에만 피처 중요도를 계산하여 피처 드리프트가 모델에 미치는 영향을 결정합니다. 기능 중요도를 계산하려면 모델에서 모델 결과에 가장 큰 영향을 미치는 중요하고 가장 중요한 기능을 선택하면 됩니다.
SHAP 설명을 구성하면 전역 설명을 사용하여 중요한 기능이 자동으로 감지됩니다.
JSON 파일을 업로드하여 중요한 기능 목록을 업로드할 수도 있습니다. JSON 파일을 업로드하는 데 사용할 수 있는 샘플 스니펫이 제공됩니다. 자세한 정보는 기능 중요도 스니펫을 참조하십시오.
샘플 크기 설정
샘플 크기는 평가 중에 평가되는 트랜잭션 수를 처리하는 방법을 이해하는 데 사용됩니다. 최소 샘플 크기를 설정하여 평가할 최소 트랜잭션 수를 표시해야 합니다. 최대 샘플 크기를 설정하여 평가할 최대 트랜잭션 수를 표시할 수도 있습니다.
생성형 AI 모델에 대한 드리프트 v2 평가 구성하기
프롬프트 템플리트를 평가할 때 다음 태스크 유형에 대한 드리프트 v2 평가 결과의 요약을 검토할 수 있습니다.
- 텍스트 요약
- 텍스트 분류
- 컨텐츠 생성
- 엔티티 추출
- 질문 응답
- RAG (Retrieval Augmented Generation)
드리프트 임계값 설정
사용자 고유의 설정으로 드리프트 v2 평가를 구성하기 위해 각 메트릭에 대한 최소 및 최대 샘플 크기를 설정할 수 있습니다. 최소 또는 최대 샘플 크기는 평가할 모델 트랜잭션의 최소 또는 최대 수를 표시합니다.
기준선 데이터를 구성하고 각 메트릭에 대한 임계값을 설정할 수도 있습니다. 임계값은 메트릭 점수가 임계값을 위반할 때 맵핑 프로그램이 사용하는 평가 요약 페이지에서 경보를 작성합니다. 0-1범위의 값을 설정해야 합니다. 위반을 방지하려면 메트릭 점수가 임계값보다 낮아야 합니다.
드리프트 아카이브 계산
Watsonx.governance 는 페이로드 레코드를 사용하여 드리프트 v2 평가에 대한 기준선을 설정합니다. 기준선 데이터로 계산할 레코드 수를 구성해야 합니다. 노트북 을 사용하여 드리프트 v2 기준선 데이터 아카이브를 생성하여 평가를 구성할 수 있습니다.
임베딩 계산하기
임베딩 드리프트 지표를 계산하려면 테스트 데이터와 함께 임베딩을 제공해야 합니다. 노트북를 사용해 임베딩을 생성하고 유지할 수 있습니다.
상위 주제: 인공지능 모델 평가