머신 러닝 모델에 대한 드리프트 v2 평가 구성하기

모델 평가를 준비할 때 페이로드 데이터를 기록하면 머신 러닝 모델에 대한 드리프트 v2 평가를 구성하여 데이터의 변화가 모델 결과에 미치는 영향을 이해하는 데 도움을 받을 수 있습니다.

생성형 AI 모델에 대한 드리프트 v2 평가 구성하기

프롬프트 템플리트를 평가할 때 다음 태스크 유형에 대한 드리프트 v2 평가 결과의 요약을 검토할 수 있습니다.

• 텍스트 요약
• 텍스트 분류
• 컨텐츠 생성
• 엔티티 추출
• 질문 응답
• RAG (Retrieval Augmented Generation)

지원되는 드리프트 v2 메트릭

지원 언어: 영어만

머신 러닝 모델 또는 생성형 AI 모델에 대해 드리프트 v2 평가를 활성화하면 평가 중인 모델 유형에 대한 메트릭과 함께 평가 결과 요약을 볼 수 있습니다.

머신 러닝 모델을 평가하는 경우, 인사이트 대시보드에서 드리프트 v2 평가 결과를 볼 수 있습니다. 자세한 내용은 드리프트 v2 결과 검토하기를 참조하세요.

드리프트 v2 평가에서 지원되는 메트릭은 다음과 같습니다.

드리프트 임베딩

임베딩 드리프트는 기준 데이터와 비교했을 때 이상값인 레코드의 비율을 감지합니다.

• 사용 방법: 평가 결과를 생성하려면 임베딩 드리프트 메트릭을 활성화할 때 기준 데이터와 함께 임베딩을 제공해야 합니다. Watsonx.governance는 기준 데이터의 임베딩을 처리하고 모델 출력에 대해 미리 정의된 코사인 및 유클리드 거리 메트릭을 계산하는 자동 인코더를 구축합니다. Watsonx.governance는 거리 메트릭의 분포를 식별하여 이상값 탐지를 위한 임계값을 설정하고 거리 메트릭 값이 임계값보다 높으면 드리프트를 탐지합니다. RAG 작업의 경우, 모델 레코드의 모든 컨텍스트 열에 대한 임베딩이 단일 벡터로 결합되어 드리프트를 결정합니다.
• 계산하기: Watsonx.governance는 다음 공식을 사용하여 임베딩 드리프트를 계산합니다:
  • 코사인 거리
  • 유클리드 거리
• 지원되는 모델: LLM
• 프롬프트 템플리트 평가에 적용: 예
  • 태스크 유형:
    • 텍스트 요약
    • 텍스트 분류
    • 컨텐츠 생성
    • 엔티티 추출
    • 질문 응답
    • RAG (Retrieval Augmented Generation)

결과 드리프트

출력 드리프트는 모델 신뢰도 분포의 변화를 측정합니다.

• 작동 방식
  모델을 학습시킬 때와 비교하여 모델 출력의 변화량을 측정합니다. 회귀 모델의 경우, 출력 드리프트는 학습 및 페이로드 데이터에 대한 예측 분포의 변화를 측정하여 계산합니다. 분류 모델의 경우, 학습 및 페이로드 데이터에서 클래스 확률의 분포 변화를 측정하여 각 클래스 확률에 대해 출력 드리프트가 계산됩니다. 다중 분류 모델의 경우, 가중 평균을 측정하여 각 클래스 확률에 대한 출력 드리프트가 집계됩니다.

• 계산하기
  다음 공식을 사용하여 출력 드리프트를 계산합니다:

  • 총 변동 거리
  • 중첩 계수

• 지원 모델: 기존 머신 러닝 및 LLM

• 프롬프트 템플리트 평가에 적용: 예

  • 태스크 유형:
    • 텍스트 요약
    • 텍스트 분류
    • 컨텐츠 생성
    • 엔티티 추출
    • 질문 응답

모델 품질 드리프트

모델 품질 드리프트는 예상 런타임 정확도와 학습 정확도를 비교하여 정확도 저하를 측정합니다.

• 작동 방식:

드리프트 v2 평가를 구성할 때 페이로드 데이터를 처리하는 드리프트 감지 모델이 구축되어 모델이 실측 데이터 없이도 정확한 예측을 생성하는지 예측합니다. 드리프트 발견 모델은 모델의 입력 기능 및 클래스 확률을 사용하여 자체 입력 기능을 작성합니다.

• 수학:

다음 공식은 모델 품질 드리프트를 계산하는 데 사용됩니다:

모델의 정확도는 학습 데이터에서 올바르게 예측된 거래의 비율을 측정하여 base_accuracy 계산됩니다. 평가 중에 트랜잭션은 드리프트 발견 모델에 대해 스코어링되어 모델에 의해 올바르게 예측될 수 있는 트랜잭션의 양을 측정합니다. 이러한 트랜잭션은 처리된 총 트랜잭션 수와 비교하여 predicted_accuracy 계산합니다. If the predicted_accuracy is less than the base_accuracy, a model quality drift score is generated.

• 지원 모델: 기존 머신 러닝
• 프롬프트 템플리트 평가에 적용: No

기능 드리프트

피처 드리프트는 중요한 피처의 값 분포 변화를 측정합니다.

• 작동 방식:

드리프트는 연속형 및 불연속형 값의 확률 분포를 측정하여 범주형 및 숫자형 특징에 대해 계산합니다. 숫자 피처의 불연속 값을 식별하기 위해 이진 로그를 사용하여 각 피처의 고유 값의 수를 각 피처의 총 값 수와 비교합니다. 다음 이진 로그 공식은 불연속형 숫자 특징을 식별하는 데 사용됩니다:

distinct_values_count 이 total_count의 2진 대수보다 작은 경우 기능은 이산으로 식별됩니다.

• 수학:

다음 공식을 사용하여 피처 드리프트를 계산합니다:

• Jensen Shannon 거리

• 총 변동 거리

• 중첩 계수

• 지원 모델: 기존 머신 러닝

• 프롬프트 템플리트 평가에 적용: No

예측 드리프트

예측 드리프트는 LLM 예측 클래스의 분포 변화를 측정합니다.

• 수학:

Watsonx.governance 는 Jensen Shannon distance 공식을 사용하여 예측 드리프트를 계산합니다.

• 프롬프트 템플리트 평가에 적용: 예

  • 태스크 유형: 텍스트 분류

• 지원되는 모델: LLM

입력 메타데이터 드리프트

입력 메타데이터 드리프트는 LLM 입력 텍스트 메타데이터의 분배 변경을 측정합니다.

• 작동 방법:
  Watsonx.governance 는 LLM 입력 텍스트를 사용하여 다음 메타데이터를 계산합니다.
  문자 수: 입력 텍스트의 총 문자 수
  단어 수: 입력 텍스트의 총 단어 수
  토큰 수: 입력 텍스트의 총 토큰 수
  문장 수: 입력 텍스트의 총 문장 수
  평균 단어 길이: 입력 텍스트의 평균 단어 길이
  총 단어 길이: 입력 텍스트의 총 단어 길이
  평균 문장 길이: 입력 텍스트의 평균 문장 길이

  Watsonx.governance 는 메타데이터 열의 분포 변경을 측정하여 입력 메타데이터 드리프트를 계산합니다. 입력 토큰 개수 열 (페이로드에 있는 경우) 도 입력 메타데이터 드리프트를 계산하는 데 사용됩니다. 또한 페이로드 테이블에 레코드를 추가하는 동안 메타 필드를 지정하도록 선택할 수도 있습니다. 이러한 메타 필드는 입력 메타데이터 드리프트를 계산하는 데에도 사용됩니다. 이산 숫자 입력 메타데이터 열을 식별하기 위해 watsonx.governance 는 다음 2진대수 공식을 사용합니다.

  

  distinct_values_count 이 total_count의 2진 대수보다 작은 경우 기능은 이산으로 식별됩니다.

  개별 입력 메타데이터 열의 경우 watsonx.governance 는 Jensen Shannon distance 공식을 사용하여 입력 메타데이터 드리프트를 계산합니다.

  연속 입력 메타데이터 열의 경우 watsonx.governance 는 총 변동 거리 및 겹침 계수 공식을 사용하여 입력 메타데이터 드리프트를 계산합니다.

• 프롬프트 템플리트 평가에 적용: 예

  • 태스크 유형:
    • 텍스트 요약
    • 텍스트 분류
    • 컨텐츠 생성
    • 엔티티 추출
    • 질문 응답

• 지원되는 모델: LLM

출력 메타데이터 드리프트

출력 메타데이터 드리프트는 LLM 출력 텍스트 메타데이터의 분포 변경을 측정합니다.

• 작동 방식:
  Watsonx.governance 는 LLM 출력 텍스트를 사용하여 다음 메타데이터를 계산합니다.
  문자 수: 출력 텍스트의 총 문자 수
  단어 수: 출력 텍스트의 총 단어 수
  토큰 수: 출력 텍스트의 총 토큰 수
  문장 수: 출력 텍스트의 총 문장 수
  평균 단어 길이: 출력 텍스트의 평균 단어 길이
  평균 문장 길이: 출력 텍스트의 평균 문장 길이
  총 단어 길이: 출력 텍스트의 총 단어 길이

  Watsonx.governance 는 메타데이터 열의 분포 변경을 측정하여 출력 메타데이터 드리프트를 계산합니다. 출력 토큰 개수 열 (페이로드에 있는 경우) 도 출력 메타데이터 드리프트를 계산하는 데 사용됩니다. 또한 페이로드 테이블에 레코드를 추가하는 동안 메타 필드를 지정하도록 선택할 수도 있습니다. 이러한 메타 필드는 출력 메타데이터 드리프트를 계산하는 데에도 사용됩니다. 이산 숫자 출력 메타데이터 열을 식별하기 위해 watsonx.governance 는 다음 2진대수 공식을 사용합니다.

  

  distinct_values_count 이 total_count의 2진 대수보다 작은 경우 기능은 이산으로 식별됩니다.

  개별 출력 메타데이터 열의 경우 watsonx.governance 는 Jensen Shannon distance 공식을 사용하여 입력 메타데이터 드리프트를 계산합니다.

  연속 출력 메타데이터 열의 경우 watsonx.governance 는 총 변동 거리 및 겹침 계수 공식을 사용하여 출력 메타데이터 드리프트를 계산합니다.

• 프롬프트 템플리트 평가에 적용: 예

  • 태스크 유형:
    • 텍스트 요약
    • 텍스트 분류
    • 컨텐츠 생성
    • 질문 응답

• 지원되는 모델: LLM

다음 공식은 드리프트 v2 평가 메트릭을 계산하는 데 사용됩니다.