피드백 로깅

사용자가 제공한 피드백 데이터는 피드백 로깅 테이블에 기록으로 저장됩니다.

제공하는 피드백 데이터에는 학습 데이터와 동일한 구조의 특징 및 예측 열이 포함되어야 합니다. 데이터에는 알려진 모델 결과도 포함되어야 합니다. 사용자가 제공한 피드백 데이터의 열 중 학습 데이터에 포함되지 않은 열은 처리되지 않습니다.

품질 및 생성 AI 품질 평가를 구성하려면 피드백 로깅 테이블에 피드백 데이터를 기록해야 합니다. 피드백 로깅 테이블에는 프롬프트 템플리트를 평가할 때 다음 열이 포함되어 있습니다.

• 필수 컬럼:
  • 프롬프트 변수: 프롬프트 템플리트에 대해 작성된 변수의 값을 포함합니다.
  • reference_output: 기준 실제값을 포함합니다.
• 선택적 열:
  • _original_prediction' : foundation model 생성된 출력을 포함합니다

생성 AI 품질 평가는 프롬프트 템플리트를 평가할 때 피드백 데이터를 사용하여 다음 태스크 유형에 대한 결과를 생성합니다.

• 텍스트 요약
• 컨텐츠 생성
• 질문 응답
• 엔티티 추출

품질 평가는 피드백 데이터를 사용하여 텍스트 분류 태스크에 대한 결과를 생성합니다.

피드백 데이터 업로드

피드백 로깅 엔드포인트를 사용하여 품질 평가를 위한 데이터를 업로드할 수 있습니다. 또한 CSV 파일을 사용하여 피드백 데이터를 업로드할 수도 있습니다. 자세한 정보는 모델 트랜잭션 전송을 참조하십시오.

사전 제작 모델의 경우 Cloud Object Storage 또는 Db2 저장된 피드백 데이터가 포함된 CSV 파일에 연결할 수 있습니다. 자세한 정보는 평가 결과 검토를 참조하십시오.

상위 주제: Watson OpenScale에서 모델 평가를 위한 데이터 관리