모델 평가를 활성화하려면 인사이트를 생성하기 위해 데이터를 로깅할 수 있도록 준비해야 합니다.
모델 평가를 사용하려면 지원되는 형식으로 모델 데이터를 제공해야 합니다. 모델 트랜잭션이 데이터 마트에 로그되어 처리됩니다. 데이터 마트는 모델 평가에 사용되는 데이터를 저장하는 로깅 데이터베이스입니다. 다음 절에서는 모델 평가에 대해 로그되는 여러 가지 유형의 데이터에 대해 설명합니다.
교육 데이터
모델 평가를 구성하는 데 필요한 통계를 생성하려면 훈련 데이터를 제공해야 합니다. 학습 데이터에는 모델 결과에 미치는 영향을 결정하기 위해 측정되는 레이블이 지정된 기능 열과 모델이 예측하도록 학습된 결과를 포함하는 예측 열이 포함되어 있습니다. 다음 예제는 독일 신용 위험 데이터 세트의 훈련 데이터를 표시합니다.
모델 평가를 활성화하려면 학습 데이터를 연결해야 합니다. 모델의 학습 데이터는 처리할 수 있는 형식으로 제공되어야 합니다. 자세한 정보는 훈련 데이터 관리를 참조하십시오.
페이로드 데이터
페이로드 데이터에는 배치에 대한 입력 및 출력 트랜잭션이 포함되어 있습니다. 평가를 구성하기 위해 모델의 페이로드 데이터가 페이로드 로깅 테이블에 저장됩니다. 페이로드 로깅 테이블에는 훈련 데이터에 있는 기능 및 예측 열과 제공되는 예측에서 모델의 신뢰도를 포함하는 예측 확률 열이 포함되어 있습니다. 이 테이블에는 다음 예에 표시된 대로 사용 중인 서비스에 전송하는 각 스코어링 요청을 식별하기 위한 시간소인 및 ID열도 포함되어 있습니다.
모델 트랜잭션의 로그를 제공하려면 스코어링 요청을 전송해야 합니다. 자세한 정보는 페이로드 데이터 관리를 참조하십시오.
피드백 데이터
피드백 데이터는 훈련 데이터의 구조와 일치하고 모델의 정확도를 측정하기 위해 모델 예측과 비교되는 알려진 모델 결과를 포함하는 레이블 지정된 데이터입니다. 피드백 데이터를 정기적으로 업로드하여 모델 예측의 정확도를 지속적으로 측정해야 합니다. 자세한 정보는 피드백 데이터 관리를 참조하십시오.