실험 결과 검토

AutoAI 훈련 도중 데이터 세트는 훈련 파트와 홀드아웃 파트로 분할됩니다. 훈련 파트는 AutoAI 훈련 단계에서 AutoAI 모델 파이프라인 및 이 파이프라인의 등급을 지정하는 데 사용되는 교차 검증 점수를 생성하는 데 사용됩니다. AutoAI 훈련 후에는 리드 보드에 표시되는 ROC 곡선 및 혼동 매트릭스와 같은 성능 정보의 결과 파이프라인 모델 평가 및 계산에 홀드아웃 파트가 사용됩니다. 훈련/홀드아웃 분할 비율은 90/10입니다.

훈련이 진행되면서 동적 인포그래픽과 리더보드가 표시됩니다. 인포그래픽의 노드 위에 마우스 커서를 두고 파이프라인이 공유하는 요인 및 고유 특성을 탐색하십시오. 인포그래픽의 데이터에 대한 안내서를 보려면 정보 패널에서 범례 탭을 클릭하십시오. 또는 파이프라인 작성의 다른 보기를 보려면 알림 패널의 실험 세부사항 탭을 클릭한 후 보기 전환 을 클릭하여 진행상태 맵을 보십시오. 어느 보기에서나 파이프라인 노드를 클릭하여 리더보드에서 연관된 파이프라인을 볼 수 있습니다. 리더보드에는 교차 유효성 검증 점수별로 순위가 지정된 모델 파이프라인이 포함되어 있습니다.

파이프라인 변환 보기

인포그래픽의 노드 위에 마우스 커서를 두면 파이프라인에 대한 변환을 볼 수 있습니다. 데이터 변환 시퀀스는 파이프라인에 대해 기능 엔지니어링이 수행된 경우 사전 처리 변환기 및 데이터 변환기 시퀀스로 구성됩니다. 알고리즘은 AutoAI 훈련 도중 모델 선택 및 최적화 단계에서 판별됩니다.

구현 세부 사항을 참조하여 파이프라인 작성에 대한 기술 세부사항을 검토하십시오.

리더보드 보기

각 모델 파이프라인은 다양한 메트릭에 대해 스코어링된 후 순위가 지정됩니다. 2진 분류 모델의 기본 순위 메트릭은 ROC 곡선 아래 영역입니다. 다중 클래스 분류 모델의 경우 기본 메트릭은 정확성입니다. 회귀 모형의 경우 기본 메트릭은 루트 평균 제곱 오차 (RMSE) 입니다. 최상위 등급의 파이프라인이 리더보드에 표시되므로 이에 대한 자세한 정보를 볼 수 있습니다. 리더보드는 선택된 모델 파이프라인을 검토한 후 저장하는 옵션도 제공합니다.

다음과 같이 파이프라인을 평가할 수 있습니다.

• 리더보드에 있는 파이프라인을 클릭하여 메트릭 및 성능에 대한 자세한 정보를 볼 수 있습니다.
• 비교 를 클릭하여 최상위 파이프라인 비교 방법을 보십시오.
• 다른 메트릭으로 리더보드를 정렬하십시오.

파이프라인을 모델로 저장

파이프라인에 만족하면 다음 방법 중 하나를 사용하여 저장하십시오.

• 모델 저장 을 클릭하여 후보 파이프라인을 프로젝트에 모델로 저장하십시오. 그러면 테스트하고 배치할 수 있습니다.
• 노트북으로 저장 을 클릭하여 자동 생성된 노트북을 작성하고 프로젝트에 저장하십시오. 코드를 검토하거나 노트북에서 실험을 실행할 수 있습니다.

다음 단계

학습된 모델을 배치 공간으로 승격하여 새 데이터로 모델을 테스트하고 예측을 생성할 수 있습니다.

자세히 알아보기

AutoAI 구현 세부사항

상위 주제: AutoAI 개요