드리프트 평가는 모델의 정확도 및 데이터 일관성 저하를 감지합니다. 모델이 훈련 데이터에서 올바르게 평가하지 않은 트랜잭션과 유사한 트랜잭션이 증가하면 모델 정확도가 떨어집니다.
드리프트 평가 예제
드리프트 인을 구성할 때는 허용 가능한 정확도 드리프트 크기를 지정해야 합니다. 드리프트는 훈련 시간에 모델 정확도와 비교하여 정확도의 감소로 측정됩니다. 예를 들어, 훈련 시 모델 정확도가 90%이고 런타임 시 모델의 예상 정확도가 80%인 경우 모델은 10% 드리프트되었다고 합니다. 유스 케이스에 따라 모델 소유자는 서로 다른 양의 드리프트를 허용할 수 있습니다. 각 모델 평가에 대해 정확도 드리프트 크기를 지정할 수 있습니다. 모델의 드리프트가 지정된 임계값 아래로 떨어지면 경보가 생성됩니다.
데이터가 500MB를 초과하지 않는 경우 온라인으로 모델을 학습시킬 수 있습니다. 그렇지 않으면, 노트북을 사용하여 모델을 훈련시켜야 합니다.
시작하기 전에
모델을 분석하려면 먼저 드리프트 감지를 구성해야 합니다. 사용자 인터페이스를 사용하거나 노트북 내부에서 코드를 실행하여 이동 감지 모델을 온라인으로 훈련할 수 있습니다. 드리프트 구성은 구조화된 데이터에 대해서만 지원됩니다. 분류 모델은 데이터 및 정확성 드리프트를 모두 지원하고 회귀 모델은 데이터 드리프트만 지원합니다.
다음은 드리프트 모니터를 구성하기 위한 요구사항입니다.
- Machine Learning 공급자는 watsonx.ai 런타임이어야 합니다
- 훈련 데이터 크기는 500MB 미만이어야 합니다.
- 트레이닝 데이터는 IBM Cloud Object StorageDb2 호스팅되어야 합니다.
훈련 데이터를 업로드하고 드리프트 발견에 대한 모델 세부사항 을 설정하려면 다음을 수행하십시오.
- 훈련 데이터 업로드 를 클릭하고 레이블이 지정된 데이터가 있는 파일을 업로드하십시오.
세부사항은 모델 세부사항 제공을 참조하십시오.
이 과정에서 모델을 분석하고 가장 논리적인 결과를 바탕으로 권장 사항을 제시합니다. 이동 감지가 제대로 작동하려면 훈련 데이터에 있는 예측 열의 데이터 유형이 페이로드 데이터에 있는 동일한 열의 데이터 유형과 일치해야 합니다. 일치 문자열 또는 숫자 유형을 예측 및 레이블 열에 지정하십시오. 데이터 유형을 확인하려면 모델 세부사항 > 모델 출력 세부사항 > 편집을 클릭하십시오. 이러한 선택사항은 다음 구성 단계를 위한 정확한 정보를 가지도록 해줍니다. 어떤 이유로 데이터 유형을 변경해야 하는 경우, 변경사항을 적용하기 위해 평가를 다시 배치해야 합니다.
드리프트 탭의 연속 페이지에서 다음 정보를 제공해야 합니다.
경보 임계값
분류 유형 모델에만 필요합니다: 모델 정확도의 변화 정도를 학습 시점의 정확도와 비교합니다. 최소한 5% 이상이어야 하는 경보 임계값은 시간 경과에 따라 변경의 허용오차 정도를 표시합니다.
샘플 크기
최소 샘플 크기를 설정하여 평가 데이터 세트에서 최소 레코드 수를 사용 가능하게 될 때까지 드리프트 측정을 막습니다. 이 설정으로 샘플 크기가 너무 작아서 결과를 왜곡시키는 것을 막을 수 있습니다. 드리프트 검사가 실행될 때마다 이는 계산을 수행하는 레코드 수를 결정하기 위해 최소 샘플 크기를 사용합니다.
드리프트 평가 구성 단계
IBM watsonx.ai Runtime을 사용하는 경우 드리프트 감지를 구성할 수 있습니다.
구성 프로세스를 시작하려면 드리프트 탭의 드리프트 모델 상자에서 편집 
아이콘을 클릭하십시오.
교육 옵션을 선택하고 지시에 따라 필요한 정보를 입력합니다. 완료되면 선택사항의 요약이 검토를 위해 표시됩니다. 변경해야 할 사항이 있으면 해당 섹션의 편집 아이콘을 클릭하십시오. 그렇지 않으면 작업을 저장하십시오.
재교육하지 않고 드리프트를 구성하는 단계
드리프트 모델을 재훈련하지 않고 드리프트 평가를 재구성하여 추가 처리 없이 매개변수를 업데이트하십시오. 더 많은 처리 비용을 일으키지 않고 현재 교육된 모델에서 더 많은 데이터를 생성하기 위해 최소 샘플 크기와 임계값을 업데이트합니다. 이는 기초 데이터가 안정적이고 다른 임계값이 있는 드리프트 크기를 보려고 할 때 집중적인 CPU 사용을 피하기 위한 한 방법입니다.
참고: 드리프트 모델은 훈련 데이터 또는 스키마가 변경되는 경우에만 재훈련이 필요합니다.
구성 프로세스를 시작하려면 드리프트 탭의 드리프트 임계값 상자 또는 샘플 크기 상자에서 편집 을 클릭하십시오. 현재 설정을 업데이트하고 이를 저장하십시오.
노트북을 사용하여 드리프트를 구성하는 단계
다음 환경에서 드리프트를 구성하려면 노트북을 사용하십시오.
- 드리프트 평가를 구성하기 위해 학습 데이터를 공유하지 않으려는 경우
- 드리프트 평가에 지원되는 유일한 두 가지 학습 데이터 위치인 Db2 또는 IBM Cloud Object Storage 학습 데이터를 공유할 수 있는 수단이 없습니다.
이 옵션은 훈련 데이터가 Db2 또는 IBM Cloud Object Storage에 저장되지 않은 경우 유용합니다. 노트북을 사용하는 경우 훈련 데이터를 데이터 프레임으로 읽어야 합니다. 다운로드할 수 있는 전문 노트북은 드리프트 평가를 구성하기 위해 업로드할 수 있는 전문 출력을 생성합니다.
드리프트 발견 모델을 생성하기 위해 ibm-wos-utils>=5.0.1.0 패키지 및 sci-kit 학습 버전 1.3.2를 설치하는 셀을 실행할 수 있습니다. 모델을 빌드하려면 scikit-learn 버전 1.3.2 가 필요합니다.
샘플 노트북을 사용해 드리프트 감지 모델을 생성하는 노트북을 만듭니다. 드리프트 감지 모델은 .tar.gz 파일로 변환됩니다.
구성 프로세스를 시작하려면 드리프트 탭의 드리프트 모델 상자에서 편집 을 클릭하십시오. 데이터 과학 노트북에서 교육 옵션을 사용하십시오. 압축된 드리프트 감지 모델을 끌어놓기 영역으로 끌어올 수 있습니다.
프롬프트를 따르고 필수 정보를 입력하십시오. 완료되면 선택사항의 요약이 검토를 위해 표시됩니다. 변경하려면 해당 섹션에 대해 편집 을 클릭하십시오. 그렇지 않으면 작업을 저장하십시오.
자세한 정보
상위 주제: 모델 평가 구성