IBM 머신 러닝 프레임워크
머신 러닝 모델을 평가할 때 페이로드 로깅, 피드백 로깅을 수행하고 성능 정확도, 런타임 편향 탐지, 드리프트 탐지, 설명 가능성, 자동 편향 제거 기능을 측정하기 위해 IBM watsonx.ai Runtime을 사용할 수 있습니다.
머신 러닝 모델 평가를 위해 다음과 같은 IBM watsonx.ai 런타임 프레임워크가 지원됩니다:
테이블 1. 프레임워크 지원 세부사항
| 프레임워크 | 문제점 유형 | 데이터 유형 |
|---|---|---|
| AutoAI1 | 분류(2진 및 멀티 클래스) | 구조화(데이터, 텍스트) |
| AutoAI | 회귀 | 구조화 또는 비정형2(텍스트 전용) |
| Apache Spark MLlib | 분류 | 구조화 또는 비정형2(텍스트 전용) |
| Apache Spark MLLib | 회귀 | 구조화 또는 비정형2(텍스트 전용) |
| TensorFlow가 있는 Keras3&4 | 분류 | 비정형2(이미지, 텍스트) |
| TensorFlow가 있는 Keras3&4 | 회귀 | 비정형2(이미지, 텍스트) |
| Python 함수 | 분류 | 구조화(데이터, 텍스트) |
| Python 함수 | 회귀 | 구조화(데이터, 텍스트) |
| scikit-learn5 | 분류 | 구조화(데이터, 텍스트) |
| scikit-learn | 회귀 | 구조화(데이터, 텍스트) |
| XGBoost6 | 분류 | 구조화(데이터, 텍스트) |
| XGBoost | 회귀 | 구조화(데이터, 텍스트) |
1AutoAI에 대해 자세히 보려면 AutoAI 구현 세부사항을 참조하십시오. 훈련 데이터가 Cloud Object Storage에 있는 모델의 경우에는 부울 유형의 공정성 속성에 대한 지원이 없습니다. 그러나 학습 데이터가 Db2 경우 모델 평가는 부울 유형인 공정성 속성을 지원합니다. AutoAI 옵션을 사용할 때 모델 예측이 이진 데이터 유형인 경우 모델 평가가 지원되지 않습니다. 해당 예측의 데이터 유형이 문자열 데이터 유형이 되도록 해당 모델을 변경해야 합니다.
2공정성 및 드리프트 메트릭이 비정형(이미지 또는 텍스트) 데이터 유형에 대해 지원되지 않습니다.
3Keras 지원에는 공정성 지원이 포함되지 않습니다.
4설명 가능성은 모델/프레임워크가 예측 확률을 출력하는 경우 지원됩니다.
5드리프트 발견 모델을 생성하려면 노트북에서 scikit-learn 버전 1.3.2 를 사용해야 합니다.
6XGBoost 2진 및 멀티 클래스 모델의 경우, 2진 모델의 숫자 값과 멀티 클래스 모델의 클래스당 확률 목록의 형태로 예측 확률을 리턴하도록 모델을 업데이트해야 합니다. XGBoost 프레임워크 지원에는 분류 문제에 대해 다음과 같은 제한 사항이 있습니다: 이진 분류의 경우, 모델 평가를 위해 ' Truebinary:logisticmulti:softprob
AutoAI 모델 및 교육 데이터
AutoAI 는 자동으로 데이터를 준비하고 알고리즘 또는 추정기를 적용하며 데이터 및 유스 케이스에 가장 적합한 모델 파이프라인을 빌드합니다. 평가를 위해 모델을 분석하려면 학습 데이터에 액세스해야 합니다.
AutoAI 모델 평가에서는 일반 모델처럼 학습 데이터 위치를 감지할 수 없으므로 학습 데이터 위치에 액세스하려면 필요한 세부 정보를 명시적으로 제공해야 합니다:
- 모니터를 수동으로 구성하는 온라인 경로의 경우, 훈련 데이터에 액세스할 수 있는 데이터베이스 세부사항을 제공해야 합니다.
- 훈련 데이터 배포를 업로드하는 사용자 정의 노트북 경로의 경우, 노트북을 실행하여 생성되는 JSON 파일을 사용할 수 있습니다.
자세한 정보는 모델 세부사항 제공을 참조하십시오.
IBM watsonx.ai 런타임 서비스 인스턴스 지정하기
모델 평가를 구성하기 위한 첫 번째 단계는 IBM watsonx.ai 런타임 인스턴스를 지정하는 것입니다. watsonx.ai 런타임 인스턴스는 AI 모델과 배포를 저장하는 곳입니다.
전제조건
모델 평가를 위한 서비스 인스턴스가 있는 동일한 계정 또는 클러스터에 IBM watsonx.ai 런타임 인스턴스를 프로비저닝해야 합니다. 다른 계정이나 클러스터에서 IBM watsonx.ai 런타임 인스턴스를 프로비저닝한 경우, 모델 평가를 위한 자동 페이로드 로깅을 사용하여 해당 인스턴스를 구성할 수 없습니다.
watsonx.ai 런타임 서비스 인스턴스 연결하기
모델 평가를 위해 IBM watsonx.ai 런타임 인스턴스에서 AI 모델 및 배포에 연결할 수 있습니다. 서비스를 연결하려면 ' 구성 ' 
' 탭으로 이동하여 머신러닝 제공업체를 추가한 다음 ' 편집 ' 
' 아이콘을 클릭합니다. 이름과 설명 및 프리프로덕션 또는 프로덕션 환경 유형인지 여부에 추가로, 이 서비스 인스턴스 유형에 특정적인 다음 정보를 제공해야 합니다.
- IBM watsonx.ai Runtime 인스턴스가 있는 경우, 구성 정보와 함께 인스턴스가 감지됩니다.
상위 주제: 지원되는 머신 러닝 엔진, 프레임워크 및 모델