머신 러닝 솔루션의 구현 워크플로 계획하기

AI 사용 사례 정의

AI 사용 사례는 모델과 같은 AI 자산의 수명 주기에 대한 계보, 이력 및 기타 관련 정보가 포함된 일련의 팩트시트로 구성됩니다.

조직에서 투명성 또는 규정 준수를 위해 AI 솔루션을 추적하고 문서화해야 할 수도 있습니다. 그러나 AI 사용 사례는 솔루션에 대한 진행 상황, 의사 결정 및 메트릭을 추적하는 통합된 방법을 제공하기 때문에 필요하지 않은 경우에도 유용합니다.

AI 사용 사례를 만들려면 먼저 인벤토리를 만든 다음 사용 사례를 만드세요. 데이터 과학자, 데이터 엔지니어 및 솔루션의 생성, 테스트 또는 관리에 관여하는 기타 사용자를 사용 사례 공동 작업자로 추가하세요.

거버넌스 워크플로 개발

거버넌스 워크플로는 AI 사용 사례 및 모델 사용에 대한 검토 및 승인 프로세스를 시행합니다.

조직에는 다음 중 하나 이상의 거버넌스 워크플로 유형이 필요할 수 있습니다:

• 위험 거버넌스 워크플로를 모델링하여 AI 사용 사례 승인, 기초 모델 수명 주기 이벤트 승인, 위험 평가 실행 또는 모델 성능 모니터링을 자동화하세요.
• 규제 기관에서 게시한 경고를 처리하기 위한 규제 준수 관리 워크플로입니다.
• 운영 위험 관리 워크플로우를 통해 기업 전반의 다른 운영 위험과 함께 모델 위험을 추적할 수 있습니다.

거버넌스 워크플로를 설정하려면 거버넌스 콘솔에서 구성합니다.

프로젝트 설정

프로젝트는 사람들이 모델과 데이터를 사용하여 공동의 목표를 달성하기 위해 작업하는 협업 작업 공간입니다.

데이터를 준비하고, 실험을 실행하고, 머신 러닝 모델을 구축하려면 프로젝트가 필요합니다.

머신 러닝 솔루션의 프로젝트에는 일반적으로 데이터 과학자나 AI 엔지니어가 명시적으로 추가하거나 프로세스의 결과로 생성되는 다음과 같은 유형의 항목이 포함됩니다:

• 학습 데이터를 저장하는 위치와 같은 데이터 소스에 대한 연결 자산입니다.
• 학습 모델용 데이터 세트를 나타내는 데이터 자산입니다.
• 사용자가 만들거나 AutoAI 실험 실행과 같은 프로세스를 통해 생성된 노트북입니다.
• AutoAI, SPSS Modeler, 또는 Decision Optimization 과 같은 툴을 실행하여 생성한 실험 및 흐름 에셋.
• 도구에서 에셋을 실행하여 생성되는 작업입니다.

자동으로 생성된 샌드박스 프로젝트가 있습니다. 하지만 목표를 반영하는 이름으로 프로젝트를 만드는 것이 좋습니다. 홈 페이지 또는 탐색 메뉴에서 프로젝트를 만들 수 있습니다. 솔루션에 함께 작업할 모든 사람을 추가하세요. 각 공동 작업자에게 역할을 할당하여 프로젝트에서 각자의 권한을 제어할 수 있습니다.

데이터 준비

데이터 준비에는 솔루션에 필요한 형식과 품질 수준으로 필요한 데이터에 대한 액세스를 제공하는 것이 포함됩니다.

머신 러닝 모델에 대한 학습 데이터를 제공해야 합니다. 학습 데이터에는 머신 러닝 알고리즘으로 예측하거나 분류할 열에 대한 레이블이 지정된 데이터가 포함되어 있어야 합니다. 레이블이 지정되지 않은 홀드아웃 데이터 집합 또는 백테스트 데이터 집합을 제공할 수도 있습니다. 분석 및 모델 학습을 준비하기 위해 데이터를 정리하거나 모양을 만들어야 할 수도 있습니다.

다음과 같은 방법으로 학습 데이터를 제공할 수 있습니다:

• 로컬 시스템에서 파일 업로드
• 데이터 집합이 포함된 데이터 원본에 연결합니다

데이터 준비 도구로 데이터를 준비한 다음 AutoAI 또는 노트북과 같은 다른 도구에서 해당 데이터를 사용할 수 있습니다:

• 데이터 파일을 업로드하거나 데이터 원본의 테이블에 연결합니다.
• Data Refinery 을 사용하여 데이터를 정리, 변형 및 시각화합니다.
• Synthetic Data Generator 을 사용하여 프로덕션 데이터 또는 사용자 지정 데이터 스키마를 기반으로 합성 표 형식 데이터를 생성합니다.

머신러닝 모델을 훈련하는 것과 동일한 도구 내에서 데이터를 준비할 수 있습니다:

• SPSS Modeler 에서 데이터를 정리, 변환, 축소, 통합 및 검증합니다.
• 사전 설치된 오픈 소스 및 IBM 라이브러리를 호출하거나 노트북에 사용자 지정 라이브러리를 설치해 호출하세요.

머신러닝 모델 학습

머신러닝 모델은 일련의 데이터에 대한 학습을 통해 새로운 데이터를 분석하고 학습하는 데 사용할 수 있는 알고리즘을 개발합니다.

다음과 같은 방법으로 조건을 변경하여 머신 러닝 모델 학습을 실험해 볼 수 있습니다:

• 데이터에 가장 적합한 다양한 알고리즘 테스트
• 문제를 가장 잘 표현하는 기능 선택 및 확장하기
• 하이퍼파라미터 설정을 조정하여 성능 및 정확도 최적화하기

머신 러닝 모델을 구축하려면 노트북에서 Python 코드를 사용하여 실험할 수 있습니다. 최적의 예측 모델을 만들기 위한 알고리즘, 변환 및 매개변수 설정을 자동으로 찾으려면 머신러닝용 자동 AI 실험을 실행하세요. 데이터를 탐색하고, 결과를 모델링하고, 다양한 모델을 시도하고, 관계를 조사하여 유용한 정보를 찾으려면 SPSS Modeler 플로우를 구축하세요. 최적화 비즈니스 문제를 해결하려면 Decision Optimization 모델을 구축하세요.

머신 러닝 자산 평가

머신 러닝 모델 평가는 선택한 메트릭 집합에 대한 모델 출력의 품질을 테스트합니다. 일부 지표는 테스트 데이터 세트에 제공한 적절한 출력과 모델 출력을 비교하는 것을 기반으로 합니다. 모델이 얼마나 효율적으로 응답을 생성하는지도 평가됩니다.

조직에서 규정 준수 또는 내부 정책에 대한 평가가 필요할 수 있습니다. 그러나 메트릭 점수는 솔루션의 품질을 나타낼 수 있고 점수가 떨어지면 사용자 만족도 저하를 예측할 수 있으므로 평가는 필요하지 않은 경우에도 유용합니다.

AI 자산을 평가할 때 다음 요소를 구성할 수 있습니다:

• 테스트할 샘플 크기
• 포함할 메트릭
• 각 메트릭의 임계값

일반 메트릭은 머신 러닝 모델에 대해 다음과 같은 유형의 정보를 제공합니다:

• 레이블이 지정된 테스트 세트와 비교하여 모델이 얼마나 잘 수행되는지입니다.
• 모델이 편향된 결과를 생성하는지 여부.
• 정확도 및 데이터의 변화.
• 모델이 트랜잭션을 얼마나 효율적으로 처리하는지를 나타냅니다.

현재 결과와 시간 경과에 따른 결과를 볼 수 있습니다. 각 평가의 결과가 프롬프트의 사용 사례에 추가됩니다.

머신 러닝 모델을 평가하려면 Watson OpenScale 에서 인사이트 대시보드를 엽니다. 머신 러닝 실험을 위해 AutoAI 을 실행하면 후보 모델이 자동으로 평가되고 순위가 매겨집니다.

솔루션 배포

에셋을 배포하면 엔드포인트에서 테스트하거나 생산적으로 사용할 수 있습니다. 배포를 생성한 후에는 테스트 및 관리하고 에셋을 사전 프로덕션 및 프로덕션 환경에 배포할 수 있도록 준비할 수 있습니다.

프로젝트와 별도의 작업 공간이며 다른 공동 작업자 집합을 추가할 수 있는 배포 공간에서 배포를 만듭니다.

머신 러닝 모델 자산을 배포하려면 자산을 배포 공간으로 승격하고 엔드포인트가 포함된 배포를 생성합니다. 그런 다음 애플리케이션에서 엔드포인트를 호출할 수 있습니다. 테스트, 스테이징 및 프로덕션 배포를 위한 별도의 배포 공간을 만들어 ModelOps 워크플로우를 지원할 수 있습니다.

머신 러닝 파이프라인 자동화

머신러닝 모델을 학습하고 배포한 후에는 모델을 학습, 배포 및 평가하는 프로세스를 자동화할 수 있습니다. 여러 머신 러닝 모델의 결과를 비교하여 가장 적합한 모델을 결정할 수 있습니다. 자동화된 일괄 채점을 대규모로 구성할 수 있습니다.

다음 작업을 수행하도록 파이프라인을 구성할 수 있습니다:

• 파이프라인에 에셋을 추가하거나 파이프라인 에셋 내보내기
• 에셋, 배포 또는 배포 공간 생성 또는 삭제
• 루프와 같은 오류 처리 및 로직 추가하기
• 사용자 변수 설정
• 성능 향상을 위한 에셋 교체 또는 업데이트
• 실험을 훈련하거나, 스크립트를 실행하거나, 데이터 흐름을 실행하는 작업을 실행합니다
• 흐름 실행을 위한 조건 지정
• 작성한 스크립트 실행

파이프라인을 디자인하려면 노드를 파이프라인 에디터 캔버스에 끌어다 놓고 개체와 매개변수를 지정한 다음 파이프라인을 실행하고 모니터링합니다.

솔루션 모니터링 및 유지 관리

애플리케이션에 솔루션을 임베드하고 프로덕션에 적용한 후에는 솔루션을 유지 관리해야 합니다. 모델 성능을 모니터링할 수도 있습니다. 솔루션 유지 관리에는 최신 데이터로 머신 러닝 모델을 재학습하는 것이 포함될 수 있습니다. 솔루션 모니터링은 프로덕션 환경에서 모델의 성능을 평가합니다.

조직에서 솔루션을 모니터링하고 성능이 지정된 임계값 아래로 떨어지지 않도록 해야 할 수도 있습니다.

솔루션을 모니터링하려면 배포 공간에서 솔루션 배포를 열고 평가를 활성화합니다. 페이로드 로깅 엔드포인트를 사용하여 공정성 및 드리프트 평가를 위한 채점 요청을 보내고 피드백 로깅 엔드포인트를 사용하여 품질 평가를 위한 피드백 데이터를 제공할 수 있습니다.