데이터 과학 및 MLOps 사용 사례
데이터 분석 및 모델 작성을 조작하려면 엔터프라이즈에 통합 시스템 및 프로세스가 필요합니다. Cloud Pak for Data as a Service 은 엔터프라이즈가 기계 학습 모델 및 기타 데이터 과학 애플리케이션을 개발하고 배치할 수 있도록 하는 프로세스 및 기술을 제공합니다.
이 비디오를 보면 Cloud Pak for Data에서 Data Science및 MLOps 솔루션을 구현하는 데 필요한 데이터 패브릭 유스 케이스를 확인할 수 있습니다.
이 비디오는 이 문서에서 개념 및 태스크를 학습하는 시각적 방법을 제공합니다.
해결 과제
기업을 위한 데이터 과학 및 MLOps 솔루션을 구축하려면 다음과 같은 과제를 해결해야 합니다.
- 고품질 데이터 액세스
- 조직은 데이터를 사용하여 모델을 작성하는 데이터 과학 팀의 고품질의 통제된 데이터에 쉽게 액세스할 수 있어야 합니다.
- 모델 작성 및 전개 조작
- 조직은 반복 가능한 프로세스를 구현하여 생산 환경에 모델을 신속하고 효율적으로 구축하고 배치해야 합니다.
- 모델 모니터링 및 재교육
- 조직은 생산 피드백을 기반으로 모델의 모니터링 및 재교육을 자동화해야 합니다.
Cloud Pak for Data as a Service에서 데이터 패브릭을 구현하여 이러한 문제를 해결할 수 있습니다.
예제: 골든 뱅크의 과제
온라인 애플리케이션을 위한 저율 모기지 갱신을 제공하여 비즈니스를 확장하기 위해 데이터 과학 및 MLOps 프로세스를 구현하기 때문에 골든 뱅크의 사례를 따르십시오. 골든 뱅크의 데이터 과학자들은 위험을 피하고 모든 지원자들을 공정하게 대우하는 모기지 승인 모델을 만들어야 한다. 또한 모델 성능을 최적화하기 위해 모델 재교육을 자동화해야 합니다.
프로세스
엔터프라이즈에 대한 데이터 사이언스 및 MLOps를 구현하기 위해 조직은 다음 프로세스를 따를 수 있습니다.
Cloud Pak for Data as a Service 의 Watson Studio, Watson Machine Learning, Watson OpenScale및 Watson Knowledge Catalog 서비스는 조직에서 데이터 과학 및 MLOps 솔루션을 구현하는 데 필요한 도구 및 프로세스를 제공합니다.
2. 모델 구축 및 훈련
데이터를 기반으로 예측 통찰력을 얻기 위해 데이터 과학자, 비즈니스 분석가 및 시스템 학습 엔지니어가 모델을 빌드하고 훈련할 수 있습니다. 데이터 과학자들은 Cloud Pak for Data as a Service 서비스를 사용하여 AI 모델을 구축하고, 올바른 알고리즘과 최적화를 사용하여 비즈니스 문제를 해결하는 데 도움이 되는 예측을 수행할 수 있도록 합니다.
| 당신이 사용할 수 있는 것 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| AutoAI | Watson Studio 에서 AutoAI 를 사용하여 알고리즘, 엔지니어 기능을 자동으로 선택하고 파이프라인 후보를 생성하고 모델 파이프라인 후보를 훈련합니다. 그런 다음, 순위가 지정된 파이프라인을 평가하고 최상의 모델을 모델로 저장하십시오. 훈련된 모델을 공간에 배치하거나 AutoAI 에서 원하는 모델 교육 파이프라인을 노트북으로 내보내어 세분화하십시오. |
우수한 교육 파이프라인 및 모델 세트를 신속하게 빌드하기 위해 고급 및 자동화된 방법을 원합니다. 생성된 파이프라인을 세분화하여 반출할 수 있습니다. |
| 메모장 및 스크립트 | Watson Studio 의 노트북 및 스크립트를 사용하여 Python 또는 R에 고유 기능 엔지니어링 모델 교육 및 평가 코드를 작성하십시오. 프로젝트에서 사용할 수 있는 훈련 데이터 세트를 사용하거나 데이터베이스, 데이터 레이크 또는 오브젝트 스토리지와 같은 데이터 소스에 대한 연결을 사용하십시오. 좋아하는 오픈 소스 프레임워크 및 라이브러리를 포함하는 코드를 사용하십시오. |
Python 또는 R 코딩 기술을 사용하여 모델을 작성, 훈련 및 평가하는 데 사용되는 코드를 완전히 제어할 수 있습니다. |
| SPSS Modeler 플로우 | Watson Studio 에서 SPSS Modeler 플로우를 사용하여 자체 모델 훈련, 평가 및 스코어링 플로우를 작성하십시오. 프로젝트에서 사용 가능한 교육 데이터 세트 또는 데이터베이스, 데이터 레이크 또는 오브젝트 스토리지와 같은 데이터 소스에 대한 연결을 사용합니다. | 데이터를 탐색하고 모델 훈련, 평가 및 스코어링 플로우를 정의하는 간단한 방법을 원합니다. |
| RStudio | RStudio 에서 R에 대해 작업하여 데이터를 분석하고 모델을 빌드하고 테스트한다. | 개발 환경을 사용하여 R 에서 작업하려고 합니다. |
| Decision Optimization | 데이터 준비, 모델 가져오기, 문제점 해결 및 시나리오 비교, 데이터 시각화, 솔루션 찾기, 보고서 생성 및 Watson Machine Learning으로 배치할 모델 저장 | 수많은 가능성을 평가하여 규범적인 분석 문제에 대한 최상의 솔루션을 찾아야 합니다. |
| 연합 학습 | 분산 데이터를 사용하는 공통 모델을 훈련합니다. | 여러 위치에 분산되어 있는 데이터를 이동, 결합 또는 공유하지 않고 모델을 훈련해야 합니다. |
예제: 골든 뱅크의 모델 작성 및 교육
골든 뱅크의 데이터 과학자들은 예측되지 않은 위험을 피하고 모든 지원자들을 공정하게 대우하는 "모기지 승인 모델" 모델을 만든다. 처음부터 모델의 히스토리 및 성능을 추적하기 위해 모델 유스 케이스를 "모기지 승인 카탈로그" 에 추가합니다. 그들은 모델을 만들기 위해 공책을 실행하고, 모기지에 대한 지원자들의 자격을 예측한다. 모델 교육의 세부사항은 모델 유스 케이스에서 메타데이터로 자동 캡처됩니다.
3. 전개 모델
운영팀 구성원이 AI 모델을 배치하면 애플리케이션에 해당 모델을 사용할 수 있게 되어 이 조치를 유도하는 데 도움이 되는 스코어링 및 예측에 사용할 수 있습니다.
| 당신이 사용할 수 있는 것 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| 공백 사용자 인터페이스 | 공간 UI를 사용하여 프로젝트에서 공간으로 모델 및 기타 자산을 배치하십시오. | 협업 작업 영역에서 모델을 배치하고 배치 정보를 볼 수 있습니다. |
예제: 골든 뱅크의 모델 배치
골든 뱅크의 운영 팀 구성원은 프로젝트에서 배치 공간으로 "모기지 승인 모델" 을 홍보한 후 온라인 모델 배치를 작성합니다.
4. 배치된 모델 모니터
모델이 배치된 후에는 모델이 잘 수행되는지 확인하기 위해 모니터하는 것이 중요합니다. 데이터 과학자는 모델 성능 및 데이터 일관성 문제를 감시해야 합니다.
| 당신이 사용할 수 있는 것 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| Watson OpenScale | 모니터 모델의 공정성 문제가 여러 기능에 걸쳐 발생합니다. 시간에 따른 모델 성능 및 데이터 일관성을 모니터합니다. 가중치가 있는 특정 예측에 모델이 도달하는 방법을 설명합니다. 조직에서 모델 통제 및 라이프사이클을 유지하고 보고합니다. |
보호되거나 예측 공정성에 기여할 수 있는 기능이 있습니다. 시간에 따라 모델 성능 및 데이터 불일치를 추적할 수 있습니다. 모델이 특정 예측을 제공하는 이유를 알고 싶습니다. |
예제: 골든 뱅크의 모델 모니터링
골든 뱅크의 데이터 과학자들은 Watson OpenScale 을 사용하여 배치된 "모기지 승인 모델" 을 모니터하여 모든 골든 뱅크 모기지 신청자를 공정하고 정확하게 처리할 수 있습니다. 노트북을 실행하여 모델에 대한 모니터를 설정한 후 Watson OpenScale 사용자 인터페이스를 사용하여 구성을 변경합니다. Watson OpenScale 품질 모니터 및 공정성 모니터의 메트릭을 사용하여 데이터 과학자는 모델이 결과를 얼마나 잘 예측하고 편향된 결과를 생성하는지를 판별합니다. 그들은 또한 의사결정이 모기지 신청자들에게 설명될 수 있도록 모델이 어떻게 결정되는지에 대한 통찰력을 얻는다.
5. ML 수명 주기 자동화
팀은 Watson Pipelines으로 MLOps및 AI 라이프사이클을 자동화하고 단순화할 수 있습니다.
| 당신이 사용할 수 있는 것 | 수행할 수 있는 작업 | 다음 경우에 사용 |
|---|---|---|
| Watson Pipelines | 파이프라인을 사용하여 데이터 수집에서 모델 교육, 테스트 및 배치까지 노트북, Data Refinery및 시스템 학습 파이프라인을 자동화하는 반복 가능하고 스케줄된 플로우를 작성할 수 있습니다. | MLOps 플로우에서 일부 또는 모든 단계를 자동화하려고 합니다. |
예제: 골든 뱅크의 자동화된 ML 수명 주기
골든 뱅크의 데이터 과학자는 파이프라인을 사용하여 완전한 데이터 과학 및 MLOps 라이프사이클 및 프로세스를 자동화하여 모델 재교육 프로세스를 단순화할 수 있습니다.
데이터 과학 및 MLOps 학습서
| Tutorial | 설명 | 학습서에 대한 전문 지식 |
|---|---|---|
| 모델 모니터링을 사용하여 AI 파이프라인 조정 | 모델을 훈련하고, 이를 배치 공간으로 프로모션시키고 모델을 배치하십시오. | 노트북을 실행하십시오. |
| 데이터 통합으로 AI 파이프라인 조정 | 데이터를 준비하고 모델을 훈련하는 엔드-투-엔드 파이프라인을 작성합니다. | Watson Pipelines 끌어서 놓기 인터페이스를 사용하여 파이프라인을 작성하십시오. |
자세한 정보
상위 주제: 데이터 패브릭 솔루션 개요