IBM Watson Machine Learning을 사용하여 기계 학습 모델, 스크립트 및 기능을 배치하고 생성 AI 모델에 대한 프롬프트 템플리트를 배치할 수 있습니다. 배치를 작성한 후에는 이를 테스트 및 관리하고, 예측 및 인사이트를 생성하기 위해 사전 프로덕션 및 프로덕션 환경에 배치할 자산을 준비할 수 있습니다.
서비스 관리자는 해당 기능을 사용하기 위해 watsonx 플랫폼에서 Watson Machine Learning 서비스를 프로비저닝해야 합니다.
배치 영역에서 자산 배치 및 관리
배치 영역을 작성하여 이해 당사자 (stakeholder) 와 협업하고 AI 자산을 배치하고 관리합니다. 배치 영역 내에서 자산을 관리하려면 자산을 프로젝트에서 배치 영역으로 승격해야 합니다. 또한 배치 영역에서 자산을 가져오거나 내보낼 수 있습니다. 자세한 정보는 배치 영역을 참조하십시오.
다음 그래픽은 AI 자산을 배치하기 위한 일반적인 활동을 보여줍니다.
자산 배치 방법
다음과 같은 방법으로 자산을 배치하고 관리할 수 있습니다.
코드가 없는 접근 방식 사용: 코드가 없는 접근 방식을 사용하여 배치 영역에서 자산을 배치하고 관리할 수 있습니다. 자세한 정보는 배치 영역에서 자산 배치 및 관리 를 참조하십시오.
사용자 정의 코드 접근 방식 사용 사용자 정의 코드 접근 방식을 사용하면 다음을 사용하여 프로그래밍 방식으로 자산을 배치하고 관리할 수 있습니다.
추가 watsonx API에 대해서는 watsonx API를 참조하십시오.
배치 유형
조직의 필요에 따라 온라인 또는 일괄처리 배치를 작성할 수 있습니다.
온라인 배치: 온라인 배치를 작성하여 입력 데이터를 실시간으로 처리합니다. 실시간으로 온라인 배치를 테스트하기 위해 새 고객 데이터를 배치 엔드포인트에 제출하여 실시간으로 예측할 수 있습니다. 양식에 또는 JSON 코드를 통해 테스트 데이터를 입력하여 온라인 배치를 테스트할 수 있습니다. 자세한 정보는 Watson Machine Learning에서 온라인 배치 작성을 참조하십시오.
일괄처리 배치: 일괄처리 배치를 작성하여 데이터 소스의 대형 입력 데이터 일괄처리를 처리하고 선택된 대상에 출력을 씁니다. 일괄처리 배치를 테스트하려면 일괄처리 배치 작업을 작성해야 합니다. 입력 데이터, 출력 파일에 대한 세부사항 및 스케줄 또는 요청 시 작업 실행에 대한 정보를 제공하여 일괄처리 배치 작업을 구성할 수 있습니다. 자세한 정보는 Watson Machine Learning에서 일괄처리 배치 작성을 참조하십시오.
응용프로그램 전개: 응용프로그램 전개를 작성하여 R Shiny 응용프로그램과 같은 응용프로그램 자원을 전개하십시오. 자세한 정보는 Watson Machine Learning에서 Shiny앱 배치를 참조하십시오.
배치 엔드포인트 검색
애플리케이션에 배포된 자산을 사용하여 예측을 수행하려면 온라인 또는 일괄 배포의 엔드포인트 URL을 검색하세요. 모델 엔드포인트는 모델 배치를 호출하고 관리하기 위한 인터페이스에 대한 액세스를 제공합니다.
자세한 정보는 온라인 배치를 위한 엔드포인트 검색 또는 일괄처리 배치를 위한 엔드포인트 검색을 참조하십시오.
배치 가능한 자산의 유형
특정 자산만 사용하여 온라인 또는 일괄처리 배치를 작성할 수 있습니다. 예를 들어, 온라인 및 일괄처리 배치 모두 Python 기능, 스크립트 및 모델 (예: AutoAI 또는 Decision Optimization 모델) 과 같은 자산의 배치를 지원합니다. 그러나 파일에서 가져온 모델에 대해서만 온라인 배치를 작성할 수 있습니다. 배치 가능한 자산의 다른 유형은 다음과 같습니다.
- 기초 모델 자산: watsonx.ai를 사용하여 조정된 모델 또는 프롬프트 템플리트 자산과 같은 기초 모델 자산을 배치할 수 있습니다. 자세한 정보는 기본 모델 자산 배치를 참조하십시오.
- Machine Learning 자산: Watson Machine Learning을 사용하여 Python 함수, R Shiny 애플리케이션, NLP 모델, 스크립트 등과 같은 기계 학습 Machine Learning 자산을 배치할 수 있습니다. 자세한 정보는 Machine Learning 자산 배치를 참조하십시오.
- Decision Optimization 모델: Watson Machine Learning을 사용하여 Decision Optimization 모델을 배치할 수 있습니다.
배치 관리
배치 영역에서 배치에 대한 성능을 액세스, 업데이트, 스케일링, 삭제 및 모니터할 수 있습니다.
- 배치 액세스: 배치 영역이 사전 프로덕션 또는 프로덕션 용도인지 여부를 설명하는 단계 유형과 같이 배치와 관련된 세부사항에 액세스할 수 있습니다.
- 배치 업데이트: 배치 이름, 소프트웨어 스펙 등과 같은 배치 세부사항을 업데이트할 수 있습니다. 자세한 정보는 배치 업데이트를 참조하십시오.
- 배치 스케일링: 더 큰 볼륨의 스코어링 요청에 대한 확장성 및 가용성을 높이기 위해 여러 개의 배치 사본을 작성할 수 있습니다. 자세한 정보는 배치 스케일링을 참조하십시오.
- 배치 삭제: 자원을 해제하기 위해 더 이상 필요하지 않은 경우 배치를 삭제하십시오. 자세한 정보는 배치 삭제를 참조하십시오.
- 배치 성능 모니터: Watson OpenScale 인스턴스를 프로비저닝하고 공정성, 품질, 드리프트 및 설명 가능성에 대한 모니터를 구성하여 성능을 측정하고 모델 예측을 이해하기 위해 배치를 평가할 수 있습니다.
배치 활동 모니터링
배치 대시보드를 사용하여 배치의 집계 보기를 가져오고 배치 활동을 모니터하십시오. 대시보드를 사용하여 작업을 작성할 때 정의한 작업 스케줄에 따라 활성 실행 및 완료된 실행과 같은 일괄처리 배치 작업의 상태를 모니터할 수 있습니다. 성공 및 실패한 온라인 배치 수에 대한 정보를 얻을 수도 있습니다. 자세한 정보는 배치 대시보드를 참조하십시오.
배치를 위한 런타임 환경 관리
런타임 환경은 배치를 실행하는 데 필요한 필수 기능을 제공합니다.
유스 케이스에 따라 사전 정의된 런타임 환경을 사용하거나 사용자 정의 런타임 환경을 작성하여 더 많은 컴포넌트를 포함할 수 있습니다. 배치를 위한 사용자 정의 런타임 환경을 작성하려면 Dockerfile을 작성하고 기본 이미지를 추가해야 합니다. 또한 docker 명령을 추가하여 배치를 위한 런타임 환경을 빌드할 수 있습니다. 자세한 정보는 Watson Machine Learning 배치 런타임 사용자 정의를 참조하십시오.
배치를 위한 프레임워크 및 소프트웨어 스펙 관리
소프트웨어 스펙 및 프레임워크에는 패키지의 해당 버전과 함께 패키지 번들이 포함되어 있습니다.
유스 케이스에 따라 사전 정의된 소프트웨어 스펙을 사용하거나 사용자 정의 소프트웨어 스펙을 작성할 수 있습니다. 예를 들어, 기존 프레임워크에 새 패키지를 추가하거나 새 패키지를 작성하거나 소프트웨어 스펙에서 패키지 버전을 바꿀 수 있습니다.
더 이상 사용되지 않는 서비스를 계속 제공하려면 모델의 소프트웨어 스펙을 최신 버전으로 업데이트해야 합니다. 프레임워크가 더 이상 사용되지 않으면 이 프레임워크에 대한 지원이 향후 릴리스에서 제거됩니다.
자세한 정보는 Watson Machine Learning의 프레임워크 및 소프트웨어 스펙을 참조하십시오.
자세히 알아보기
상위 주제: AI 자산 배치 및 관리