예측 배치 관리
적절한 배치를 위해 배치 공간을 설정한 후 특정 배치 유형을 선택하고 구성해야 합니다. 자산을 배치한 후에는 자산이 제대로 수행되고 정확성을 모니터하도록 자산을 관리하고 업데이트할 수 있습니다.
영역에서 자산을 배치할 수 있으려면 프로비저닝되고 해당 영역과 연관된 기계 학습 서비스 인스턴스가 있어야 합니다.
온라인 및 일괄처리 배치는 온라인 스코어링 엔드포인트를 작성하거나 모델을 사용하여 일괄처리 스코어링을 수행하는 간단한 방법을 제공합니다.
사용자 정의 로직을 구현하려면 다음을 수행하십시오.
- 온라인 엔드포인트 작성에 사용할 Python 함수 작성
- 일괄처리 스코어링을 위한 노트북 또는 스크립트 작성
배치 가능한 자산
다음은 해당 배포 유형에 대한 정보와 함께 watsonx.ai 런타임 공간에서 배포할 수 있는 에셋 목록입니다:
| 자산 유형 | 일괄처리 배치 | 온라인 배치 |
|---|---|---|
| 함수 | 예 | 예 |
| 모델 | 예 | 예 |
| 스크립트 | 예 | 아니오 |
참고:
- 배포 작업은 일괄 배포를 실행하는 방법 또는 watsonx.ai 런타임의 흐름과 같은 독립적인 자산을 실행하는 방법입니다. 작업에 대한 입력 및 출력을 선택하고 수동으로 또는 스케줄에 따라 실행하도록 선택할 수 있습니다. 자세한 정보는 배치 작업 작성을 참조하십시오.
- Python 함수 또는 Python 스크립트를 사용하여 자연어 처리 모델을 배포할 수 있습니다. 온라인 배포와 일괄 배포가 모두 지원됩니다.
- 노트북 및 플로우는 노트북 환경을 사용합니다. 배치 영역에서 실행할 수 있지만 배치할 수 없습니다.
자세한 정보는 다음을 참조하십시오.
자산을 배치한 후에는 자산이 제대로 수행되고 정확성을 모니터하도록 자산을 관리하고 업데이트할 수 있습니다. 배치를 관리하거나 업데이트하는 몇 가지 방법은 다음과 같습니다.
안정된 엔드포인트를 제공하도록 API 게이트웨이 구성
watsonx.ai 런타임은 안정적인 엔드포인트를 제공하여 다운타임을 방지합니다. 그러나 새 Cloud Pak for Data 인스턴스로 이동하거나 인스턴스를 추가하면 중단 시간이 발생할 수 있습니다.
API 게이트웨이는 Watson Machine Learning API 엔드포인트와 함께 사용할 수 있는 안정적인 URL을 제공합니다. 배치 엔드포인트와 함께 API 게이트웨이 ( Cloud Pak for Integration에서 사용 가능) 를 사용하여 다음과 같은 경우에 발생하는 중단 시간을 처리할 수 있습니다.
- 고가용성 구성에 둘 이상의 Cloud Pak for Data 인스턴스가 있고 사용 가능한 인스턴스 중 하나가 실패하는 경우. 이 경우, API 게이트웨이를 사용하여 자동으로 다른 인스턴스로 전환함으로써 완전한 실패를 방지할 수 있습니다.
- 동일한 엔드포인트를 사용하는 둘 이상의 애플리케이션이 있고 배치 엔드포인트를 사용할 수 없는 경우. 예를 들어, 실수로 배치를 삭제한 경우입니다. 이 경우 API 게이트웨이에서 엔드포인트를 업데이트하여 애플리케이션이 계속 사용하도록 할 수 있습니다.
배포 런타임에 GPU 및 MIG 지원 활성화하기
추론에 상당한 처리 능력이 필요한 예측 머신 러닝 모델을 배포하는 경우, 배포 런타임을 위해 선택적으로 GPU를 구성할 수 있습니다.
또한 에니트레 GPU의 전체 성능을 필요로 하지 않는 애플리케이션을 배포하려는 경우 GPU에 대한 MIG 지원을 활성화할 수도 있습니다. GPU 가속 워크로드에 대해 MIG를 구성하는 경우, 모든 GPU 지원 노드는 이전 구성 단계에서 결정된 단일 전략을 준수해야 합니다. 이렇게 하면 클러스터의 모든 GPU 지원 노드에서 일관된 동작이 보장됩니다. MIG 지원을 구성하려면 MIG 지원 구성을 위한 Nvidia 가이드를 참조하십시오.
자세히 알아보기
상위 주제: 자산 배치