예측 배치 관리

배치 가능한 자산

Copy link to section

다음은 해당 배포 유형에 대한 정보와 함께 watsonx.ai 런타임 공간에서 배포할 수 있는 에셋 목록입니다:

참고:

• 배포 작업은 일괄 배포를 실행하는 방법 또는 watsonx.ai 런타임의 흐름과 같은 독립적인 자산을 실행하는 방법입니다. 작업에 대한 입력 및 출력을 선택하고 수동으로 또는 스케줄에 따라 실행하도록 선택할 수 있습니다. 자세한 정보는 배치 작업 작성을 참조하십시오.
• Python 함수 또는 Python 스크립트를 사용하여 자연어 처리 모델을 배포할 수 있습니다. 온라인 배포와 일괄 배포가 모두 지원됩니다.
• 노트북 및 플로우는 노트북 환경을 사용합니다. 배치 영역에서 실행할 수 있지만 배치할 수 없습니다.

자세한 정보는 다음을 참조하십시오.

• 온라인 배치 작성
• 일괄처리 배치 작성
• Python 함수 배치
• NLP 모델 배포
• 스크립트 배치

자산을 배치한 후에는 자산이 제대로 수행되고 정확성을 모니터하도록 자산을 관리하고 업데이트할 수 있습니다. 배치를 관리하거나 업데이트하는 몇 가지 방법은 다음과 같습니다.

• 배치 작업 관리. 하나 이상의 작업을 작성한 후에는 배치 공간의 작업 탭에서 작업을 보고 관리할 수 있습니다.

• 배치 업데이트. 예를 들어, 새 배치를 작성할 필요 없이 더 나은 성능의 버전으로 모델을 대체할 수 있습니다.

• 배치 규모 확장 : 배치의 복제본을 작성하여 가용성 및 처리량을 증가시킬 수 있습니다.

• 배치 삭제 : 배치를 제거하고 자원을 해제합니다.

안정된 엔드포인트를 제공하도록 API 게이트웨이 구성

Copy link to section

watsonx.ai 런타임은 안정적인 엔드포인트를 제공하여 다운타임을 방지합니다. 그러나 새 Cloud Pak for Data 인스턴스로 이동하거나 인스턴스를 추가하면 중단 시간이 발생할 수 있습니다.

API 게이트웨이는 Watson Machine Learning API 엔드포인트와 함께 사용할 수 있는 안정적인 URL을 제공합니다. 배치 엔드포인트와 함께 API 게이트웨이 ( Cloud Pak for Integration에서 사용 가능) 를 사용하여 다음과 같은 경우에 발생하는 중단 시간을 처리할 수 있습니다.

• 고가용성 구성에 둘 이상의 Cloud Pak for Data 인스턴스가 있고 사용 가능한 인스턴스 중 하나가 실패하는 경우. 이 경우, API 게이트웨이를 사용하여 자동으로 다른 인스턴스로 전환함으로써 완전한 실패를 방지할 수 있습니다.
• 동일한 엔드포인트를 사용하는 둘 이상의 애플리케이션이 있고 배치 엔드포인트를 사용할 수 없는 경우. 예를 들어, 실수로 배치를 삭제한 경우입니다. 이 경우 API 게이트웨이에서 엔드포인트를 업데이트하여 애플리케이션이 계속 사용하도록 할 수 있습니다.

배포 런타임에 GPU 및 MIG 지원 활성화하기

Copy link to section

추론에 상당한 처리 능력이 필요한 예측 머신 러닝 모델을 배포하는 경우, 배포 런타임을 위해 선택적으로 GPU를 구성할 수 있습니다.

또한 에니트레 GPU의 전체 성능을 필요로 하지 않는 애플리케이션을 배포하려는 경우 GPU에 대한 MIG 지원을 활성화할 수도 있습니다. GPU 가속 워크로드에 대해 MIG를 구성하는 경우, 모든 GPU 지원 노드는 이전 구성 단계에서 결정된 단일 전략을 준수해야 합니다. 이렇게 하면 클러스터의 모든 GPU 지원 노드에서 일관된 동작이 보장됩니다. MIG 지원을 구성하려면 MIG 지원 구성을 위한 Nvidia 가이드를 참조하십시오.

자세히 알아보기

Copy link to section

• 배치 영역에 추가할 수 있는 자산 유형의 전체 목록

상위 주제: 자산 배치