시작하기 전에

1. 온디맨드 기반 모델을 배포하려면 작업 자격 증명을 설정하거나 활성화해야 합니다. 자세한 내용은 작업 자격 증명 관리하기를 참조하세요.
2. 지원되는 foundation model 아키텍처, 배포 유형 및 온디맨드 foundation model 배포할 때 고려해야 할 기타 사항을 검토하세요. 자세한 내용은 온디맨드 기반 모델 배포를 참조하세요.

이 동영상을 통해 온디맨드 방식으로 foundation model 배포하는 방법을 알아보세요.

온디맨드 foundation model 배포하기

리소스 허브에서 필요에 따라 foundation model 배포하려면 다음 단계를 완료하세요:

1. 탐색 메뉴 ' '에서 리소스 허브를 엽니다.

   팁:

   주문형 배포 파일러를 선택하여 주문형으로 배포할 수 있는 모델 목록을 표시합니다.

2. 시간 단위로 지불 섹션에서 온디맨드 방식으로 배포할 모델을 찾습니다.

   

3. 모델 세부 정보 페이지에서 배포를 클릭합니다.

   

4. foundation model 타일에서 배포를 클릭한 다음 foundation model 배포할 배포 공간을 선택합니다.

   

   중요:

   배포 공간에는 온디맨드 foundation model 인스턴스 하나만 배포할 수 있습니다. 선택한 모델이 이미 배포된 경우 사용자는 세부 정보 섹션에서 기존 배포 링크를 사용할 수 있습니다. 자세한 내용은 watsonx.ai 런타임 문제 해결을 참조하세요.

5. 작성을 클릭하십시오.

모델이 배포된 후 Prompt Lab 또는 watsonx.ai API에서 foundation model 프롬프트할 수 있습니다.

배치 테스트

온디맨드 방식으로 배포되는 foundation model 테스트하려면 다음 단계를 따르세요:

1. 배포 공간에서 배포 탭을 열고 배포 이름을 클릭합니다.

2. 테스트 탭을 클릭하여 프롬프트 텍스트를 입력하고 배포된 에셋에서 응답을 받습니다.

3. 배포한 에셋 유형에 따라 다음 형식 중 하나로 테스트 데이터를 입력합니다:
   

   a. 텍스트: 텍스트 입력 데이터를 입력하여 텍스트 블록을 출력으로 생성합니다.
   b. 스트림: 텍스트 입력 데이터를 입력하여 텍스트 스트림을 출력으로 생성합니다.
   c. JSON: JSON 형식의 출력을 생성하려면 JSON 입력 데이터를 입력합니다.
   

   

4. 생성을 클릭하여 프롬프트에 기반한 결과를 얻습니다.

배포 관리하기

리소스 허브에서 온디맨드 방식으로 배포된 foundation model 액세스, 업데이트, 확장 또는 삭제할 수 있습니다.

자세히 알아보기

• 지원되는 파운데이션 모델
• 프롬프트 랩
• REST API를 사용하여 온디맨드 기반 모델 배포하기
• 온디맨드 배포 모델의 시간당 청구 요금

상위 주제: 온디맨드 기반 모델 배포