온디맨드 기반 모델 배포(빠른 경로)

시작하기 전에

1. 온디맨드 기반 모델을 배포하려면 작업 자격 증명을 설정하거나 활성화해야 합니다. 자세한 내용은 작업 자격 증명 관리하기를 참조하세요.
2. 온디맨드 방식으로 파운데이션 모델을 배포하기 위한 지원되는 파운데이션 모델 아키텍처, 배포 유형, 기타 고려 사항에 대해 검토합니다. 자세한 내용은 온디맨드 기반 모델 배포를 참조하세요.

이 비디오를 보고 주문형 기초 모델을 배포하는 방법을 알아보세요.

주문형 기초 모델 배포

리소스 허브에서 필요에 따라 기초 모델을 배포하려면 다음 단계를 완료하십시오

1. 탐색 메뉴 ' '에서 리소스 허브를 엽니다.

   팁:

   주문형 배포 파일러를 선택하여 주문형으로 배포할 수 있는 모델 목록을 표시합니다.

2. 시간 단위로 지불 섹션에서 온디맨드 방식으로 배포할 모델을 찾습니다.

   

3. 모델 세부 정보 페이지에서 배포를 클릭합니다.

   

4. 기초 모델 타일에서 배포를 클릭 한 다음, 기초 모델을 배포할 배포 공간을 선택합니다.

   

   중요:

   배포 공간에는 기초 모델의 인스턴스를 필요에 따라 하나만 배치할 수 있습니다. 선택한 모델이 이미 배포된 경우 사용자는 세부 정보 섹션에서 기존 배포 링크를 사용할 수 있습니다. 자세한 내용은 실행 시간 문제 해결( watsonx.ai ) 을 참조하십시오.

5. 작성을 클릭하십시오.

모델이 배포된 후에는, Prompt Lab 또는 watsonx.ai API를 통해 기초 모델을 요청할 수 있습니다.

배치 테스트

다음 단계에 따라 주문형으로 배포된 기초 모델을 테스트해 보세요

1. 배포 공간에서 배포 탭을 열고 배포 이름을 클릭합니다.

2. 테스트 탭을 클릭하여 프롬프트 텍스트를 입력하고 배포된 에셋에서 응답을 받습니다.

3. 배포한 에셋 유형에 따라 다음 형식 중 하나로 테스트 데이터를 입력합니다:
   

   a. 텍스트: 텍스트 입력 데이터를 입력하여 텍스트 블록을 출력으로 생성합니다.
   b. 스트림: 텍스트 입력 데이터를 입력하여 텍스트 스트림을 출력으로 생성합니다.
   c. JSON: JSON 형식의 출력을 생성하려면 JSON 입력 데이터를 입력합니다.
   

   

4. 생성을 클릭하여 프롬프트에 기반한 결과를 얻습니다.

배포 관리하기

리소스 허브에서 필요할 때 배포되는 재단 모델을 액세스, 업데이트, 확장 또는 삭제할 수 있습니다.

자세히 알아보기

• 지원되는 파운데이션 모델
• Prompt Lab
• REST API를 사용하여 온디맨드 기반 모델 배포하기
• 온디맨드 배포 모델의 시간당 청구 요금

상위 주제: 온디맨드 기반 모델 배포