기초 모델 배포 방법 watsonx.ai
IBM watsonx.ai 에서 추론할 수 있는 타사 및 IBM 재단 모델의 컬렉션에서 선택할 수 있습니다. 생성적 AI 응용 프로그램의 요구 사항과 예산에 가장 적합한 기초 모델을 찾아보세요.
watsonx.ai 에서 다양한 방법으로 기초 모델을 호스팅할 수 있습니다.
자체 데이터 센터에 기초 모델을 배치하려면, watsonx.ai 소프트웨어를 구입할 수 있습니다. 자세한 정보는 IBM watsonx.ai 및 IBM watsonx.governance 소프트웨어 개요를 참조하십시오.
watsonx.ai 에서 기초 모델이 호스팅되는 방식에 따라 다음과 같이 분류됩니다
배포 방법 비교
사용 사례에 가장 적합한 배포 방법을 선택하는 데 도움이 되도록 비교표를 검토하십시오.
| 배치 유형 | 사용 가능 | 배포 메커니즘 | 호스팅 환경 | 청구 방법 | 폐기 정책 |
|---|---|---|---|---|---|
| 제공된 기초 모델 watsonx.ai | • 리소스 허브>토큰당 지불 • Prompt Lab |
에 의해 선별되고 배포됨 IBM | 다중 임차인 하드웨어 | 사용된 토큰 수 | 공개된 라이프사이클에 따라 사용 중단됨. 기초 모델 라이프사이클을 참조하세요. |
| 수요에 따른 기초 모델 배치 | • 리소스 허브>시간당 지불 • Prompt Lab |
IBM 의 요청에 따라 선별 및 배포 | 전용 하드웨어 | 시간 단위로 배치됨 | 배포된 모델은 더 이상 사용되지 않습니다 |
| 사용자 정의 파운데이션 모델 | • Prompt Lab | 여러분이 선별하고 배포합니다 | 전용 하드웨어 | 시간 단위로 배치됨 | 사용 중단되지 않음 |
| 프롬프트에 맞춰 조정된 기초 모델 | • Prompt Lab | 조정 및 배포 | 다중 임차인 하드웨어 | • 교육은 CUH 로 청구됩니다. • 추론은 사용한 토큰으로 청구됩니다 |
기본 모델이 더 이상 사용되지 않는 경우, 기본 모델을 사용자 정의 기초 모델로 추가하지 않는 한 더 이상 사용되지 않습니다 |
모델 가격 책정 및 모니터링 방법에 대한 자세한 내용은 생성적 AI 자산의 청구 세부 정보를 참조하십시오.
즉시 사용 가능한 기초 모델 제공
제3자 및 IBM 재단 모델의 모음은 IBM 에 의해 IBM watsonx.ai 의 멀티 테넌트 하드웨어에 배포됩니다. Prompt Lab 에서 또는 프로그래밍 방식으로 이러한 기초 모델을 프롬프트할 수 있습니다. 사용한 토큰의 수에 따라 요금을 지불합니다.
제공된 기초 모델을 추론하려면 다음 단계를 완료하십시오
- 메인 메뉴에서 리소스 허브를 선택합니다.
- 토큰당 지불 섹션 에서 모두 보기를 클릭합니다.
- 기초 모델 타일을 클릭한 다음, Prompt Lab 에서 열기를 클릭합니다.
수요에 따른 기초 모델 배치
필요에 따라 배포하는 모델은 IBM 가 큐레이팅한 기초 모델의 인스턴스로서, 배포하고 조직의 독점적인 사용을 위해 전담하는 모델입니다. 배포에 대한 접근 권한이 있는 동료들만 기초 모델을 추론할 수 있습니다. 전용 배포는 속도 제한 없이 더 빠르고 반응성이 뛰어난 상호 작용을 의미합니다.
배포형 온디맨드 기반 모델로 작업하려면 다음 단계를 완료하십시오
- 메인 메뉴에서 리소스 허브를 선택합니다.
- 시간당 지불 섹션에서 모두 보기를 클릭합니다.
- 기초 모델 타일을 클릭한 다음, 배포를 클릭합니다.
자세한 내용은 주문형 기초 모델 배포를 참고하세요.
사용자 정의 파운데이션 모델
IBM 가 큐레이팅한 기초 모델로 작업하는 것 외에도, 여러분만의 기초 모델을 업로드하고 배포할 수 있습니다. 사용자 지정 모델이 배포되고 watsonx.ai 에 등록된 후에는 Prompt Lab 또는 watsonx.ai API에서 사용자 지정 모델을 추론하는 프롬프트를 만들 수 있습니다.
배포하는 커스텀 파운데이션 모델의 인스턴스는 사용자의 사용을 위해 전용으로 사용됩니다. 전용 배포는 더 빠르고 반응성이 뛰어난 상호 작용을 의미합니다. 재단 모델의 호스팅 비용은 시간당 지불합니다.
사용자 지정 기반 모델을 업로드, 등록, 배포하는 방법에 대한 자세한 내용은 사용자 지정 기반 모델 배포를 참조하세요.
프롬프트에 맞춰 조정된 기초 모델
제공된 기초 모델의 하위 집합은 watsonx.ai API 또는 Tuning Studio 에서 모델을 신속하게 조정하여 필요에 맞게 사용자 지정할 수 있습니다. 프롬프트 조정된 기초 모델은 기본적으로 배포된 기초 모델에 의존합니다. 기본 모델은 폐기될 수 있습니다. 모델을 조정하는 데 소비한 자원에 대해 비용을 지불합니다. 모델이 조정된 후에는 모델을 추론하는 데 사용된 토큰으로 지불합니다.
다음 기초 모델은 프롬프트에서 튜닝하여 사용자 정의할 수 있습니다 watsonx.ai:
자세한 내용은 Tuning Studio.
자세히 알아보기
watsonx.ai 에서 작업할 수 있는 모델의 전체 목록은 지원되는 기초 모델을 참조하십시오.
상위 주제: 인공지능 솔루션