오픈 소스 및 IBM 파운데이션 모델 모음은 IBM watsonx.ai 추론에 사용할 수 있습니다. 생성 AI 애플리케이션의 요구 사항과 예산에 가장 적합한 파운데이션 모델을 찾아보세요.
watsonx.ai 추론에 사용할 수 있는 기초 모델은 다양한 방식으로 호스팅됩니다:
- watsonx.ai 함께 제공되는 기초 모델
- ' IBM '에 의해 멀티테넌트 하드웨어에 배포되고 추론에 사용할 수 있는 IBM-큐레이션된 파운데이션 모델입니다. 사용한 토큰으로 결제합니다. watsonx.ai 함께 제공되는 파운데이션 모델을 참조하세요.
- 온디맨드 기반 모델 배포
- 사용자가 배포하고 추론 전용으로 사용하는 IBM foundation model 인스턴스입니다. 배포에 대한 액세스 권한이 부여된 동료만 foundation model 추론할 수 있습니다. 전용 배포는 속도 제한 없이 더 빠르고 반응이 빠른 상호 작용을 의미합니다. foundation model 호스팅 비용은 시간 단위로 지불합니다. 온디맨드 기반 모델 배포를 참조하세요.
- 사용자 정의 파운데이션 모델
- 사용자가 선별한 파운데이션 모델을 가져와서 watsonx.ai 배포합니다. 배포하는 사용자 지정 foundation model 인스턴스는 전용으로 사용됩니다. 전용 배포는 더 빠르고 반응이 빠른 상호작용을 의미합니다. foundation model 호스팅 비용은 시간 단위로 지불합니다. 사용자 지정 파운데이션 모델을 참조하세요.
- 즉석에서 조정되는 파운데이션 모델
- API 또는 Tuning Studio 모델을 즉시 튜닝하여 필요에 맞게 사용자 지정할 수 있는 사용 가능한 파운데이션 모델의 하위 집합입니다. 즉시 조정된 foundation model 기본 IBM foundation model 의존합니다. 모델을 조정하는 데 사용하는 리소스에 대한 비용을 지불합니다. 모델을 조정한 후에는 모델을 추론하는 데 사용된 토큰으로 비용을 지불합니다. 프롬프트 조정된 파운데이션 모델을 참조하세요.
자체 데이터 센터에 파운데이션 모델을 배포하려는 경우 watsonx.ai 소프트웨어를 구매할 수 있습니다. 자세한 내용은 IBM watsonx as a Service 및 IBM watsonx.governance 소프트웨어 개요 을 참조하세요.
배포 방법 비교
올바른 배포 방법을 선택하는 데 도움이 되는 비교표를 검토하세요.
| 배치 유형 | 다음에서 사용 가능 | 배포 메커니즘 | 호스팅 환경 | 청구 방법 | 사용 중단 정책 |
|---|---|---|---|---|---|
| watsonx.ai 함께 제공되는 기초 모델 | - 리소스 허브>토큰당 결제 - Prompt Lab |
IBM 선별 및 배포 | 멀티테넌트 하드웨어 | 사용된 토큰별 | 게시된 수명 주기에 따라 사용 중단 |
| 온디맨드 기반 모델 배포 | - 리소스 허브>시간 단위로 결제 - Prompt Lab |
고객의 요청에 따라 IBM 선별하여 배포합니다 | 전용 하드웨어 | 배포된 시간별 | 배포된 모델은 더 이상 사용되지 않습니다 |
| 사용자 정의 파운데이션 모델 | • Prompt Lab | 사용자가 직접 큐레이션 및 배포 | 전용 하드웨어 | 배포된 시간별 | 더 이상 사용되지 않음 |
| 즉시 조정되는 파운데이션 모델 | • Prompt Lab | 사용자가 직접 조정 및 배포 | 멀티테넌트 하드웨어 | - 교육은 CUH 로 청구 - 추론은 사용된 토큰으로 청구됩니다 |
기초 모델을 사용자 지정 foundation model 추가하지 않는 한 기초 모델이 더 이상 사용되지 않는 경우 사용되지 않습니다 |
모델 가격이 계산되고 모니터링되는 방법에 대한 자세한 내용은 생성형 AI 자산에 대한 청구 세부 정보를 참조하세요.
배포 방법별 지원되는 파운데이션 모델
즉시 사용하거나 조직에서 사용할 수 있도록 전용 하드웨어에 배포할 수 있는 다양한 파운데이션 모델을 watsonx.ai 사용할 수 있습니다.
watsonx.ai 함께 제공되는 기초 모델
오픈 소스 및 IBM 기반 모델의 콜렉션은 IBM watsonx.ai에 배치됩니다. Prompt Lab 또는 프로그래밍 방식으로 이러한 기초 모델을 표시할 수 있습니다.
watsonx.ai 함께 제공되는 IBM 파운데이션 모델
다음 표에는 IBM 추론을 위해 제공하는 지원되는 IBM 파운데이션 모델이 나와 있습니다.
사용량은 리소스 단위(RU)로 측정되며, 각 단위는 foundation model 추론의 입력 및 출력 토큰 1,000개와 동일합니다. 모델 가격이 계산되고 모니터링되는 방법에 대한 자세한 내용은 생성형 AI 자산에 대한 청구 세부 정보를 참조하세요.
일부 IBM 파운데이션 모델은 Hugging Face 같은 타사 리포지토리에서도 사용할 수 있습니다. 타사 리포지토리에서 얻은 IBM 파운데이션 모델은 IBM 면책되지 않습니다. watsonx.ai 액세스하는 IBM 파운데이션 모델에 대해서만 IBM 면책합니다. IBM 면책과 관련된 계약상 보호에 대한 자세한 내용은 IBM 고객 관계 계약 및 IBM watsonx.ai 서비스 설명을 참조하세요.
| 모델 이름 | 입력 USD/1,000 ) |
산출 USD/1,000 ) |
컨텍스트 창 (입력 + 출력 토큰) |
기타 정보 |
|---|---|---|---|---|
| granite-13b-chat-v2 | $0.0006 | $0.0006 | 8,192 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
| granite-13b-instruct-v2 | $0.0006 | $0.0006 | 8,192 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 ' 참고: 이 foundation model 즉시 조정할 수 있습니다.
|
| granite-7b-lab | $0.0006 | $0.0006 | 8,192 | - 모델 카드 ' - 연구 논문(LAB) |
| granite-8b-japanese | $0.0006 | $0.0006 | 4,096 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
| granite-20b-multilingual | $0.0006 | $0.0006 | 8,192 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
| granite-3-2b-instruct | $0.0001 | $0.0001 | 131,072 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
| granite-3-8b-instruct | $0.0002 | $0.0002 | 131,072 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
| granite-guardian-3-2b | $0.0001 | $0.0001 | 8,192 | - 모델 카드 ' - 웹사이트 |
| granite-guardian-3-8b | $0.0002 | $0.0002 | 8,192 | - 모델 카드 ' - 웹사이트 |
| granite-3b-code-instruct | $0.0006 | $0.0006 | 128,000 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
| granite-8b-code-instruct | $0.0006 | $0.0006 | 128,000 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
| granite-20b-code-instruct | $0.0006 | $0.0006 | 8,192 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
| granite-34b-code-instruct | $0.0006 | $0.0006 | 8,192 | - 모델 카드 ' - 웹사이트 ' - 연구 논문 |
와 함께 제공되는 타사 파운데이션 모델( watsonx.ai )
다음 표에는 watsonx.ai 함께 제공되는 지원되는 타사 파운데이션 모델이 나와 있습니다.
사용량은 리소스 단위(RU)로 측정되며, 각 단위는 foundation model 추론의 입력 및 출력 토큰 1,000개와 동일합니다. 모델 가격이 계산되고 모니터링되는 방법에 대한 자세한 내용은 생성형 AI 자산에 대한 청구 세부 정보를 참조하세요.
| 모델 이름 | 제공자 | 입력 USD/1,000 ) |
산출 USD/1,000 ) |
컨텍스트 창 (입력 + 출력 토큰) |
기타 정보 |
|---|---|---|---|---|---|
| allam-1-13b-instruct | 국립 인공 지능 센터 (national center for 인공 지능) 와 사우디 아라비아의 데이터 및 인공 지능 기관 (authority for Data and 인공 지능 | $0.0018 | $0.0018 | 4,096 | - 모델 카드 |
| codellama-34b-instruct | Code Llama | $0.0018 | $0.0018 | 16 ,384 | - 모델 카드 ' - ' Meta AI 블로그 |
| elyza-japanese-llama-2-7b-instruct | ELYZA, 인크. | $0.0018 | $0.0018 | 4,096 | - 모델 카드 ' - note.com 블로그 |
| flan-t5-xl-3b | $0.0006 | $0.0006 | 4,096 | - 모델 카드 ' - 연구 논문 ' 참고: 이 foundation model 즉시 조정할 수 있습니다.
|
|
| flan-t5-xxl-11b | $0.0018 | $0.0018 | 4,096 | - 모델 카드 ' - 연구 논문 |
|
| flan-ul2-20b | $0.0050 | $0.0050 | 4,096 | - 모델 카드 ' - UL2 연구 논문 ' - 플랜 연구 논문 |
|
| jais-13b-chat | 도입/인식 (Inception), Mohamed bin Zayed University of AI (MBZUAI) 및 Cerebras Systems | $0.0018 | $0.0018 | 2,048 | - 모델 카드 ' - 연구 논문 |
| llama-3-3-70b-instruct | Meta | $0.0018 | $0.0018 | 131,072 | - 모델 카드 ' - ' Meta AI 블로그 |
| llama-3-2-1b-instruct | Meta | $0.0001 | $0.0001 | 131,072 | - 모델 카드 ' - ' Meta AI 블로그 ' - 연구 논문 |
| llama-3-2-3b-instruct | Meta | $0.00015 | $0.00015 | 131,072 | - 모델 카드 ' - ' Meta AI 블로그 ' - 연구 논문 |
| llama-3-2-11b-vision-instruct | Meta | $0.00035 | $0.00035 | 131,072 | - 모델 카드 ' - ' Meta AI 블로그 ' - 연구 논문 |
| llama-3-2-90b-vision-instruct | Meta | $0.0020 | $0.0020 | 131,072 | - 모델 카드 ' - ' Meta AI 블로그 ' - 연구 논문 |
| llama-guard-3-11b-vision | Meta | $0.00035 | $0.00035 | 131,072 | - 모델 카드 ' - ' Meta AI 블로그 ' - 연구 논문 |
| llama-3-1-8b-instruct | Meta | $0.0006 | $0.0006 | 131,072 | - 모델 카드 ' - ' Meta AI 블로그 |
| llama-3-1-70b-instruct | Meta | $0.0018 | $0.0018 | 131,072 | - 모델 카드 ' - ' Meta AI 블로그 |
| llama-3-405b-instruct | Meta | $0.0050 | $0.016 | 16 ,384 | - 모델 카드 ' - ' Meta AI 블로그 |
| llama-3-8b-instruct | Meta | $0.0006 | $0.0006 | 8,192 | - 모델 카드 ' - ' Meta AI 블로그 |
| llama-3-70b-instruct | Meta | $0.0018 | $0.0018 | 8,192 | - 모델 카드 ' - ' Meta AI 블로그 |
| llama-2-13b-chat | Meta | $0.0006 | $0.0006 | 4,096 | - 모델 카드 ' - 연구 논문 |
| mistral-large | Mistral AI | $0.003 | $0.01 | 32,768 | - 모델 카드 ' - Mistral Large 2 블로그 게시물 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $0.0006 | $0.0006 | 32,768 | - 모델 카드 ' - 연구 논문 |
| mt0-xxl-13b | BigScience | $0.0018 | $0.0018 | 4,096 | - 모델 카드 ' - 연구 논문 |
| pixtral-12b | Mistral AI | $0.00035 | $0.00035 | 128,000 | - 모델 카드 ' - Pixtral 12B 블로그 게시물 |
- IBM 텍스트 임베딩 및 순위 변경을 위해 제공하는 지원되는 기초 모델에 대한 자세한 내용은 지원되는 인코더 기초 모델을 참조하세요.
- 각 지역 데이터 센터에서 제공되는 모델 목록은 지역별 foundation model 가용성을 참조하세요.
- 가격 및 속도 제한에 대한 자세한 내용은 watsonx.ai 런타임 요금제를 참조하세요.
사용자 정의 파운데이션 모델
IBM에 의해 큐레이션된 파운데이션 모델로 작업하는 것 외에도 자체 파운데이션 모델을 업로드하고 배포할 수 있습니다. 사용자 지정 모델을 배포하고 watsonx.ai 등록한 후에는 Prompt Lab watsonx.ai API에서 사용자 지정 모델을 추론하는 프롬프트를 만들 수 있습니다.
사용자 지정 foundation model 업로드, 등록 및 배포하는 방법에 대해 자세히 알아보려면 사용자 지정 foundation model 배포하기를 참조하세요.
온디맨드 기반 모델 배포
IBM 모델 세트 중에서 foundation model 선택하여 조직 전용으로 배포할 수 있습니다.
필요에 따라 foundation model 배포하는 방법에 대한 자세한 내용은 필요에 따라 파운데이션 모델 배포하기를 참조하세요.
IBM 온디맨드 기반 모델 배포
다음 표에는 온디맨드 배포에 사용할 수 있는 IBM 파운데이션 모델이 나와 있습니다.
일부 IBM 파운데이션 모델은 Hugging Face 같은 타사 리포지토리에서도 사용할 수 있습니다. 타사 리포지토리에서 얻은 IBM 파운데이션 모델은 IBM 면책되지 않습니다. watsonx.ai 액세스하는 IBM 파운데이션 모델에 대해서만 IBM 면책합니다. IBM 면책과 관련된 계약상 보호에 대한 자세한 내용은 IBM 고객 관계 계약 및 IBM watsonx.ai 서비스 설명을 참조하세요.
| 모델 이름 | 시간당 가격(USD) | 모델 호스팅 카테고리 | 컨텍스트 창 (입력 + 출력 토큰) |
|---|---|---|---|
| granite-13b-chat-v2 | $5.22 | 소형 | 8,192 |
| granite-13b-instruct-v2 | $5.22 | 소형 | 8,192 |
| granite-20b-code-base-schema-linking | $5.22 | 소형 | 8,192 |
| granite-20b-code-base-sql-gen | $5.22 | 소형 | 8,192 |
| granite-3-8b-base | $5.22 | 소형 | 4,096 |
써드파티의 온디맨드 기반 모델 배포
다음 표에는 온디맨드 배포에 사용할 수 있는 타사 파운데이션 모델이 나열되어 있습니다.
| 모델 이름 | 제공자 | 시간당 가격(USD) | 모델 호스팅 카테고리 | 컨텍스트 창 (입력 + 출력 토큰) |
|---|---|---|---|---|
| flan-t5-xl-3b | $5.22 | 소형 | 4,096 | |
| flan-t5-xxl-11b | $5.22 | 소형 | 4,096 | |
| flan-ul2-20b | $5.22 | 소형 | 4,096 | |
| llama-2-13b-chat | Meta | $5.22 | 소형 | 4,096 |
| llama-2-70b-chat | Meta | $20.85 | 대형 | 4,096 |
| llama-3-8b-instruct | Meta | $5.22 | 소형 | 8,192 |
| llama-3-70b-instruct | Meta | $20.85 | 대형 | 8,192 |
| llama-3-1-8b | Meta | $5.22 | 소형 | 131,072 |
| llama-3-1-8b-instruct | Meta | $5.22 | 소형 | 131,072 |
| llama-3-3-70b-instruct | Meta | $10.40 | 중간 | 8,192 |
| llama-3-3-70b-instruct-hf | Meta | $20.85 | 대형 | 8,192 |
| mixtral-8x7b-base | Mistral AI | $10.40 | 중간 | 32,768 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $10.40 | 중간 | 32,768 |
| mistral-nemo-instruct-2407 | Mistral AI | $5.22 | 소형 | 131,072 |
| mt0-xxl-13b | BigScience | $5.22 | 소형 | 4,096 |
즉시 조정되는 파운데이션 모델
watsonx.ai: 프롬프트 튜닝을 통해 다음 기초 모델을 사용자 지정할 수 있습니다:
자세한 내용은 Tuning Studio 참조하세요.
자세히 알아보기
상위 주제: 생성 AI 솔루션 개발