foundation model 상호 작용하는 코드를 작성할 때는 모델 ID로 foundation model 참조해야 합니다.
다음 작업을 수행할 때 모델 ID로 foundation model 참조할 수 있습니다:
- IBM 배포한 foundation model 추론합니다. API에서 추론하려면 재단 모델 ID를 참조하세요.
- 온디맨드 foundation model 배포합니다. API에서 배포하려면 재단 모델 ID를 참조하세요.
API에서 추론하기 위한 파운데이션 모델 ID
사용 가능한 기초 모델 REST 메서드를 사용하여 foundation model 에 대한 {model_id}
을 가져온 다음 코드에서 모델 ID를 문자열로 지정합니다.
Python 라이브러리를 사용하여 모델 ID를 얻는 방법에 대한 자세한 내용은 프로그램으로 사용 가능한 기초 모델에 대한 정보 얻기 문서를 참조하세요.
추론을 위한 모델 ID
다음 목록은 API에서 IBM 배포한 foundation model 추론할 때 {model_id}
매개변수에 사용할 값을 보여줍니다.
온디맨드 기반 모델 배포를 위한 모델 ID는 API에서 배포하기 위한 기반 모델 ID를 참조하세요. API를 사용하여 온디맨드 foundation model 추론하려면 모델 ID가 아닌 모델의 배포 ID를 지정해야 합니다.
all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2
all-minilm-l12-v2
sentence-transformers/all-minilm-l12-v2
allam-1-13b-instruct
sdaia/allam-1-13b-instruct
codellama-34b-instruct-hf
codellama/codellama-34b-instruct-hf
elyza-japanese-llama-2-7b-instruct
elyza/elyza-japanese-llama-2-7b-instruct
flan-t5-xxl-11b
google/flan-t5-xxl
flan-ul2-20b
google/flan-ul2
granite-7b-lab
ibm/granite-7b-lab
granite-8b-japanese
ibm/granite-8b-japanese
granite-13b-chat-v2
ibm/granite-13b-chat-v2
granite-13b-instruct-v2
ibm/granite-13b-instruct-v2
granite-20b-multilingual
ibm/granite-20b-multilingual
granite-3-2b-instruct
ibm/granite-3-2b-instruct
granite-3-8b-instruct
ibm/granite-3-8b-instruct
granite-guardian-3-2b
ibm/granite-guardian-3-2b
granite-guardian-3-8b
ibm/granite-guardian-3-8b
granite-3b-code-instruct
ibm/granite-3b-code-instruct
granite-8b-code-instruct
ibm/granite-8b-code-instruct
granite-20b-code-instruct
ibm/granite-20b-code-instruct
granite-34b-code-instruct
ibm/granite-34b-code-instruct
jais-13b-chat
core42/jais-13b-chat
llama-3-3-70b-instruct
meta-llama/llama-3-3-70b-instruct
llama-3-2-1b-instruct
meta-llama/llama-3-2-1b-instruct
llama-3-2-3b-instruct
meta-llama/llama-3-2-3b-instruct
llama-3-2-11b-vision-instruct
meta-llama/llama-3-2-11b-vision-instruct
llama-3-2-90b-vision-instruct
meta-llama/llama-3-2-90b-vision-instruct
llama-guard-3-11b-instruct
meta-llama/llama-guard-3-11b-vision
llama-3-1-8b-instruct
meta-llama/llama-3-1-8b-instruct
llama-3-1-70b-instruct
meta-llama/llama-3-1-70b-instruct
llama-3-405b-instruct
meta-llama/llama-3-405b-instruct
llama-3-8b-instruct
meta-llama/llama-3-8b-instruct
llama-3-70b-instruct
meta-llama/llama-3-70b-instruct
llama-2-13b-chat
meta-llama/llama-2-13b-chat
llama-2-70b-chat
meta-llama/llama-2-70b-chat
llama2-13b-dpo-v7
mnci/llama2-13b-dpo-v7
mistral-large
mistralai/mistral-large
mixtral-8x7b-instruct-v01
mistralai/mixtral-8x7b-instruct-v01
ms-marco-minilm-l-12-v2
cross-encoder/ms-marco-minilm-l-12-v2
mt0-xxl-13b
bigscience/mt0-xxl
multilingual-e5-large
intfloat/multilingual-e5-large
pixtral-12b
mistralai/pixtral-12b
slate-30m-english-rtrvr
ibm/slate-30m-english-rtrvr
slate-30m-english-rtrvr-v2
ibm/slate-30m-english-rtrvr-v2
slate-125m-english-rtrvr
ibm/slate-30m-english-rtrvr
slate-125m-english-rtrvr-v2
ibm/slate-30m-english-rtrvr-v2
API에서 배포하기 위한 파운데이션 모델 ID
프로그래밍 방식으로 필요에 따라 배포할 수 있는 기초 모델 목록을 가져오려면 사용 가능한 기초 모델 나열 메서드 REST API 요청을 제출할 때 filters=curated
매개 변수를 지정하세요.
예를 들어,
curl -X GET \
'https://{region}.ml.cloud.ibm.com/ml/v1/foundation_model_specs?version=2024-12-10&filters=curated'
watsonx.ai REST API에서 배포 생성 메서드를 사용하여 foundation model 배포한 다음 배포 > 텍스트 추론 메서드를 사용하여 배포된 foundation model 추론할 수 있습니다.
자세한 내용은 REST API를 사용하여 온디맨드로 배포된 기초 모델 배포 및 관리하기를 참조하세요.
배포를 위한 모델 ID
다음 목록은 API에서 배포 온디맨드 foundation model 배포할 때 {model_id}
매개변수에 사용할 값을 보여줍니다.
granite-3-8b-base
ibm/granite-3-8b-base-curated
granite-13b-chat-v2
ibm/granite-13b-chat-v2-curated
granite-13b-instruct-v2
ibm/granite-13b-instruct-v2-curated
granite-20b-code-base-schema-linking
ibm/granite-20b-code-base-schema-linking-curated
granite-20b-code-base-sql-gen
ibm/granite-20b-code-base-sql-gen-curated
flan-t5-xl-3b
google/flan-t5-xl-curated
flan-t5-xxl-11b
google/flan-t5-xxl-curated
flan-ul2-20b
google/flan-ul2-curated
llama-2-13b-chat
meta-llama/llama-2-13b-chat-curated
llama-2-70b-chat
meta-llama/llama-2-70b-chat-curated
llama-3-8b-instruct
meta-llama/llama-3-8b-instruct-curated
llama-3-70b-instruct
meta-llama/llama-3-70b-instruct-curated
llama-3-1-8b
meta-llama/llama-3-1-8b-curated
llama-3-1-8b-instruct
meta-llama/llama-3-1-8b-instruct-curated
llama-3-3-70b-instruct
meta-llama/llama-3-3-70b-instruct-curated
llama-3-3-70b-instruct-hf
meta-llama/llama-3-3-70b-instruct-hf-curated
mixtral-8x7b-base
mistralai/mixtral-8x7b-base-curated
mixtral-8x7b-instruct-v01
mistralai/mixtral-8x7b-instruct-v01-curated
mistral-nemo-instruct-2407
mistralai/mistral-nemo-instruct-2407-curated
mt0-xxl-13b
bigscience/mt0-xxl-curated
상위 주제: 생성 AI 솔루션 코딩