foundation modelモデルと相互作用するコードを書くとき、そのfoundation modelモデルをモデルIDで参照する必要があります。
以下のような場合、 foundation modelをモデルIDで参照することができます:
- 推論 IBMが展開するfoundation model。 推論用のモデルIDが基盤モデルを提供 を参照してください。
- オンデマンドのfoundation modelを展開する。 オンデマンド基盤モデルに展開するためのモデルID を参照してください。
APIを使用してオンデマンドでデプロイを推論するには、 foundation model 、モデルIDではなくデプロイメント を指定します。
APIからの推論のためのファウンデーションモデルID
利用可能な基盤モデルを一覧表示するREST メソッドを使用してfoundation modelの{model_id}
を取得し、コード内でモデル ID を文字列として指定します。
model_id
は、推論リクエストで次のように指定されます
model = ModelInference(
model_id="google/flan-ul2",...
)
Python ライブラリを使用してモデル ID を取得する方法については、利用可能な基盤モデルに関する情報をプログラムで取得するを参照してください。
推論用のモデルIDが基盤モデルを提供
各 foundation model の model_id
を見つけるには、以下のリンクをクリックしてください
オンデマンド基盤モデルに展開するためのモデルID
オンデマンドでデプロイ可能な基盤モデルのリストをプログラムで取得するには、 List the available foundation models method REST API リクエストを送信する際に filters=curated
パラメータを指定します。
例:
curl -X GET \
'https://{region}.ml.cloud.ibm.com/ml/v1/foundation_model_specs?version=2024-12-10&filters=curated'
watsonx.ai REST API から、 Create a deployment メソッドを使用してfoundation modelをデプロイし、 Deployments > Infer text メソッドを使用してデプロイされたfoundation modelモデルを推論することができます。
詳細については、 REST APIを使用してオンデマンドでデプロイされた基盤モデルのデプロイと管理を参照してください。
デプロイ用モデルID
以下のリストは、APIからデプロイオンデマンドfoundation modelをデプロイする際に、 {model_id}
パラメーターで使用する値を示しています。
granite-3-8b-base
ibm/granite-3-8b-base-curated
granite-13b-chat-v2
ibm/granite-13b-chat-v2-curated
granite-13b-instruct-v2
ibm/granite-13b-instruct-v2-curated
granite-20b-code-base-schema-linking
ibm/granite-20b-code-base-schema-linking-curated
granite-20b-code-base-sql-gen
ibm/granite-20b-code-base-sql-gen-curated
flan-t5-xl-3b
google/flan-t5-xl-curated
flan-t5-xxl-11b
google/flan-t5-xxl-curated
flan-ul2-20b
google/flan-ul2-curated
llama-2-13b-chat
meta-llama/llama-2-13b-chat-curated
llama-2-70b-chat
meta-llama/llama-2-70b-chat-curated
llama-3-8b-instruct
meta-llama/llama-3-8b-instruct-curated
llama-3-70b-instruct
meta-llama/llama-3-70b-instruct-curated
llama-3-1-8b
meta-llama/llama-3-1-8b-curated
llama-3-1-8b-instruct
meta-llama/llama-3-1-8b-instruct-curated
llama-3-3-70b-instruct
meta-llama/llama-3-3-70b-instruct-curated
llama-3-3-70b-instruct-hf
meta-llama/llama-3-3-70b-instruct-hf-curated
mixtral-8x7b-base
mistralai/mixtral-8x7b-base-curated
mixtral-8x7b-instruct-v01
mistralai/mixtral-8x7b-instruct-v01-curated
mistral-nemo-instruct-2407
mistralai/mistral-nemo-instruct-2407-curated
mt0-xxl-13b
bigscience/mt0-xxl-curated
親トピック: 生成 AI ソリューションのコーディング