テキストの生成

開発方法

これらのプログラミング方法を使用することで、 基盤モデルを推論することができます

• REST API
• Python
• Node.js
• LangChain (Python)
• LangChain (JS)
• LlamaIndex

Alternatively, you can use graphical tools from the watsonx.ai UI to inference foundation models. 参照 Prompt Lab。

推論の種類

次のテキスト生成方法のいずれかを使用して、 foundation model を促すことができます

• テキストを推測： foundation model によって生成された出力をすべて一度に返すのを待ちます。
• テキストイベントストリームの推論： foundation model によって生成された出力をそのまま返します。 この方法は、チャットボットやバーチャルアシスタントに実際の会話のような流暢な応答をさせたい会話型のユースケースで役立ちます。

チャットのユースケースには、チャットAPIを使用します。 チャットAPIを使用して、アプリケーションにジェネレーティブチャット機能を追加する方法をご覧ください。

Node.js

テキスト生成

以下のリソースを参照してください。

• テキスト生成パラメータインターフェース
• 例

テキスト生成ストリーム

次のリソースを参照してください

• テキスト生成ストリームパラメータインターフェース
• 例

Python 図書館

watsonx.ai Python ライブラリの Model Inferenceクラスを参照してください。

以下のトピックでは、利用可能なサンプルノートブックの使用方法について説明します

• foundation model をプログラムで推論する
• プロンプトテンプレートを使用して、 foundation model をプログラム的に推論する

REST API

The method that you use to inference a foundation model differs depending on whether the foundation model is provided with watsonx.ai or is associated with a deployment.

• IBM が watsonx.ai で展開した foundation model を推論するには、 テキスト生成 メソッドを使用します。

  curl -X POST \
  -H 'Authorization: Bearer {token}' \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json' \
  --data-raw '{
  "input": "Tell me about interest rates",
  "parameters": {
    "max_new_tokens": 200
  },
  "model_id": "ibm/granite-3-8b-instruct",
  "project_id": "{project_id}"
  }' \
  "https://{region}.ml.cloud.ibm.com/ml/v1/text/generation?version=2025-02-11"
  

• 調整済みの foundation model 、カスタム foundation model 、オンデマンド展開の foundation model を推論するには、 デプロイメント >テキストを推論 メソッドを使用します。

  The {model_id} is not required with this type of request because only one model is supported by the deployment.