トークンは、モデルにとって意味的な意味を持つ文字の集まりです。 トークン化は、プロンプト内の単語をトークンに変換するプロセスです。
リソース使用状況」タブの「環境」ページで、プロジェクト内のfoundation modelの使用状況を監視できます。
単語をトークンに変換する
プロンプトのテキストは、ファウンデーションモデルによってプロンプトが処理される前にトークンに変換される。
単語とトークンの相関関係は複雑だ：
- 一つの単語が複数のトークンに分割されることがある
- 同じ単語でも、文脈（単語が出現する場所や周囲の単語など）に応じて、異なる数のトークンに分割されることがあります
- スペース、改行文字、句読点はトークンに含まれる場合と含まれない場合があります
- 単語をトークンに分割する方法は言語によって異なる
- 単語をトークンに分割する方法はモデルによって異なる
大まかな目安としては、10語の文章は15～20トークンになるかもしれない。
モデルからの生の出力もトークンの形をしている。 IBM watsonx.aiの Prompt Labでは、モデルからの出力トークンがプロンプトエディタに表示される単語に変換される。
例
次の画像は、このサンプル入力がどのようにトークン化されるかを示しています：
トマトは菜園で最も人気のある植物の一つである。 成功の秘訣病気や害虫に強い品種を選べば、トマトの栽培はとても簡単です。 経験を積んだ園芸家が挑戦したいのであれば、家宝品種や特殊品種の栽培は無限にある。 トマトの苗にはさまざまなサイズがある。
いくつか興味深い点がある：
- ある単語は複数のトークンに分割され、ある単語は分割されない
- Tomatoes "という単語は最初は複数のトークンに分かれているが、後に "tomatoes "はすべて1つのトークンになる
- スペースは単語トークンの先頭に含まれることもあれば、それ自体がトークンとなることもある
- 句読点はトークンである
トークン制限
すべてのモデルには、入力プロンプトのトークン数と、モデルから生成された出力のトークン数に対する上限がある。 この制限は、コンテキストウィンドウ長、コンテキストウィンドウ、コンテキスト長、または最大シーケンス長と呼ばれることもある。 Prompt Labでは、プロンプト送信で使用されたトークンの数と、結果として生成された出力を示す情報メッセージが表示される。
Prompt Labでは、 Max tokens パラメータを使用して、モデルが生成する出力トークン数の上限を指定します。 出力に許容されるトークンの最大数はモデルによって異なる。 詳細については、サポートされる基盤モデルの最大トークン数の情報を参照してください。
詳細はこちら
- プロンプトが定期的にコンテキスト ウィンドウの制限を超える場合は、コンテキストの長さの制限を克服するテクニックを参照してください。
- 送信する前に、watsonx.aiAPI を使用して、プロンプトに対してfoundation modelによって計算されるトークンの数を確認できます。 詳細については、 「テキストのトークン化」を参照してください。
- 課金目的でトークンがどのように測定されるかについては、watsonx.aiランタイムプランをご覧ください。
親トピック： 生成的AIソリューションの開発