プロンプト・チューニングの仕組み

ファウンデーション・モデルは、指定した入力に依存します。 入力、またはモデルに プロンプト を出す方法によって、生成された出力を調整するためにモデルが使用するコンテキストを導入することができます。 適切な プロンプトを見つけるためのプロンプト・エンジニアリングは、多くの場合、適切に機能します。 ただし、時間がかかり、エラーが発生しやすくなる可能性があり、基礎となるモデルで許可されているコンテキスト・ウィンドウの長さによってその効果が制限される可能性があります。

Tuning Studio でのモデルのプロンプト・チューニングは、機械学習をプロンプト・エンジニアリングのタスクに適用します。 プロンプト・チューニングは、入力自体に単語を追加するのではなく、入力テキストに接頭部として追加された場合に、必要な出力を生成するモデルの能力を向上させる一連の値を検出するための方法です。 この一連の値は、 プロンプト・ベクトルと呼ばれます。

通常、プロンプト内の単語はモデルによってベクトル化されます。 ベクトル化は、テキストをトークンに変換してから、トークンを識別するためにモデルのトークナイザーによって定義された数値に変換するプロセスです。 最後に、トークン ID がエンコードされます。つまり、トークン ID はベクトル表現に変換されます。これは、モデルの組み込みレイヤーで予期される入力フォーマットです。 プロンプト・チューニングでは、モデルのテキスト・ベクトル化プロセスがバイパスされ、代わりにプロンプト・ベクトルが直接作成されます。 この変更可能なプロンプト・ベクトルはベクトル化された入力テキストに連結され、2 つは 1 つの入力としてモデルの組み込み層に渡されます。 この巧妙に仕組まれたプロンプト・ベクトルからの値は、モデルによって設定された単語埋め込み重みに影響を与え、モデルが出力に追加することを選択した単語に影響を与えます。

プロンプト・ベクトルに最適な値を見つけるには、チューニング・エクスペリメントを実行します。 トレーニング・データ内の入力と出力のサンプルのペアをモデルに提供することにより、対応する入力に必要な出力のタイプを示します。 エクスペリメントのトレーニング実行ごとに、生成された出力がトレーニング・データ出力と比較されます。 この 2 つの間の違いから学習した内容に基づいて、実験はプロンプト・ベクトルの値を調整します。 トレーニング・データを何度も実行すると、モデルは最も効果的なプロンプト・ベクトルを検出します。

エクスペリメントによってベクトル化されたテキストを指定することで、トレーニング・プロセスを開始することを選択できます。 あるいは、プロンプト・ベクトル内のランダム値をエクスペリメントで使用することもできます。 いずれの方法でも、初期値が正確に正しい場合を除き、トレーニング・プロセスの一部として繰り返し変更されます。 独自の初期化テキストを指定すると、エクスペリメントがより迅速に良好な結果を得ることができます。

エクスペリメントの結果は、基礎となるモデルの調整済みバージョンです。 推論のためにチューニングされたモデルに入力をサブミットすると、そのモデルはチューニングされたパターンに従った出力を生成します。

Tuning Studioで使用されるプロンプト・チューニング・プロセスの詳細については、プロンプト・チューニング・ワークフローを参照してください。

詳細情報

• IBMResearchのブログ記事：プロンプト・チューニングとは？
• 研究論文パラメータ効率の良いプロンプト・チューニングのためのスケールの力
• チューニング・パラメーター

親トピック: Tuning Studio