チューニングするfoundation modelの選択
あなたのタスクに合わせてカスタマイズできる、適切なfoundation modelを見つけましょう。
迅速な調整のための基礎モデル
watsonx.ai:のTuning Studioから、以下のモデルをプロンプトチューニングできます
- flan-t5-xl-3b
- granite-13b-instruct-v2
次の表は、チューニングを行うfoundation modelを選択する前に試していただきたい基礎モデルを示しています。
| 迅速なエンジニアリングのモデル | チューニングモデル |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
チューニングのためのfoundation modelの選択
チューニングに最適なfoundation modelを選ぶために、以下の手順に従ってください：
foundation modelアウトプットの質を向上させるために、「foundation modelトレーニングに使用されたデータをキュレートするための措置が取られたかどうかを検討する。
モデルを選択する際のその他の一般的な考慮事項を確認する。
詳しくは、 foundation modelの選択をご覧ください。
推論時とチューニング時の両方で、foundation modelモデルに関連するコストを考える。 30億パラメータ・モデルのような小規模なモデルであれば、チューニングにかかるコストも少なく、手始めとしては良いだろう。
チューニングには、容量単位時間（CUH）で測定される計算リソース消費コストが発生する。 モデルが大きければ大きいほど、チューニングに時間がかかる。 4倍の大きさのfoundation modelモデルは、チューニングに4倍の時間がかかる。
例えば、10,000例のデータセットで、サイズが1.25MBの場合、flan-t5-xl-3b foundation modelの迅速なチューニングに3時間25分かかります。
CUHコストの詳細については、watsonx.aiランタイムプランとコンピュート使用量をご覧ください。
Prompt Lab のモデルで実験してください。
テスト目的には、同じモデル・ファミリー内のモデルの最大バージョン（パラメータが最も多いバージョンを意味する）を使用する。 より大きく、よりパワフルなモデルでテストすることで、望む出力を得るための最適なプロンプトパターンを確立することができる。 そうすれば、同じ型式の小型バージョンをチューニングしてコストを節約することができる。 より小さなモデルのプロンプトチューニングバージョンは、より良い結果ではないにせよ、同様の結果を生成することができ、推論にかかるコストもより少なくて済む。
大規模なfoundation modelから最良の結果が得られる入力パターンが見つかるまで、プロンプトを作成し、試してみてください。
詳細については、 Prompt Lab。
親トピック Tuning Studio