チューニングする基盤モデル選択
あなたのタスクのためにモデルをカスタマイズするために、チューニングできる正しい基盤モデルください。
迅速な調整のための基礎モデル
watsonx.ai:のTuning Studioから、以下のモデルをプロンプトチューニングできます
- flan-t5-xl-3b
- granite-13b-instruct-v2
次の表は、チューニングを行う基盤モデル選択する前に試していただきたい基盤モデルモデルを示しています。
| 迅速なエンジニアリングのモデル | チューニングモデル |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
チューニングのための基盤モデル選択
チューニングに最適な基盤モデル選ぶために、以下の手順に従ってください：
基盤モデル基盤モデルに使用されたデータをキュレートするための何らかの対策が講じられたかどうかを検討します。
モデルを選択する際のその他の一般的な考慮事項を確認する。
詳細は 基盤モデル選択 を参照。
推論時とチューニング時の両方で、 基盤モデルモデルに関連するコストを考える。 30億パラメータ・モデルのような小規模なモデルであれば、チューニングにかかるコストも少なく、手始めとしては良いだろう。
チューニングには、容量単位時間（CUH）で測定される計算リソース消費コストが発生する。 モデルが大きければ大きいほど、チューニングに時間がかかる。 4倍の大きさの基盤モデルモデルは、チューニングに4倍の時間がかかる。
例えば、10,000例のデータセットで、 1.25 MBのサイズの場合、 flan-t5-xl-3b 基盤モデル迅速なチューニングに3時間25分かかります。
CUHコストの詳細については、watsonx.aiランタイムプランとコンピュート使用量をご覧ください。
Prompt Lab のモデルで実験してください。
テスト目的には、同じモデル・ファミリー内のモデルの最大バージョン（パラメータが最も多いバージョンを意味する）を使用する。 より大きく、よりパワフルなモデルでテストすることで、望む出力を得るための最適なプロンプトパターンを確立することができる。 そうすれば、同じ型式の小型バージョンをチューニングしてコストを節約することができる。 より小さなモデルのプロンプトチューニングバージョンは、より良い結果ではないにせよ、同様の結果を生成することができ、推論にかかるコストもより少なくて済む。
大規模な基盤モデル最良の結果が得られる入力パターンが見つかるまで、プロンプトを作成し、試してみてください。
詳細については、 Prompt Lab。
親トピック Tuning Studio