チューニングする基盤モデル選択
あなたのタスクのためにモデルをカスタマイズするために、チューニングできる正しい基盤モデルください。
迅速な調整のための基礎モデル
プロンプト・チューニングは非推奨であり、将来的に削除される予定です。
watsonx.ai:のTuning Studioから、以下のモデルをプロンプトチューニングできます
- flan-t5-xl-3b
- granite-13b-instruct-v2
次の表は、チューニングを行う基盤モデル選択する前に試していただきたい基盤モデルモデルを示しています。
| 迅速なエンジニアリングのモデル | チューニングモデル |
|---|---|
| フラン-T5-XXL-11B フラン-UL2-20B |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
LoRA 微調整のための基盤モデル
IBM watsonx.ai でプログラムによるチューニングが可能です基盤モデル チューニング方法によって選択できるモデルが異なる。
提供された基礎基盤モデル、 watsonx.ai からの推論には利用できない。 以下の表は、モデルの基本バージョンをチューニングする前に、モデルの能力を知るために推論できるモデルを示しています。
- 低ランク順応 ( LoRA )
以下の基盤モデル対応しています：
- granite-3-1-8b-base
- llama-3-1-8b
基礎基盤モデル LoRA 実験的推論に使用するモデル チューニングモデル granite-3-8b-instruct granite-3-1-8b-base llama-3-1-8b-instruct llama-3-1-8b
モデルの微調整のためにサポートされているモデル・アーキテクチャ
タスクのために基盤モデルモデルをカスタマイズするための微調整には、試行錯誤が伴う。 微調整を行う基盤モデル選ぶ際には、以下のガイドラインに従ってください：
ベースモデルは微調整が容易である。
低ランク適応（ LoRA ）のようなパラメータ効率的トレーニングファイン・チューニング （PEFT）技術を、以下のアーキテクチャを持つ基盤モデルモデルに適用することができます：
- GraniteForCausalLM
- GraniteMoeForCausalLM
- LlamawithCausalLM
- GPTBigCodeForCausalLM
- LLaMA 3.1
- LLaMA 3
- ミクストラル
チューニングのための基盤モデル選択
チューニングに最適な基盤モデル選ぶために、以下の手順に従ってください：
基盤モデル基盤モデルに使用されたデータをキュレートするための何らかの対策が講じられたかどうかを検討します。
モデルを選択する際のその他の一般的な考慮事項を確認する。
詳細は 基盤モデル選択 を参照。
推論時とチューニング時の両方で、 基盤モデルモデルに関連するコストを考える。 30億パラメータ・モデルのような小規模なモデルであれば、チューニングにかかるコストも少なく、手始めとしては良いだろう。
チューニングには、容量単位時間（CUH）で測定される計算リソース消費コストが発生する。 モデルが大きければ大きいほど、チューニングに時間がかかる。 4倍の大きさの基盤モデルモデルは、チューニングに4倍の時間がかかる。
例えば、10,000例のデータセットで、 1.25 MBのサイズの場合、 flan-t5-xl-3b 基盤モデル迅速なチューニングに3時間25分かかります。
CUHコストの詳細については、watsonx.aiランタイムプランとコンピュート使用量をご覧ください。
Prompt Lab のモデルで実験してください。
テスト目的には、同じモデル・ファミリー内のモデルの最大バージョン（パラメータが最も多いバージョンを意味する）を使用する。 より大きく、よりパワフルなモデルでテストすることで、望む出力を得るための最適なプロンプトパターンを確立することができる。 そうすれば、同じ型式の小型バージョンをチューニングしてコストを節約することができる。 より小さなモデルのプロンプトチューニングバージョンは、より良い結果ではないにせよ、同様の結果を生成することができ、推論にかかるコストもより少なくて済む。
大規模な基盤モデル最良の結果が得られる入力パターンが見つかるまで、プロンプトを作成し、試してみてください。
詳細については、 Prompt Lab。
親トピック 基盤モデルチューニング