InstructLab-compatible基礎モデル
オープンソース・コミュニティから提供された知識やスキルをサポートするように設計された、IBM の基盤モデルを探求する。 基礎モデルの分類法を調べ、スキルを提供することで埋められる知識のギャップを見つける。
IBM watsonx.ai は、IBM Research の新しいアライメント調整法を使用する基盤モデルをサポートしています。 Large-scale Alignment for chatBots,またはLABは、新しい能力の合成データを生成し、生成されたデータを使用して基礎モデルを指導調整することにより、既存の基礎モデルに新しい知識とスキルを追加する手法です。
ゼロから新しい基盤モデルを構築したり、微調整を加えた派生モデルを作成したりする代わりに、IntructLab を使用して、ユースケースに必要な機能を既存の基盤モデルに追加することができます。
InstructLab:からのコミュニティ貢献をサポートする基盤モデルは以下のとおりです
- granite-7b-lab
- granite-20b-multilingual
これらの基礎モデルの詳細については、サポートされている基礎モデルを参照してください。
知識と技術の探求
オープンソースコミュニティから提供された知識やスキルを使って基礎モデルがトレーニングされると、そのモデル用のタクソノミーのページが利用可能になります。 タクソノミーは、基礎モデルに貢献した知識とスキルの階層を示しており、各末端ノードは貢献したスキルを表している。
プロンプトラボの基礎モデルのモデルカードから、トレーニングタクソノミーをクリックして、LABチューニングメソッドを使用してモデルに追加された知識とスキルを調べます。
- スキルとは、宣伝メールを書いたり、報告書を要約したりするような、モデルに何かを教えるものである。 スキルを提供する際には、トレーニング用の合成データを生成するために使用されるシード例を少なくとも5つ提供する。
- 知識とは、モデルがより正確に質問に答えるために必要なデータや事実のことである。 知識を提供する場合、根拠となるデータと、データに関連する質問と回答のペアを提供する。
ユースケースに必要なスキルが基礎モデルから入手できない場合は、スキルを構築して貢献する。
貢献スキル
InstructLabから基礎モデルにスキルを提供します。
InstructLab は、Red Hat と IBM によるオープンソースのイニシアチブで、基盤モデルの機能を拡張するためのプラットフォームを提供します。
まずはGitHubのInstructLabコミュニティに参加してみてください。
InstructLab ワークフロー
InstructLab から基礎モデルを補強するワークフローは、以下のステップで構成されます：
コミュニティのメンバーは、InstructLab-compatible基礎モデルを使って実験します。
改善が必要な分野が特定された場合、地域社会のメンバーは財団モデルのために新たなスキルを提供することができる。
基礎モデルは、スキル提供者から提供された例から生成された合成トレーニングデータを用いて、LABアライメントチューニング法を用いてインストラクションチューニングされる。
投稿されたスキルが承認されると、そのスキルは、カスタムスキルで強化された基礎モデルの新しいビルドにマージされる。
詳細情報
親トピック: サポートされる基盤モデル