初期の戦略的決定

使用例

Copy link to section

ソリューションの目標、その目標が実現可能かどうか、価値があるかどうか、そしてソリューションの準備ができたと判断する方法を理解する：

Gen AI タスク

モデルに何をさせるのか？

会話または個別の出力

ユーザーが以前のインタラクションのコンテキストを保持したままモデルとチャットする会話型エクスペリエンスが必要なのか、それともモデルとのインタラクションはそれぞれ別個のものなのかを理解する。 分類、要約、生成といったタスクの中には、会話から利益を得られないものもある。 会話には、すべての入力にチャットの履歴が含まれるため、個別の出力よりもコストがかかります。

実現可能性

基礎モデルの限界を理解し、あなたのユースケースが実現可能かどうかを評価できるようにする。 例えば、実装したいユースケースの種類に応じたモデルのベンチマークスコアをチェックすることができる。

ビジネス価値

そのソリューションのメリットが、そのソリューションの運用コストよりも大きいかどうかを検討する。

成功基準

ソリューションが成功したかどうかを測定する方法を決める。 例えば、評価指標やターゲットユーザーからのユーザーフィードバックに頼ることができる。

誰を巻き込むか

Copy link to section

最初から適切な利害関係者を巻き込めば、方向転換が必要になったり、プロセスの一部を繰り返したりするリスクは少なくなる。 少なくとも、これらのチームの利害関係者を計画プロセスに参加させる：

組織の優先順位とプロセスを定義する人々

このような人たちは、あなたが守らなければならない要件や制限について教えてくれる必要がある。 ソリューションに関する特定の情報を文書化したり、規制に準拠するためのワークフローに従ったり、特定のタイプのソースを持つモデルを選択したりする必要があるかもしれません。 例えば、あなたの組織がオープンソースモデルを選択することを要求するかもしれない。

ソリューションを利用する人々

ソリューションの要件を定義し、そのソリューションが彼らのプロセスで機能するかどうかをテストし、検証するためには、このような人々が必要である。

解決策を生み出す人々

このような人々が設計や運営上の決定に関与する必要がある。 この協力者チームには、デザイナー、データエンジニア、AIエンジニア、データサイエンティスト、リスク・コンプライアンス・マネージャーなどが含まれる。 文書作成に検索機能付き生成ソリューションを導入する場合、コンテンツをAIに適合させることができるコンテンツ・ライターを含めることを検討する。

リスクとコンプライアンスの管理方法

Copy link to section

ソリューションの開発を始める前にリスクとコンプライアンスの必要性を理解しておけば、後の監査に備えることができる。

AI関連リスク

風評リスク、規制リスク、オペレーショナルリスクなど、主要なリスクの側面を理解する。 ジェネレーティブAIを使用するリスクには、従来の機械学習モデルと同じリスク、ジェネレーティブAIによって増幅されるリスク、ジェネレーティブAI特有の新たなリスクなどがある。 例えば、幻覚と呼ばれる、事実と異なる内容や真実でない内容を含む出力を生成するリスクは、生成AIに特有のものだ。

法規制遵守

遵守しなければならない法令、遵守状況を把握する方法、遵守を確保する方法を決定する。 例えば、AIソリューションに対して正式なリスクアセスメントや承認ワークフローが必要になるかもしれない。

ユースケース・ドキュメント

AIユースケースを作成し、モデルやプロンプトテンプレートをリクエスト段階から開発、本番まで管理するためのすべての情報を収集する。 ユースケースを文書化することで、組織が規制上の目的で文書化を要求しているか否かにかかわらず、進捗状況を追跡する便利な方法が提供される。

ソリューションの開発方法

Copy link to section

お客様と開発チームは、 watsonx.aiのユーザー・インターフェイスでさまざまなツールやメソッドを選択したり、完全にコードで作業したりすることができます：

コーディング言語

コードを書きたい場合は、REST API、 Python、 Node.jsのコードから選ぶことができる。 言語を選択する要因としては、開発者の好みやスキル、ソリューションのデプロイ方法、チームが対話型開発環境（IDE）と watsonx.ai ユーザーインターフェースでどの程度の作業を行いたいかなどがあります。

自動化のレベル

ソリューション・コードの生成量を選択することができます：

• コードなし：プロンプトエンジニアリング、モデルチューニング、ドキュメントの埋め込みとベクトル化のすべてのタスクをツールで完了できます。 例えば、 AutoAI for RAG を使用して最適な RAG パターンを検索を自動化したり、 Prompt Lab でプロンプトのテンプレートを作成したり、Agent Lab で AI エージェントを構築したりすることができます。
• いくつかのコード：多くのツールで Python ノートブックを生成し、必要に応じてコードを適合させることができる。 例えば、プロンプトテンプレートに基づくノートブックの生成、文書の埋め込みやベクトル化、AIエージェントの実装などを行うことができます。
• すべてのコード：IDEでREST APIを使ったコードを書くことができる。 ノートブックエディターで Python ライブラリを使ったコードを書いて実行することができます。

機能

watsonx.ai の機能のほとんどは、ユーザーインターフェースのツールと、APIやSDKなどのコードの両方で利用できます。

モデルの選び方

Copy link to section

解決策を練る前にモデルを選ぶ必要はない。 しかし、どの基準があなたとあなたの組織にとって最も重要かを理解していれば、不適切なモデルを選択するリスクを減らすことができる。

タスク

モデルにやらせたい仕事は、モデルを選ぶ際の制限要因になり得る。 多くのモデルのタスクでは、多くのモデルの中から選ぶことができる。 しかし、翻訳や英語以外の言語での回答など、他のモデルタスクの場合は選択肢が少ない。

コスト

推論のコストはモデルによって異なる。 推論コストを低く抑えることを優先するのであれば、より安価なモデル、より小さなモデル、量子化されたモデル、あるいはチューニング可能なモデルを選択する。

環境への影響

一般的に、より大きなモデルは、学習時と推論時の両方で環境に大きな影響を与える。 小さなモデルや量子化されたモデルは、環境に与える影響が小さい。

精度とその他のスコア

モデルのベンチマークを比較し、あなたにとって最も重要な分野で高いスコアを獲得しているモデルを選ぶことができます。

免責とモデル原産地

あなたの組織には、トレーニングデータについて透明性のあるモデル、オープンソースのモデル、補償を提供するモデルを選択する方針があるかもしれない。

カスタマイズ

モデルをチューニングすることで、特定のドメイン用にカスタマイズすることができる。 Tuning Studioでは、 watsonx.aiに付属するいくつかのモデルをチューニングすることができます。 あるいは、外部ツールでモデルをチューニングし、カスタムモデルを watsonx.aiにインポートすることもできます。

InstructLab を使って、 IBM Granite モデルに知識やスキルを追加することができます。

If you want to deploy foundation models in your own data center, you can purchase and install watsonx.ai software.

データの準備

Copy link to section

財団のモデルは大量のデータで訓練されるが、社内のデータでは訓練されない。 自社のデータを把握するために基盤モデルが必要な場合、モデルにデータをどのように提供するかを決定しなければなりません。

接地に関する文書

文書内の情報をモデルに根拠を与えて質問に答えるソリューションが必要な場合は、検索補強生成（RAG）パターンを設定することができる。 RAGパターンでは、ユーザーの質問に答える文章を効率的に検索するために、文書をベクトル化する。

チューニングとテストデータ

分類、要約、生成などの自然言語処理タスク用に出力を改善したり調整したりする必要がある場合は、モデルをチューニングすることができる。 あなたのプロンプトの品質をテストしたい場合は、生成AIメトリクスで評価することができます。 どちらのタスクでも、有効なプロンプトの入力と出力の例を提供しなければならない。 データに個人を特定できる情報（PII）などの機密情報が含まれている場合は、PIIに関する組織のポリシーを確認してください。 例えば、PIIをマスクしたり、モデルのチューニングやテストのために合成データを生成する必要があるかもしれない。

知識または技能

モデルに情報を与えるデータセットを提供する。 You can use IntructLab to augment an existing foundation model with the capabilities needed for your use case. 基盤モデル命令チューニング用の合成データを生成するための基礎となるシード例またはグラウンディングデータを提供します。

品質評価とリスク軽減の方法

Copy link to section

品質をどのように測定し、安全性を確保するかを決めなければならない。

評価

業界標準の指標に照らして、ソリューションのパフォーマンスとリスクを評価できます。 基盤モデル出力のテキストの正確性、類似性、品質を測定できます。 また、モデル出力の公平性、パフォーマンス、ドリフトを評価することもできます。 複数の資産のパフォーマンスを同時に評価し、結果の比較分析を表示することで、最適なソリューションを特定することができます。 これらの指標は、AIソリューションに偏りがなく、ビジネス・ユーザーが容易に説明・理解でき、ビジネス・トランザクションにおいて監査可能であることを保証するのに役立つ。

リスク・アセスメント

リスク評価アンケートに回答することで、潜在的なリスクを特定することができます。

ガードレール

ガードレールを有効にすると、プロンプトの入力テキストと出力テキストの両方から有害な可能性のあるコンテンツまたはPIIコンテンツを削除できます。

テスト

敵対的な攻撃をエミュレートするレッドチームの設置を検討する。

基礎モデルの最適化と管理方法

Copy link to section

基盤モデル精度、コスト、推論の待ち時間、モデルのライフサイクルの制御に合わせて最適化することができます。

デフォルトの最適化

IBMは、マルチテナント・ハードウェア上に展開される一連の基盤モデルを提供している。 トークンごとに推論料を支払う。 IBMは、モデルを更新したり非推奨にしたりすることで、モデルのライフサイクルを管理しています。 モデルが非推奨になった場合、新しいバージョンのモデルか別のモデルを推論するようにソリューションを更新しなければなりません。

精度とコストの最適化

より精度の高いプロンプトを必要とし、より小さな基盤モデルを推論することでコスト削減をしたい場合は、提供された基盤モデルプロンプトチューニングすることができます。 マルチテナントのハードウェアにプロンプト・チューニング・モデルを導入し、トークンごとに推論費用を支払う。

精度とコントロールの最適化

ユースケースに合わせて watsonx.ai の外部でモデルをトレーニングまたはチューニングした場合、カスタムモデルをインポートしてデプロイすることができます。 専用ハードウェアにモデルを配置する。 推論にかかる費用ではなく、モデルのホスティングにかかる費用を時間ごとに支払う。 モデルのライフサイクルをコントロールする。

レイテンシーとコントロールの最適化

お客様のソリューションが多数の同時ユーザーをサポートする必要がある場合、 IBM が専用ハードウェアで提供するデプロイ・オンデマンド・モデルを導入することができます。 専用のハードウェアは、マルチテナントのハードウェアよりもレイテンシーが低い。 推論にかかる費用ではなく、モデルのホスティングにかかる費用を時間ごとに支払う。 モデルのライフサイクルをコントロールする。

ソリューションの提供方法とメンテナンス

Copy link to section

AIソリューションをどのように提供し、その継続的な品質を確保するかを決定しなければならない。

ソリューションの展開

基盤モデルを推論するには、アプリケーションで呼び出すエンドポイントを展開し、そのエンドポイントでモデルを推論します。 AIソリューションのアーキテクチャによっては、エンドポイントはコードスニペット、 Python 関数、AIサービス、または貴社チームが開発したコードに存在する可能性があります。

デプロイメント・スペースで ModelOpsを管理する

ソリューションのテスト版、ステージング版、製品版用に別々のデプロイメントスペースを作成することで、 ModelOps フローをサポートすることができます。 各スペースに適切なコラボレーターを追加することで、プロダクションソリューションへのアクセスを管理できます。

モニター

開発中のソリューションの評価と同様に、公平性、品質、説明可能性など、ソリューションのパフォーマンスやリスクを監視することができます。 経時的なトレンドを表示し、パフォーマンスが低下したときに警告を発するしきい値を設定することができます。

ユーザー・フィードバック (User Feedback)

ユーザーフィードバックの仕組みを導入し、そのフィードバックを集めてソリューションを改善するプロセスを作ることを検討しましょう。 例えば、RAGパターンを実装する場合、ユーザーが質問に対する答えを評価するフィードバックの仕組みを追加することができる。 不正解や不適切な解答を評価するプロセスを設定し、RAGパターンを適応させるか、より良い解答を提供するためにコンテンツを適応させることができます。

詳細情報

Copy link to section

• ツールとコードの比較

親トピック 生成的AIソリューションの計画