検索拡張生成

例

Copy link to section

次のプロンプトには、いくつかの事実を立証するための文脈が含まれている：

Aisha recently painted the kitchen yellow, which is her favorite color.

Aisha's favorite color is 
Copy to clipboardクリップボードにコピーされました

アイーシャが、よくある事前トレーニングデータセットに含まれる多くのオンライン記事で言及されているような有名人で、その好みの色が記事に書かれていない限り、プロンプトの冒頭の文脈がなければ、 基盤モデルプロンプトの最後の正しい文章の完成形を確実に生成することはできません。

事実に満ちた文脈を含むテキストでモデルを促せば、モデルが生成する出力はより正確なものになる可能性が高くなる。 詳細は、事実に基づいて正確な出力を生成するを参照してください。

その起源は 検索拡張生成

Copy link to section

検索拡張生成 （RAG）という用語は、本論文で初めて導入された。 検索拡張生成 知識集約的な自然言語処理タスクに 。 “We build RAG models where the parametric memory is a pre-trained seq2seq transformer, and the non-parametric memory is a dense vector index of Wikipedia, accessed with a re-trained neural retriever.”

その論文では、RAGモデルという用語は、リトリーバー（特定のクエリーエンコーダーとベクトルベースの文書検索インデックス）とジェネレーター（特定の事前訓練された生成言語モデル）の特定の実装を指しています。 しかし、基本的な検索と生成のアプローチは、異なるレトリーバー・コンポーネントや基礎モデルを使用するように一般化することができる。

知識ベース

Copy link to section

知識ベースは、以下のような、情報を含むアーティファクトの任意のコレクションとすることができる：

• 社内のWikiページで情報を処理する
• GitHubにあるファイル(Markdown、プレーンテキスト、JSON、コードなど形式は問いません)
• コラボレーションツールのメッセージ
• 製品ドキュメントのトピック（長いテキストブロックを含むことがある
• Db2 のような構造化クエリ言語 (SQL) クエリをサポートするデータベース内のテキストパッセージ
• PDFファイルとして保存されている法的契約書などのファイルを集めたドキュメントストア
• コンテンツ管理システムのカスタマーサポート・チケット

リトリーバー

Copy link to section

リトリーバは、IBM Watson Discovery のような検索ツールや、GitHub が提供するような検索およびコンテンツ API など、知識ベースから関連するコンテンツを確実に返す検索ツールとコンテンツ ツールの任意の組み合わせにすることができます。

ベクトル・データベースも効果的な検索装置である。 ベクトル・データベースは、データだけでなく、データのベクトル埋め込みも格納する。ベクトル埋め込みとは、データの意味的な意味をとらえた数値表現である。 クエリー時には、クエリーテキストのベクトル埋め込みが、関連するマッチを見つけるために使われる。

IBM watsonx.ai にはベクター データベースは含まれていませんが、watsonx.ai の基盤モデルを市販のベクター データベースで使用することができます。 例示されているノートブックは、 Cloud Pak for Data や Elasticsearch などの一般的なベクターデータベースへの接続手順を説明しています。

レトリバーがベクトル化されたテキストを使用するRAGパターンを実装するお手伝いをするため、 watsonx.ai は、文章や段落をベクトルに変換する際に使用できる埋め込みAPIと埋め込みモデルを提供しています。 このタイプのRAG導入に関する詳細については、 検索拡張生成 タスクでベクター化されたテキストを使用する をご覧ください。

ジェネレーター

Copy link to section

ジェネレータ・コンポーネントは、watsonx.aiの中のどのモデルでも使うことができます。あなたのユースケース、プロンプトのフォーマット、コンテキストのために取り込むコンテンツに合ったものを選んでください。