グラウンディング基盤モデルプロンプトにベクトル化されたドキュメントを追加する
ベクトルインデックスに、 検索拡張生成用の基盤モデルのプロンプトに文脈情報を追加するために使用できるグラウンディングを追加する。
- 必要な権限
- ベクターインデックスアセットを作成し、プロンプトに関連付けるには、プロジェクトのAdminまたはEditorロールが必要です。
- データ・フォーマット
- ベクターショップによって異なる。
- データ・サイズ
- 最大ファイルサイズはファイルの種類によって異なります。
データ形式とサイズの詳細については、 グラウンディングドキュメントのファイル形式 をご覧ください。
質問応答タスクに基盤モデルを使用する場合、 基盤モデル文脈情報を追加することで、 基盤モデル事実に基づく最新の回答を生成するのを支援することができます。 基盤モデル事実情報を入力すると、その事実情報を出力に組み込む可能性が高くなります。
詳しくは、 Using vectorized text with retrieval-augmented generation tasksを参照してください。
プロンプトに文脈情報を提供するには、まず資産 グラウンディングを追加し、次にベクトルインデックスを基盤モデルに関連付けます。
索引に接地文書を追加するタスクは、前処理ステップによって検索-拡張生成ダイアグラムに描かれており、そこでは企業文書がベクトル化される。
ベクトルストアの種類
以下のベクターストアのいずれかを使用して、接地文書を保存することができます：
メモリ内：Chromaデータベースのベクターインデックスで、プロジェクトに関連付けられ、一時的なベクターストレージを提供します。
注記：メモリ内のベクター インデックス アセットは自動的に作成されるため、ベクター ストアを設定する必要はありません。Elasticsearch: プロジェクトに設定して接続するサードパーティのベクター インデックス。
watsonx.data Milvus watsonx.dataでセットアップできるサードパーティのベクトルインデックスで、プロジェクトに接続できます。
ベクターストアの選択
ドキュメントのベクターインデックスを作成する際、使用するベクターストアを選択することができます。 あなたのユースケースに適したベクターストアを決定するには、以下の要素を考慮してください：
ベクターストアがインデックスを作成できるファイルの種類は？
対応するファイル形式はベクターストアによって異なります。 詳しくは、サポートされている接地文書ファイルの種類を参照してください。
ベクターストアではどのようなエンベッディングモデルが使用できますか？
インデックスに追加する文書のベクトル化に使用できる埋め込みモデルは、ベクトルストアによって異なります。 詳細は埋め込みモデルとベクトル化の設定を参照。
基盤モデルのプロンプトから検索できるグラウンディング文書をいくつ用意したいですか？
サードパーティーのベクターストアに接続する場合、以下のいずれかの方法を選択できます：
- ベクトル化するファイルを追加し、ベクトルストアの新しいベクトルインデックスまたはコレクションに格納します。
- ベクトルストアの既存のインデックスまたはコレクションからベクトル化されたデータを使用します。
ベクターインデックス作成時にベクターストアに追加できるファイル数には制限があります。 50MB以上のPDFファイルなど、より多くのドキュメントをベクター化したい場合は、サードパーティのベクターストアをご利用ください。 サードパーティのベクターストアを使えば、まずデータストアから直接、より多くのドキュメントを含むコレクションやインデックスを作成することができます。 その後、プロンプトに関連付けるベクターインデックスアセットを作成するときに、既存のコレクションまたはインデックスに接続できます。
グラウンディングドキュメントのファイル形式
接地ドキュメントを追加して新しいベクトルインデックスを作成する場合、ファイルをアップロードするか、ファイルを含むデータ資産に接続することができます。
次の表は、新しいベクターインデックスを作成するときに追加できるサポートされているファイルタイプと最大ファイルサイズの一覧です。 対応するファイル形式はベクターストアによって異なります。
ファイルの種類は最初の列にリストされます。 各ファイルタイプで許可される最大合計ファイルサイズは、2番目の列に記載されています。 チェックマーク（✓）は、列のヘッダーに記載されているベクターストアが、最初の列に記載されているファイルタイプをサポートしていることを示します。
.txt| ファイルの種類 | 最大合計ファイル・サイズ | メモリー内を使用 | Elasticsearch | Milvus |
|---|---|---|---|---|
| CSV | 5 MB | ✓ | ✓ | |
| docx | 50 MB | ✓ | ✓ | ✓ |
| HTML | 5 MB | ✓ | ✓ | |
| JSON | 5 MB | ✓ | ✓ | |
| 50 MB | ✓ | ✓ | ✓ | |
| PPTX | 300 MB | ✓ | ✓ | ✓ |
| TXT | 5 MB | ✓ | ✓ | ✓ |
| XLSX | 5 MB | ✓ | ✓ |
埋め込みモデル
グラウンディング文書をアップロードすると、埋め込みモデルが使用され、文書テキストを数値で表すベクトルが計算されます。 使用する埋め込みモデルを選択できます。
インメモリおよび Milvus データストアでは、以下の組み込みモデルがサポートされています
- all-MiniLM-L6-v2
- IBM Slate 埋め込みモデルよりも小さいチャンク サイズが必要です。
- all-MiniLM-l12-v2
- IBM Slate 埋め込みモデルよりも小さいチャンク サイズが必要です。
- granite-embedding-107m-multilingual
- バイエンコーダーに基づく標準的な文トランフォーマーモデルであり、 IBM Granite Embeddings スイートの一部です。
- granite-embedding-278m-multilingual
- バイエンコーダーに基づく標準的な文トランフォーマーモデルであり、 IBM Granite Embeddings スイートの一部です。
- slate-30m-english-rtrvr
- IBMのモデルは、125mバージョンよりも高速です。
- slate-125m-english-rtrvr
- IBMのモデルは、30mバージョンよりも正確です。
- slate-30m-english-rtrvr-v2
- 125mよりも高速な IBMの最新バージョン。
- slate-125m-english-rtrvr-v2
- 30mよりも精度の高い IBMの最新バージョン。
IBM組み込みモデルの詳細については 、「サポートされるエンコーダ・モデル」 を参照してください。
Elasticsearchデータストアでは、ELSER（Elastic Learned Sparse EncodeR ) 埋め込みモデルがサポートされています。 詳細については、 ELSER – Elastic Learned Sparse EncodeR
詳細情報
親トピック: データの準備