Ajouter les documents de base à un index vectoriel qui peut être utilisé pour ajouter des informations contextuelles aux invites du foundation model pour les tâches de génération augmentées par la recherche.
- Autorisations requises
- Pour créer des ressources d'index vectoriel et les associer à une invite, vous devez avoir le rôle Admin ou Editor dans un projet.
- Format des données
- Diffère selon le magasin de vecteurs. Voir Types de fichiers de mise à la terre pris en charge.
- Taille des données
- La taille maximale des fichiers varie selon le type de fichier. Voir Types de fichiers de mise à la terre pris en charge.
Lorsque vous utilisez des modèles de base pour des tâches de réponse à des questions, vous pouvez aider le foundation model à générer des réponses factuelles et actualisées en ajoutant des informations contextuelles à l'invite du foundation model. Lorsqu'un foundation model reçoit des informations factuelles en entrée, il est plus susceptible d'incorporer ces informations factuelles dans ses résultats.
Pour plus d'informations, voir Utilisation de texte vectorisé avec des tâches de génération d'extension d'extraction.
Pour mettre les informations contextuelles à la disposition d'une invite, ajoutez d'abord les documents de base à un index vectoriel, puis associez l'index vectoriel à une invite de foundation model.
La tâche consistant à ajouter des documents de base à un index est illustrée dans le diagramme de génération amélioré par la étape de prétraitement, où les documents de l'entreprise sont vectorisés.
Magasins de vecteurs pris en charge
Vous pouvez utiliser l'un des magasins de vecteurs suivants pour stocker vos documents de mise à la terre :
En mémoire: Un index vectoriel de la base de données Chroma qui est associé à votre projet et qui fournit un stockage vectoriel temporaire.
Note: L'actif d'index vectoriel en mémoire est créé automatiquement pour vous ; vous n'avez pas besoin de configurer le magasin de vecteurs.Elasticsearch : Un index vectoriel tiers que vous configurez et connectez à votre projet.
watsonx.data Milvus : Un index vectoriel tiers que vous pouvez configurer danswatsonx.data , puis connectez-vous à votre projet.
Choisir un magasin de vecteurs
Lorsque vous créez un index vectoriel pour vos documents, vous pouvez choisir le magasin vectoriel à utiliser. Pour déterminer le magasin de vecteurs adapté à votre cas d'utilisation, tenez compte des facteurs suivants :
Quels types de fichiers le magasin vectoriel peut-il indexer ?
Les types de fichiers pris en charge diffèrent selon le magasin de vecteurs. Pour plus de détails, voir Types de fichiers de mise à la terre pris en charge.
Quels modèles d'intégration peuvent être utilisés avec le magasin vectoriel ?
Les modèles d'intégration que vous pouvez utiliser pour vectoriser les documents que vous ajoutez à l'index diffèrent selon le magasin de vecteurs. Pour plus de détails, voir Modèles d'intégration et paramètres de vectorisation.
Combien de documents de base souhaitez-vous pouvoir rechercher à partir des messages guides de votre foundation model?
Lorsque vous vous connectez à un magasin de vecteurs tiers, vous pouvez choisir l'une des options suivantes :
- Ajouter des fichiers à vectoriser et à stocker dans un nouvel index vectoriel ou une nouvelle collection dans le magasin vectoriel.
- Utiliser des données vectorisées à partir d'un index ou d'une collection existant dans le magasin vectoriel.
Le nombre de fichiers que vous pouvez ajouter à la base de données vectorielles au moment où vous créez l'index vectoriel est limité. Si vous souhaitez vectoriser un plus grand nombre de documents, par exemple un ensemble de fichiers PDF d'une taille supérieure à 50 Mo, utilisez un magasin de vecteurs tiers. Avec un magasin de vecteurs tiers, vous pouvez créer une collection ou un index avec davantage de documents directement à partir du magasin de données. Vous pouvez ensuite vous connecter à la collection ou à l'index existant lorsque vous créez une ressource d'index vectoriel à associer à votre invite.
Types de fichiers de documents de mise à la terre pris en charge
Lorsque vous ajoutez des documents de base pour créer un nouvel index vectoriel, vous pouvez télécharger des fichiers ou vous connecter à une ressource de données contenant des fichiers.
Le tableau suivant répertorie les types de fichiers pris en charge et la taille maximale des fichiers que vous pouvez ajouter lorsque vous créez un nouvel index vectoriel. Les types de fichiers pris en charge diffèrent selon le magasin de vecteurs.
Les types de fichiers sont répertoriés dans la première colonne. La taille totale maximale autorisée pour chaque type de fichier est indiquée dans la deuxième colonne. Une coche (✓) indique que le magasin de vecteurs nommé dans l'en-tête de la colonne prend en charge le type de fichier répertorié dans la première colonne.
| Type de fichier | Taille totale maximale du fichier | En mémoire | Elasticsearch | Milvus |
|---|---|---|---|---|
| format CSV | 5 Mo | ✓ | ✓ | |
| docx | 10 Mo | ✓ | ✓ | ✓ |
| langage HTML | 5 Mo | ✓ | ✓ | |
| JavaScript Object Notation | 5 Mo | ✓ | ✓ | |
| format PDF | 50 Mo | ✓ | ✓ | ✓ |
| pptx | 300 Mo | ✓ | ✓ | ✓ |
| TXT | 5 Mo | ✓ | ✓ | ✓ |
| XLSX | 5 Mo | ✓ | ✓ |
Modèles d'intégration pris en charge
Lorsque vous téléchargez des documents de mise à la terre, un modèle d'intégration est utilisé pour calculer les vecteurs qui représentent le texte du document. Vous pouvez choisir le modèle d'intégration à utiliser.
Pour les magasins de données en mémoire et Milvus, les modèles d'intégration suivants sont pris en charge :
- all-MiniLM-L6-v2
- Nécessite une taille de bloc plus petite que les modèles d'intégration de l'ardoise IBM. Pour plus d'informations sur le modèle, voir all-MiniLM-L6-v2.
- slate-30m-english-rtrvr
- IBM plus rapide que la version 125m.
- slate-125m-english-rtrvr
- IBM modèle plus précis que la version 30m.
Pour plus d'informations sur les modèles d'ardoises IBM, voir Modèles d'encodeurs pris en charge.
Pour leElasticsearch magasin de données, ELSER (Elastic Learned SparseEncodeR ) les modèles d'intégration sont pris en charge. Pour plus d'informations, voir ELSER – Élastique appris clairseméEncodeR
En savoir plus
- Création d'un index vectoriel
- Dialoguer avec des documents et des images
- Vectorisation de texte à l'aide de l'API
Rubrique parent : Obtention et préparation de données dans un projet