Añadir documentos de base a un índice vectorial que pueda utilizarse para añadir información contextual a las indicaciones foundation model para tareas de generación de recuperación aumentada.
- Permisos necesarios
- Para crear activos de índice vectorial y asociarlos a un aviso, debe tener el rol Admin o Editor en un proyecto.
- Formato de los datos
- Difieren según la tienda de vectores. Véase Tipos de archivos de documentos de base admitidos.
- Tamaño de datos
- El tamaño máximo de los archivos varía según el tipo de archivo. Véase Tipos de archivos de documentos de base admitidos.
Cuando se utilizan modelos básicos para tareas de respuesta a preguntas, se puede ayudar al foundation model a generar respuestas objetivas y actualizadas añadiendo información contextual a la pregunta del foundation model. Cuando un foundation model recibe información factual como entrada, es más probable que incorpore esa información factual en su salida.
Para obtener más información, consulte Utilización de texto vectorizado con tareas de generación aumentada de recuperación.
Para poner la información contextual a disposición de un indicador, añada primero los documentos de base a un activo de índice vectorial y, a continuación, asocie el índice vectorial a un indicador de foundation model.
La tarea de añadir documentos de base a un índice se representa en el diagrama de recuperación-generación aumentada mediante el paso preprocesamiento, en el que se vectorizan los documentos de empresa.
Tiendas de vectores soportadas
Puede utilizar uno de los siguientes almacenes de vectores para guardar sus documentos de puesta a tierra:
En memoria: Un índice vectorial de la base de datos Chroma que está asociado a tu proyecto y proporciona almacenamiento temporal de vectores.
Nota: El activo de índice vectorial en memoria se crea automáticamente; No es necesario configurar la tienda de vectores.Elasticsearch : un índice vectorial de terceros que usted configura y conecta a su proyecto.
watsonx.data milvus : un índice vectorial de terceros que puede configurar enwatsonx.data y luego conéctese a su proyecto.
Elegir un almacén de vectores
Al crear un índice vectorial para sus documentos, puede elegir el almacén vectorial que desea utilizar. Para determinar el almacén vectorial adecuado para su caso de uso, tenga en cuenta los siguientes factores:
¿Qué tipos de archivos puede indexar el almacén vectorial?
Los tipos de archivo admitidos varían según el almacén de vectores. Para obtener más información, consulte Tipos de archivo de documento de puesta a tierra admitidos.
¿Qué modelos de incrustación pueden utilizarse con el almacén vectorial?
Los modelos de incrustación que puede utilizar para vectorizar los documentos que añada al índice difieren según el almacén de vectores. Para más detalles, véase Modelos de incrustación y ajustes de vectorización.
¿Cuántos documentos de base desea poder buscar a partir de las indicaciones de su foundation model?
Cuando te conectas a una tienda de vectores de terceros, puedes elegir una de las siguientes opciones:
- Añade archivos para vectorizarlos y almacenarlos en un nuevo índice o colección de vectores en el almacén de vectores.
- Utilizar datos vectorizados de un índice o colección existente en el almacén de vectores.
El número de archivos que puede añadir al almacén de vectores en el momento de crear el índice de vectores es limitado. Si desea vectorizar más documentos, como un conjunto de archivos PDF de más de 50 MB, utilice un almacén de vectores de terceros. Con un almacén de vectores de terceros, puede crear primero una colección o un índice con más documentos directamente desde el almacén de datos. A continuación, puede conectarse a la colección o índice existentes cuando cree un activo de índice vectorial para asociarlo a su solicitud.
Tipos de archivo de documentos de puesta a tierra admitidos
Al añadir documentos de referencia para crear un nuevo índice vectorial, puede cargar archivos o conectarse a un activo de datos que contenga archivos.
La siguiente tabla enumera los tipos de archivo admitidos y los tamaños máximos de archivo que puede añadir al crear un nuevo índice vectorial. Los tipos de archivo admitidos varían según el almacén de vectores.
Los tipos de archivos se enumeran en la primera columna. En la segunda columna se indica el tamaño máximo total permitido para cada tipo de archivo. Una marca de verificación (✓) indica que el almacén de vectores que se nombra en la cabecera de la columna admite el tipo de archivo que aparece en la primera columna.
| Tipo de archivo | Tamaño máximo total de archivo | En memoria | Elasticsearch | Milvus |
|---|---|---|---|---|
| CSV | 5 MB | ✓ | ✓ | |
| docx | 10 MB | ✓ | ✓ | ✓ |
| HTML | 5 MB | ✓ | ✓ | |
| JSON | 5 MB | ✓ | ✓ | |
| 50 MB | ✓ | ✓ | ✓ | |
| pptx | 300 MB | ✓ | ✓ | ✓ |
| TXT | 5 MB | ✓ | ✓ | ✓ |
| XLSX | 5 MB | ✓ | ✓ |
Modelos de incrustación admitidos
Al cargar documentos de base, se utiliza un modelo de incrustación para calcular los vectores que representan el texto del documento. Puede elegir el modelo de incrustación que desea utilizar.
Para los almacenes de datos en memoria y Milvus, se admiten los siguientes modelos de incrustación:
- all-MiniLM-L6-v2
- Requiere un tamaño de trozo menor que los modelos de incrustación IBM Slate. Para obtener más información sobre el modelo, consulte all-MiniLM-L6-v2.
- slate-30m-english-rtrvr
- IBM más rápido que la versión 125m.
- slate-125m-english-rtrvr
- IBM modelo más preciso que la versión 30m.
Para obtener más información sobre los modelos de IBM Slate, consulte Modelos de codificadores compatibles.
Para elElasticsearch almacén de datos, ELSER (Elastic Learned SparseEncodeR ) Se admiten modelos de incrustación. Para más información, ver ELSER – Elástico aprendido escasoEncodeR
Más información
- Creación de un índice vectorial
- Chatear con documentos e imágenes
- Vectorización de texto mediante la API
Tema principal: Obtención y preparación de datos en un proyecto