Añadir documentos vectorizados para la puesta a tierra del modelo de cimentación solicita
Añadir documentos de base a un índice vectorial que pueda utilizarse para añadir información contextual a las indicaciones del modelo de base para tareas de generación aumentada por recuperación.
- Permisos necesarios
- Para crear activos de índice vectorial y asociarlos a un aviso, debe tener el rol Admin o Editor en un proyecto.
- Formato de los datos
- Difieren según la tienda de vectores.
- Tamaño de datos
- El tamaño máximo de los archivos varía según el tipo de archivo.
Para obtener más información sobre el formato y el tamaño de los datos, consulte Tipos de archivo de documentos de Grounding.
Cuando utilice modelos de base para tareas de preguntas y respuestas, puede ayudar al modelo de base a generar respuestas objetivas y actualizadas añadiendo información contextual a la pregunta del modelo de base. Cuando un modelo de base recibe información fáctica como entrada, es más probable que incorpore esa información fáctica en su salida.
Para obtener más información, consulte Utilización de texto vectorizado con tareas de generación aumentada de recuperación.
Para proporcionar información contextual a un indicador, primero agregue documentos de base a un activo de índice vectorial y, a continuación, asocie el índice vectorial a un indicador de modelo de base.
La tarea de añadir documentos de base a un índice se representa en el diagrama de recuperación-generación aumentada mediante el paso preprocesamiento, en el que se vectorizan los documentos de empresa.
Tipos de tiendas de vectores
Puede utilizar uno de los siguientes almacenes de vectores para guardar sus documentos de puesta a tierra:
En memoria: Un índice vectorial de la base de datos Chroma que está asociado a tu proyecto y proporciona almacenamiento temporal de vectores.
Nota: El activo de índice vectorial en memoria se crea automáticamente; No es necesario configurar la tienda de vectores.Elasticsearch : un índice vectorial de terceros que usted configura y conecta a su proyecto.
watsonx.data Milvus : un índice vectorial de terceros que puede configurar en watsonx.data y luego conectarlo a su proyecto.
Elegir un almacén de vectores
Al crear un índice vectorial para sus documentos, puede elegir el almacén vectorial que desea utilizar. Para determinar el almacén vectorial adecuado para su caso de uso, tenga en cuenta los siguientes factores:
¿Qué tipos de archivos puede indexar el almacén vectorial?
Los tipos de archivo admitidos varían según el almacén de vectores. Para obtener más información, consulte Tipos de archivo de documento de puesta a tierra admitidos.
¿Qué modelos de incrustación pueden utilizarse con el almacén vectorial?
Los modelos de incrustación que puede utilizar para vectorizar los documentos que añada al índice difieren según el almacén de vectores. Para más detalles, véase Modelos de incrustación y ajustes de vectorización.
¿Cuántos documentos de base desea poder buscar desde las indicaciones de su modelo de cimentación?
Cuando te conectas a una tienda de vectores de terceros, puedes elegir una de las siguientes opciones:
- Añade archivos para vectorizarlos y almacenarlos en un nuevo índice o colección de vectores en el almacén de vectores.
- Utilizar datos vectorizados de un índice o colección existente en el almacén de vectores.
El número de archivos que puede añadir al almacén de vectores en el momento de crear el índice de vectores es limitado. Si desea vectorizar más documentos, como un conjunto de archivos PDF de más de 50 MB, utilice un almacén de vectores de terceros. Con un almacén de vectores de terceros, puede crear primero una colección o un índice con más documentos directamente desde el almacén de datos. A continuación, puede conectarse a la colección o índice existentes cuando cree un activo de índice vectorial para asociarlo a su solicitud.
Tipos de archivo de documentos de base
Al añadir documentos de referencia para crear un nuevo índice vectorial, puede cargar archivos o conectarse a un activo de datos que contenga archivos.
La siguiente tabla enumera los tipos de archivo admitidos y los tamaños máximos de archivo que puede añadir al crear un nuevo índice vectorial. Los tipos de archivo admitidos varían según el almacén de vectores.
Los tipos de archivos se enumeran en la primera columna. En la segunda columna se indica el tamaño máximo total permitido para cada tipo de archivo. Una marca de verificación (✓) indica que el almacén de vectores que se nombra en la cabecera de la columna admite el tipo de archivo que aparece en la primera columna.
.txt| Tipo de archivo | Tamaño máximo total de archivo | En memoria | Elasticsearch | Milvus |
|---|---|---|---|---|
| CSV | 5 MB | ✓ | ✓ | |
| docx | 50 MB | ✓ | ✓ | ✓ |
| HTML | 5 MB | ✓ | ✓ | |
| JSON | 5 MB | ✓ | ✓ | |
| 50 MB | ✓ | ✓ | ✓ | |
| PPTX | 300 MB | ✓ | ✓ | ✓ |
| TXT | 5 MB | ✓ | ✓ | ✓ |
| XLSX | 5 MB | ✓ | ✓ |
Modelos de incrustación
Cuando se cargan documentos de base, se utiliza un modelo de incrustación para calcular los vectores que representan numéricamente el texto del documento. Puede elegir el modelo de incrustación que desea utilizar.
Para los almacenes de datos en memoria y Milvus, se admiten los siguientes modelos de incrustación:
- all-MiniLM-L6-v2
- Requiere un tamaño de trozo menor que los modelos de incrustación de IBM Slate.
- all-MiniLM-l12-v2
- Requiere un tamaño de trozo menor que los modelos de incrustación de IBM Slate.
- granite-embedding-107m-multilingual
- Modelo estándar de transformador de frases basado en bicodificadores y que forma parte de la suite IBM Granite Embeddings.
- granite-embedding-278m-multilingual
- Modelo estándar de transformador de frases basado en bicodificadores y que forma parte de la suite IBM Granite Embeddings.
- slate-30m-english-rtrvr
- IBM más rápido que la versión 125m.
- slate-125m-english-rtrvr
- IBM modelo más preciso que la versión 30m.
- slate-30m-english-rtrvr-v2
- Última versión del modelo IBM más rápido que la versión 125m.
- slate-125m-english-rtrvr-v2
- Última versión del modelo IBM, más preciso que la versión 30m.
Para obtener más información sobre los modelos de incrustación IBM, consulte Modelos de codificador compatibles.
Para elElasticsearch almacén de datos, ELSER (Elastic Learned SparseEncodeR ) Se admiten modelos de incrustación. Para más información, ver ELSER – Elástico aprendido escasoEncodeR
Más información
- Creación de un índice vectorial
- Chatear con documentos e imágenes
- Vectorización de texto mediante la API
Tema principal: Preparación de datos