0 / 0
Volver a la versión inglesa de la documentación

Añadir documentos vectorizados para la puesta a tierra del modelo de cimentación solicita

Última actualización: 05 mar 2025
Añadir documentos vectorizados para la puesta a tierra del modelo de cimentación solicita

Añadir documentos de base a un índice vectorial que pueda utilizarse para añadir información contextual a las indicaciones del modelo de base para tareas de generación aumentada por recuperación.

Permisos necesarios
Para crear activos de índice vectorial y asociarlos a un aviso, debe tener el rol Admin o Editor en un proyecto.
Formato de los datos
Difieren según la tienda de vectores.
Tamaño de datos
El tamaño máximo de los archivos varía según el tipo de archivo.

Para obtener más información sobre el formato y el tamaño de los datos, consulte Tipos de archivo de documentos de Grounding.

Cuando utilice modelos de base para tareas de preguntas y respuestas, puede ayudar al modelo de base a generar respuestas objetivas y actualizadas añadiendo información contextual a la pregunta del modelo de base. Cuando un modelo de base recibe información fáctica como entrada, es más probable que incorpore esa información fáctica en su salida.

Para obtener más información, consulte Utilización de texto vectorizado con tareas de generación aumentada de recuperación.

Para proporcionar información contextual a un indicador, primero agregue documentos de base a un activo de índice vectorial y, a continuación, asocie el índice vectorial a un indicador de modelo de base.

La tarea de añadir documentos de base a un índice se representa en el diagrama de recuperación-generación aumentada mediante el paso preprocesamiento, en el que se vectorizan los documentos de empresa.

Detalle del paso de preprocesamiento en un modelo RAG con incrustación vectorial en el que los documentos de la empresa se vectorizan mediante un modelo de incrustación y se almacenan en un almacén de datos vectoriales.

Tipos de tiendas de vectores

Puede utilizar uno de los siguientes almacenes de vectores para guardar sus documentos de puesta a tierra:

  • En memoria: Un índice vectorial de la base de datos Chroma que está asociado a tu proyecto y proporciona almacenamiento temporal de vectores.

    Nota: El activo de índice vectorial en memoria se crea automáticamente; No es necesario configurar la tienda de vectores.

  • Elasticsearch : un índice vectorial de terceros que usted configura y conecta a su proyecto.

  • watsonx.data Milvus : un índice vectorial de terceros que puede configurar en watsonx.data y luego conectarlo a su proyecto.

Elegir un almacén de vectores

Al crear un índice vectorial para sus documentos, puede elegir el almacén vectorial que desea utilizar. Para determinar el almacén vectorial adecuado para su caso de uso, tenga en cuenta los siguientes factores:

  • ¿Qué tipos de archivos puede indexar el almacén vectorial?

    Los tipos de archivo admitidos varían según el almacén de vectores. Para obtener más información, consulte Tipos de archivo de documento de puesta a tierra admitidos.

  • ¿Qué modelos de incrustación pueden utilizarse con el almacén vectorial?

    Los modelos de incrustación que puede utilizar para vectorizar los documentos que añada al índice difieren según el almacén de vectores. Para más detalles, véase Modelos de incrustación y ajustes de vectorización.

  • ¿Cuántos documentos de base desea poder buscar desde las indicaciones de su modelo de cimentación?

    Cuando te conectas a una tienda de vectores de terceros, puedes elegir una de las siguientes opciones:

    • Añade archivos para vectorizarlos y almacenarlos en un nuevo índice o colección de vectores en el almacén de vectores.
    • Utilizar datos vectorizados de un índice o colección existente en el almacén de vectores.

     

    El número de archivos que puede añadir al almacén de vectores en el momento de crear el índice de vectores es limitado. Si desea vectorizar más documentos, como un conjunto de archivos PDF de más de 50 MB, utilice un almacén de vectores de terceros. Con un almacén de vectores de terceros, puede crear primero una colección o un índice con más documentos directamente desde el almacén de datos. A continuación, puede conectarse a la colección o índice existentes cuando cree un activo de índice vectorial para asociarlo a su solicitud.

Tipos de archivo de documentos de base

Al añadir documentos de referencia para crear un nuevo índice vectorial, puede cargar archivos o conectarse a un activo de datos que contenga archivos.

La siguiente tabla enumera los tipos de archivo admitidos y los tamaños máximos de archivo que puede añadir al crear un nuevo índice vectorial. Los tipos de archivo admitidos varían según el almacén de vectores.

Los tipos de archivos se enumeran en la primera columna. En la segunda columna se indica el tamaño máximo total permitido para cada tipo de archivo. Una marca de verificación (✓) indica que el almacén de vectores que se nombra en la cabecera de la columna admite el tipo de archivo que aparece en la primera columna.

Nota : El tamaño máximo permitido para los diferentes tipos de archivos que subas depende del tamaño máximo más bajo de todos los tipos de archivos subidos. Por ejemplo, si sube un archivo de texto sin formato y dos archivos PDF, la suma de los tamaños de los archivos PDF (tamaño máximo de archivo 50 MB) no debe exceder el tamaño máximo de archivo para el tipo de archivo .txt , que es de 5 MB.
Tabla 1. Tipos de archivo admitidos para los documentos de base que añada
Tipo de archivo Tamaño máximo total de archivo En memoria Elasticsearch Milvus
CSV 5 MB ✓ ✓
docx 50 MB ✓ ✓ ✓
HTML 5 MB ✓ ✓
JSON 5 MB ✓ ✓
PDF 50 MB ✓ ✓ ✓
PPTX 300 MB ✓ ✓ ✓
TXT 5 MB ✓ ✓ ✓
XLSX 5 MB ✓ ✓

Modelos de incrustación

Cuando se cargan documentos de base, se utiliza un modelo de incrustación para calcular los vectores que representan numéricamente el texto del documento. Puede elegir el modelo de incrustación que desea utilizar.

Para los almacenes de datos en memoria y Milvus, se admiten los siguientes modelos de incrustación:

all-MiniLM-L6-v2
Requiere un tamaño de trozo menor que los modelos de incrustación de IBM Slate.
all-MiniLM-l12-v2
Requiere un tamaño de trozo menor que los modelos de incrustación de IBM Slate.
granite-embedding-107m-multilingual
Modelo estándar de transformador de frases basado en bicodificadores y que forma parte de la suite IBM Granite Embeddings.
granite-embedding-278m-multilingual
Modelo estándar de transformador de frases basado en bicodificadores y que forma parte de la suite IBM Granite Embeddings.
slate-30m-english-rtrvr
IBM más rápido que la versión 125m.
slate-125m-english-rtrvr
IBM modelo más preciso que la versión 30m.
slate-30m-english-rtrvr-v2
Última versión del modelo IBM más rápido que la versión 125m.
slate-125m-english-rtrvr-v2
Última versión del modelo IBM, más preciso que la versión 30m.

Para obtener más información sobre los modelos de incrustación IBM, consulte Modelos de codificador compatibles.

Para elElasticsearch almacén de datos, ELSER (Elastic Learned SparseEncodeR ) Se admiten modelos de incrustación. Para más información, ver ELSER – Elástico aprendido escasoEncodeR

Más información

Tema principal: Preparación de datos