Procedimiento

Para crear un índice vectorial para sus documentos de base, siga los pasos siguientes. El orden de los pasos puede variar ligeramente en función del almacén de vectores que decida utilizar.

1. En la vista general del proyecto, haga clic en la pestaña Activos y, a continuación, seleccione Activo nuevo > Ground gen AI con documentos vectorizados.

   Alternativamente, puede empezar desde el Prompt Lab en modo chat haciendo clic en el icono Preparación con documentos al principio de la página y, a continuación, haciendo clic en Seleccionar o crear índice vectorial.

2. Elija el almacén de vectores que desee utilizar.

3. Nombre del activo de índice vectorial.

4. Añade documentos de puesta a tierra de una de las siguientes maneras:

   • Añadir archivos desde un activo de datos asociado a su proyecto
   • Examinar para cargar archivos desde su sistema de archivos

   Las siguientes opciones sólo están disponibles en tiendas de vectores de terceros:

   • Añadir contenido existente desde un almacén vectorial conectado

     Seleccione la fuente de datos conectada, elija una base de datos si procede y, a continuación, haga clic en Siguiente. Elija el índice o la colección que desea utilizar.

   • Añadir nuevo contenido a un índice vectorial conectado

     Para añadir nuevo contenido a un almacén vectorial conectado, seleccione la fuente de datos conectada, elija una base de datos si procede y, a continuación, haga clic en Siguiente. Haga clic en Nuevo índice o Nueva colección, especifique un nombre y, a continuación, añada documentos cargando archivos o conectándose a un activo de datos.

   Los tipos de archivo admitidos varían según el almacén de vectores. Para obtener más información, consulte Tipos de archivo de documento de puesta a tierra admitidos.

5. Opcional: si procede, elija el modelo de incrustación o la configuración de vectorización que desea utilizar para vectorizar sus documentos.

   Para obtener más información, consulte Configuración del modelo de incrustación y vectorización.

6. Sólo para almacenes de datos conectados: Asigne campos de su índice o colección existente a nuevos campos que se definirán en el activo de índice vectorial en watsonx.ai.

   Estas asignaciones de campos son importantes porque watsonx.ai necesita una forma coherente de extraer datos y capturar detalles sobre los documentos, como el nombre del archivo original y el número de página, de varios almacenes de vectores compatibles.

   Tabla 1. Campos del esquema del almacén vectorial

   Nuevo nombre de campo de índice vectorial	Campo del almacén de vectores conectados
   Consulta vectorial	Obligatorio sólo para índices Elasticsearch. Campo donde se especifica el texto de consulta que se utiliza para buscar en el índice Elasticsearch, como ml o vector.
   Nombre del documento	Campo que identifica el archivo de origen. Puede elegir un campo que capture el nombre del archivo, como metadata.source, o el título del documento, como metadata.title.
   Texto	Campo que contiene la mayor parte del contenido de la página, como body o text.
   Número de página	Campo que identifica el número de página, como metadata.page_number.
   URL de documento	Campo que contiene la URL del documento, como metadata.document_url.

7. Pulse Crear.

El texto del archivo se vectoriza y los vectores se indexan y almacenan en un nuevo activo de índice vectorial.

Cuando añades nuevos contenidos a un almacén de datos de terceros conectado, ocurren las siguientes cosas:

• Se genera un activo de bloc de notas que se ejecuta en un trabajo para vectorizar los documentos y construir el índice o la colección en el almacén de datos de terceros.
• Se crea un activo de índice vectorial en watsonx.ai que puede pasar consultas enviadas al índice o colección en el almacén de datos de terceros y obtener resultados de búsqueda.

Una vez creado el índice vectorial, compruebe si los documentos vectorizados responden a las preguntas y realice los ajustes necesarios. Véase Gestión de un índice vectorial.

Modelo de incrustación y ajustes de vectorización

Los siguientes ajustes controlan cómo se dividen los documentos en segmentos más pequeños, o chunks, antes de enviarlos al modelo de incrustación:

• Tamaño de trozo de texto: Número de caracteres a incluir por segmento de documento.

  Defina un tamaño de segmento inferior al número máximo de tokens de entrada permitidos por el modelo. Si divide el documento en segmentos más grandes, es posible que se omita parte del texto del documento, ya que una vez alcanzado el límite de tamaño máximo de token, el modelo de incrustación ignora cualquier carácter adicional del segmento.

  El tamaño del trozo se especifica en caracteres. El número de caracteres por token varía según el modelo de incrustación, pero un token equivale aproximadamente a 2-3 caracteres.

  Tabla 2. Tamaño de los trozos del modelo de incrustación

  Modelo de inclusión	Número máximo de tokens de entrada	Tamaño aproximado del trozo
  all-MiniLM-L6-v2	256	700
  ELSER	512	1400
  slate-30m-english-rtrvr	512	1400
  slate-125m-english-rtrvr	512	1400

   

• Solapamiento de trozos de texto: Número de caracteres a repetir en cada uno de los dos segmentos consecutivos del documento.

  La repetición de texto crea un búfer entre los segmentos del documento que ayuda a capturar frases completas y evita que el texto se pierda por completo.

• Dividir páginas PDF: Cuando se activa, rompe un archivo PDF en un segmento por página e incluye la fuente del número de página en la respuesta. Los números de página que se muestran son números de página del visor de PDF.

  Nota: Esta opción sólo está disponible cuando se añade un archivo PDF.

   

Utilice el índice vectorial con su foundation model prompt

Cuando el índice vectorial esté listo para su uso, asocie este activo de índice vectorial a una solicitud de foundation model de una de las siguientes maneras:

• En la página del activo de índice vectorial, haga clic en el icono Ver información de índice vectorial situado al principio de la página para abrir el panel Acerca de este activo y, a continuación, haga clic en Abrir en Prompt Lab.
• Desde el Prompt Lab en modo chat, haz clic en el icono Preparación con documentos al principio de la página y, a continuación, haz clic en Seleccionar o crear índice vectorial.

Utilice este patrón en su aplicación

Después de experimentar con patrones de generación aumentada por recuperación (RAG) que utilicen su conjunto de documentos, guarde la lógica de la consulta en un cuaderno para poder utilizarla en su aplicación de IA generativa.

Cuando guarde el aviso como cuaderno, seleccione la opción Flujo gen AI desplegable. El cuaderno que se genera proporciona Python para la plantilla de avisos y una función Python desplegable que puede ser consumida por las API REST.

Para obtener más información, consulte Guardar el trabajo.

Más información

• Configuración de un almacén vectorial Elasticsearch
• Configuración de un almacén vectorial watsonx.data Milvus
• Prompt Lab
• Chatear con documentos e imágenes
• Generación aumentada por recuperación (GAR)
• Vectorización de texto mediante la API

Tema principal: Añadir documentos vectorizados para fundamentar las indicaciones foundation model