Uso de un índice AutoAI RAG para chatear con documentos
Si ha creado un patrón de generación aumentada por recuperación ( AutoAI, RAG) utilizando un almacén de vectores de aprendizaje profundo ( Milvus ), puede utilizar los documentos de base indexados en el laboratorio de Prompt para añadir contexto a las respuestas generadas con modelos de base.
Como parte del proceso de ejecutar un experimento de generación aumentada por recuperación ( AutoAI ) para la generación aumentada por recuperación, los documentos de base se vectorizan y almacenan en un almacén vectorial de objetos de aprendizaje ( Milvus ). Puede utilizar el contenido vectorizado para añadir contexto a las respuestas generadas a las preguntas. Para obtener más información sobre la función de chat con documentos del laboratorio de mensajes, consulte Grounding foundation model prompts in contextual information.
Antes de empezar
Para utilizar los documentos vectorizados de su patrón AutoAI RAG, confirme que ha cumplido los siguientes requisitos:
- Hay una conexión a la instancia de la base de datos Milvus disponible desde el proyecto que está utilizando para crear mensajes.
- Ha utilizado un modelo de incrustación compatible para vectorizar los documentos.
Para obtener más información sobre cómo trabajar en el laboratorio de Prompt con contenido vectorizado, consulte Añadir documentos vectorizados para las instrucciones de Prompt de foundation model.
Conectar su índice de Milvus para chatear con documentos
Desde el Prompt Lab en modo chat, seleccione un foundation model y, a continuación, especifique los parámetros del modelo que desee utilizar para la solicitud.
Haga clic en el icono Cargar documentos
y, a continuación, seleccione Añadir documentos.Seleccionar watsonx.data Milvus como la tienda de vectores.
Defina los detalles introduciendo un nombre para los documentos de toma de tierra y seleccionando la conexión al índice.
Especifica el modelo de incrustación utilizado para crear el patrón AutoAI RAG:
slate-125m-english-rtrvr.Seleccione la colección que desea utilizar como documentos de base.
Defina el esquema de campo de colección de Milvus, especificando
document_idpara el campo Nombre del documento ytextcomo valor para el campo Texto.Pulse Crear.
Envíe preguntas sobre información del documento para ver lo bien que el modelo puede utilizar la información contextual para responder a sus preguntas.
Por ejemplo, pregunte sobre conceptos que se explican en los documentos de base.
Más información
Para obtener más información sobre cómo trabajar con mensajes, consulte Prompt Lab.
Tema principal: Automatización de un patrón RAG con AutoAI