Utilizzo di un indice AutoAI RAG per chattare con i documenti
Se hai creato un modello di generazione aumentata dal recupero dell' AutoAI e (RAG) utilizzando un archivio vettoriale dell' Milvus, puoi utilizzare i documenti di base indicizzati nel laboratorio Prompt per aggiungere contesto alle risposte generate con i modelli di base.
Come parte del processo di esecuzione di un esperimento di generazione aumentata di recupero ( AutoAI ), i documenti di base vengono vettorializzati e memorizzati in un archivio vettoriale ( Milvus ). È possibile utilizzare il contenuto vettoriale per aggiungere un contesto alle risposte generate ai prompt. Per ulteriori informazioni sulla funzione Chat con documenti del Prompt lab, vedere Grounding foundation model prompts in contextual information.
Prima di iniziare
Per utilizzare i documenti vettoriali del modello RAG AutoAI, verificare che siano soddisfatti i seguenti requisiti:
- Una connessione all'istanza del database Milvus è disponibile dal progetto che si sta utilizzando per creare i prompt.
- Avete utilizzato un modello di incorporazione supportato per vettorializzare i documenti.
Per i dettagli sul lavoro nel laboratorio Prompt con contenuti vettorializzati, vedere Aggiunta di documenti vettorializzati per la messa a terra dei prompt di foundation model.
Collegare l'indice di un Milvus e per chattare con i documenti
Dall' Prompt Lab, in modalità chat, selezionare un' foundation model, quindi specificare i parametri del modello che si desidera utilizzare per la richiesta.
Fare clic sull'icona Carica documenti
, quindi scegliere Aggiungi documenti.Selezionare watsonx.data Milvus come archivio vettoriale.
Definire i dettagli inserendo un nome per i documenti di messa a terra e selezionando il collegamento all'indice.
Specifica il modello di embeddings usato per creare il modello RAG AutoAI:
slate-125m-english-rtrvr.Selezionare la raccolta da utilizzare come documenti di base.
Definisci lo schema del campo di raccolta dell' Milvus, specificando "
document_id" per il campo "Nome documento" e "text" come valore per il campo "Testo ".Fare clic su Crea.
Presentate domande sulle informazioni contenute nel documento per verificare quanto il modello sia in grado di utilizzare le informazioni contestuali per rispondere alle vostre domande.
Ad esempio, chiedete dei concetti che sono spiegati nei documenti di base.
Ulteriori informazioni
Per dettagli sul lavoro con i prompt, vedere Prompt Lab.
Argomento principale: Automatizzazione di un modello RAG con AutoAI