Modello di soluzione per rispondere alle domande con generazione potenziata dal recupero
È possibile creare una soluzione di IA generativa che risponda alle domande degli utenti sulla base delle informazioni contenute in una knowledge base applicando il modello di generazione potenziata dal recupero (RAG).
Caso d'uso e requisiti
Il modello RAG è utile quando è necessario un modello di base per aumentare le risposte alle domande con le informazioni fornite. Supponiamo, ad esempio, che tu voglia implementare un chatbot per il tuo nuovo prodotto che risponda alle domande sulla base della documentazione del prodotto.
Una soluzione RAG che risponda alle domande basate sulla documentazione del prodotto potrebbe includere queste attività:
- Trova la risposta alla domanda dell'utente nella documentazione del prodotto.
- Generare risposte basate sulla documentazione del prodotto.
- Collegati agli argomenti della documentazione che hanno fornito la risposta.
- Conservare tutte le domande e le risposte.
- Raccogliere il feedback degli utenti sulle risposte.
- Invia il feedback negativo agli autori della documentazione.
Architettura della soluzione
Un modello RAG include tipicamente i seguenti componenti:
- Una base di conoscenze che contiene i documenti di origine.
- Un modello di incorporamento che converte il testo nei documenti in incorporamenti vettoriali, che sono rappresentazioni numeriche.
- Un database vettoriale che memorizza le incorporazioni vettoriali dei tuoi documenti e l'indice vettoriale che cerca e recupera i contenuti.
- Un modello rapido che combina la domanda dell'utente, il contenuto recuperato e le istruzioni per generare una risposta.
- Un modello di base che genera una risposta alla domanda di un utente in base al contenuto recuperato.
La soluzione completa potrebbe includere anche i seguenti componenti:
- Un'app con un'interfaccia utente in cui gli utenti possono porre domande, ricevere risposte e fornire feedback sulle risposte.
- Un modello di riordinamento che riordina i risultati recuperati in base a quanto bene rispondono alla domanda, invece di quanto simili siano i risultati alla domanda.
- Un registro delle domande, delle risposte e dei feedback degli utenti.
- Un metodo per fornire il feedback agli autori della documentazione, che possono aggiornare la documentazione in modo che la soluzione generi risposte migliori.
- Un metodo per individuare i migliori esperti per rispondere a risposte insoddisfacenti.
Ad esempio, il grafico seguente illustra come è possibile ottimizzare la soluzione RAG adattando i contenuti per migliorare le risposte dell'IA in base al feedback degli utenti.
Implementazione della soluzione
Per implementare una soluzione basata sul modello RAG, seguire questi passaggi principali:
- Creare un database vettoriale.
- Creare un indice vettoriale.
- Specificare l'indice vettoriale nel prompt.
- Valutare il prompt.
- Aggiungere componenti opzionali.
- Implementare il modello come servizio di intelligenza artificiale.
- Chiama l'endpoint del servizio AI nella tua applicazione.
Strumenti
È possibile creare una rapida prova di concetto nell' Prompt Lab. È possibile caricare un file di documento e creare un indice vettoriale per esso nell'archivio vettoriale in memoria. Vedi Chiacchierare con i documenti. Quando si imposta un database vettoriale, è possibile creare un indice vettoriale a cui fare riferimento in un prompt. Vedere Aggiunta di documenti vettoriali per la messa a terra del modello di fondazione.
Puoi avviare la tua soluzione RAG con le domande e risposte con l'acceleratore RAG. L'acceleratore è un progetto di esempio che implementa un modello RAG con una serie di notebook di Python, che puoi personalizzare per la tua soluzione. Vedi Domande e risposte con l'acceleratore RAG.
È possibile automatizzare la ricerca del miglior modello RAG, eseguire lo strumento " AutoAI " per creare una soluzione RAG. AutoAI automatizza il flusso end-to-end dalla sperimentazione alla distribuzione. Vedere Automating a RAG pattern (Automatizzare un modello RAG) con AutoAI.
Puoi saltare l'interfaccia utente e scrivere codice con le API REST, le librerie di programmazione ( Python ) o gli SDK ( Node.js ). Vedi l' watsonx Developer Hub.
Ulteriori informazioni
- Generazione potenziata dal recupero
- Avvio rapido: Richiedi un modello di base con il modello di generazione potenziato dal recupero
Argomento principale: Progettare una soluzione di IA generativa