Fornire risposte precise con la generazione aumentata dal recupero

La Retrieval-augmented generation (RAG) combina la potenza generativa di un modello linguistico di grandi dimensioni con l'accuratezza di una raccolta di documenti di base. L'interazione con un'applicazione RAG segue questo schema:

1. Un utente invia una domanda all'applicazione.
2. La ricerca recupera innanzitutto il contesto rilevante da un insieme di documenti di base.
3. Il modello linguistico di accompagnamento genera una risposta che include le informazioni pertinenti.

Ad esempio, i notebook di esempio forniti per questa funzione utilizzano la documentazione del prodotto per la libreria client Python watsonx.ai come documenti di base per un'applicazione Q&A sulla codifica delle soluzioni watsonx.ai. Gli utenti del modello ottengono il beneficio di informazioni specifiche e pertinenti dalla documentazione, mentre il modello generativo dell'intelligenza artificiale aggiunge il contesto e presenta le risposte in linguaggio naturale.

Per una descrizione completa ed esempi di come la generazione aumentata dal reperimento può migliorare le applicazioni di domande e risposte, vedere Generazione aumentata dal reperimento (RAG).

Automatizzazione della ricerca della migliore configurazione RAG

RAG è dotato di molti parametri di configurazione, tra cui il modello linguistico di grandi dimensioni da scegliere, il modo in cui suddividere i documenti di grounding e il numero di documenti da recuperare. Le scelte di configurazione che funzionano bene per un altro caso d'uso potrebbero non essere le migliori per i vostri dati. Per creare il miglior modello RAG possibile per il vostro set di dati, potreste esplorare tutte le possibili combinazioni di opzioni di configurazione RAG per trovare, valutare e distribuire la soluzione migliore. Questa parte del processo può richiedere un notevole investimento di tempo e risorse. Così come è possibile utilizzare AutoAI per addestrare e ottimizzare rapidamente i modelli di apprendimento automatico, è possibile utilizzare le funzionalità di AutoAI per automatizzare la ricerca della soluzione RAG ottimale in base ai dati e al caso d'uso. Accelerare la sperimentazione può ridurre drasticamente i tempi di produzione.

Le caratteristiche principali dell'approccio AutoAI includono:

• Esplorazione e valutazione completa di un insieme vincolato di opzioni di configurazione .
• Rivalutare e modificare rapidamente la configurazione quando qualcosa cambia. Ad esempio, è possibile rieseguire facilmente il processo di formazione quando è disponibile un nuovo modello o quando i risultati della valutazione segnalano un cambiamento nella qualità delle risposte.

L'uso di AutoAI automatizza il flusso end-to-end dalla sperimentazione alla distribuzione. Il diagramma seguente illustra l'approccio di AutoAI per trovare un modello RAG ottimizzato per i dati e il caso d'uso in 3 livelli:

• Al livello base ci sono pipeline RAG parametrizzate che vengono utilizzate per popolare un archivio vettoriale (indice) e per recuperare i dati dall'archivio vettoriale da utilizzare quando il modello linguistico di grandi dimensioni genera le risposte.
• Successivamente, le metriche di valutazione RAG e gli strumenti di benchmarking valutano la qualità delle risposte.
• Infine, un algoritmo di ottimizzazione degli iperparametri cerca la migliore configurazione RAG possibile per i dati.

AutoAI Processo di ottimizzazione RAG

L'esecuzione degli esperimenti utilizzando AutoAI RAG evita di testare tutte le opzioni di configurazione di RAG (ad esempio, evita una ricerca su griglia) utilizzando un algoritmo di ottimizzazione iperparametrica. Il diagramma seguente mostra un sottoinsieme dello spazio di ricerca della configurazione RAG con 16 modelli RAG tra cui scegliere. Se l'esperimento le valuta tutte, vengono classificate da 1 a 16, con le tre configurazioni più alte classificate come più performanti. L'algoritmo di ottimizzazione determina quale sottoinsieme di modelli RAG valutare e interrompe l'elaborazione degli altri, che sono mostrati in grigio. Questo processo evita l'esplorazione di uno spazio di ricerca esponenziale, pur selezionando i modelli RAG più performanti nella pratica.

Utilizzare il percorso rapido per automatizzare la ricerca di un modello RAG

AutoAI offre una soluzione senza codice per automatizzare la ricerca di un modello RAG. Per utilizzare il percorso rapido, partire da un progetto e utilizzare l'interfaccia AutoAI per caricare i documenti di messa a terra e di test. Accettare la configurazione predefinita o aggiornare le impostazioni dell'esperimento. Eseguire l'esperimento per creare i modelli RAG più adatti al proprio caso d'uso.

Utilizzare l'AutoAI SDK per codificare un modello RAG

Utilizzate i notebook di esempio per imparare a usare la libreria watsonx.ai Python client (versione 1.1.11 o successiva) per codificare una soluzione RAG automatizzata per il vostro caso d'uso.

Funzioni supportate

Esaminate questi dettagli per le funzionalità fornite con la versione beta del processo AutoAI RAG.

Passi successivi

• Vedere Scelta di un archivio vettoriale per pianificare dove archiviare i documenti vettoriali.
• Vedere Creazione di un esperimento RAG (fastpath)

Argomento principale: Codifica di soluzioni di IA generativa