Generazione potenziata dal recupero

Esempio

Copy link to section

Il seguente prompt include il contesto per stabilire alcuni fatti:

Aisha recently painted the kitchen yellow, which is her favorite color.

Aisha's favorite color is 
Copy to clipboardCopiato negli appunti

A meno che Aisha non sia una persona famosa il cui colore preferito è stato menzionato in molti articoli online inclusi nei comuni set di dati di pre-addestramento, senza il contesto all'inizio del prompt, nessun modello di base può generare in modo affidabile il completamento corretto della frase alla fine del prompt.

Se si richiede un modello con testo che include un contesto pieno di fatti, è più probabile che l'output generato dal modello sia accurato. Per ulteriori dettagli, consultare Generazione di un output accurato.

L'origine della generazione aumentata dal reperimento

Copy link to section

In questo lavoro è stato introdotto il termine retrieval-augmented generation (RAG ): Retrieval-augmented generation for knowledge-intensive NLP tasks. "Costruiamo modelli RAG in cui la memoria parametrica è un trasformatore pre-addestrato di tipo " seq2seq " e la memoria non parametrica è un indice vettoriale denso di Wikipedia, a cui si accede con un "neural retriever" riqualificato"

In questo articolo, il termine Modelli RAG fa riferimento a un'implementazione specifica di un retriever (un codificatore di query specifico e un indice di ricerca di documenti basato su vettori) e di un generatore (uno specifico modello di linguaggio generativo pre - addestrato). Tuttavia, l'approccio di base di ricerca e generazione può essere generalizzato per utilizzare diversi componenti retriever e modelli di base.

Knowledge base

Copy link to section

La knowledge base può essere qualsiasi raccolta di risorse utente contenenti informazioni, ad esempio:

• Informazioni sul processo nelle pagine wiki aziendali interne
• File in GitHub (in qualsiasi formato: Markdown, testo semplice, JSON, codice)
• Messaggi in uno strumento di collaborazione
• Argomenti nella documentazione del prodotto, che possono includere blocchi di testo lunghi
• Passaggi di testo in un database che supporta query SQL (structured query language), come Db2
• Un archivio documenti con una raccolta di file, come i contratti legali memorizzati come file PDF
• Ticket di assistenza clienti in un sistema di gestione dei contenuti

Programma di recupero

Copy link to section

Il retriever può essere una qualsiasi combinazione di strumenti di ricerca e contenuto che restituiscono in modo affidabile contenuti pertinenti dalla knowledge base, inclusi strumenti di ricerca come IBM Watson Discovery o API di ricerca e contenuto come quelle fornite da GitHub.

Anche i database vettoriali sono dei retriever efficaci. Un database vettoriale memorizza non solo i dati, ma anche un inserimento vettoriale dei dati, che è una rappresentazione numerica dei dati che cattura il suo significato semantico. Al momento della query, viene utilizzato un vettore che incorpora il testo della query per trovare corrispondenze rilevanti.

IBM watsonx.ai non include un database vettoriale, ma puoi utilizzare i modelli di fondazione in watsonx.ai con qualsiasi database vettoriale sul mercato. I notebook di esempio illustrano i passaggi per la connessione a database vettoriali diffusi, come Cloud Pak for Data e Elasticsearch.

Per aiutarvi a implementare un modello RAG in cui il retriever utilizza testo vettoriale, watsonx.ai offre un'API di incorporamento e modelli di incorporamento che potete usare per convertire frasi e passaggi in vettori. Per ulteriori informazioni su questo tipo di implementazione di RAG, vedere Utilizzo di testo vettoriale con compiti di generazione aumentata dal reperimento.

Generatore

Copy link to section

Il componente generatore può utilizzare qualsiasi modello in watsonx.ai, a seconda del caso di utilizzo, del formato del prompt e del contenuto che si sta estraendo per il contesto.