Esempio

Il seguente prompt include il contesto per stabilire alcuni fatti:

Aisha recently painted the kitchen yellow, which is her favorite color.

Aisha's favorite color is 

A meno che Aisha non sia una persona famosa il cui colore preferito è stato citato in molti articoli online che sono inclusi nei comuni set di dati di pretraining, senza il contesto all'inizio del prompt, nessun foundation model può generare in modo affidabile il completamento corretto della frase alla fine del prompt.

Se si richiede un modello con testo che include un contesto pieno di fatti, è più probabile che l'output generato dal modello sia accurato. Per ulteriori dettagli, consultare Generazione di un output accurato.

L'origine della generazione aumentata di recupero

In questo lavoro è stato introdotto il termine retrieval-augmented generation (RAG ): Retrieval-augmented generation for knowledge-intensive NLP tasks.

"Costruiamo modelli RAG in cui la memoria parametrica è un trasformatore seq2seq pre - addestrato, e la memoria non parametrica è un indice vettoriale denso di Wikipedia, a cui si accede con un retriever neurale pre - addestrato."

In questo articolo, il termine Modelli RAG fa riferimento a un'implementazione specifica di un retriever (un codificatore di query specifico e un indice di ricerca di documenti basato su vettori) e di un generatore (uno specifico modello di linguaggio generativo pre - addestrato). Tuttavia, l'approccio di base di ricerca e generazione può essere generalizzato per utilizzare diversi componenti retriever e modelli di base.

Knowledge base

La knowledge base può essere qualsiasi raccolta di risorse utente contenenti informazioni, ad esempio:

• Informazioni sul processo nelle pagine wiki aziendali interne
• File in GitHub (in qualsiasi formato: Markdown, testo semplice, JSON, codice)
• Messaggi in uno strumento di collaborazione
• Argomenti nella documentazione del prodotto, che possono includere blocchi di testo lunghi
• Passaggi di testo in un database che supporta query SQL (structured query language), come Db2
• Un archivio documenti con una raccolta di file, come i contratti legali memorizzati come file PDF
• Ticket di assistenza clienti in un sistema di gestione dei contenuti

Programma di recupero

Il retriever può essere una qualsiasi combinazione di strumenti di ricerca e contenuto che restituiscono in modo affidabile contenuti pertinenti dalla knowledge base, inclusi strumenti di ricerca come IBM Watson Discovery o API di ricerca e contenuto come quelle fornite da GitHub.

Anche i database vettoriali sono dei retriever efficaci. Un database vettoriale memorizza non solo i dati, ma anche un inserimento vettoriale dei dati, che è una rappresentazione numerica dei dati che cattura il suo significato semantico. Al momento della query, viene utilizzato un vettore che incorpora il testo della query per trovare corrispondenze rilevanti.

IBM watsonx.ai non include un database vettoriale, ma puoi utilizzare i modelli di fondazione in watsonx.ai con qualsiasi database vettoriale sul mercato. IL quaderni di esempio illustrare i passaggi per la connessione ai database vettoriali più diffusi, come Chroma e Elasticsearch.

Per aiutarti a implementare un modello RAG in cui il retriever utilizza testo vettorizzato, watsonx.ai offre un'API di incorporamento e modelli di incorporamento che puoi utilizzare per convertire frasi e passaggi in vettori. Per ulteriori informazioni su questo tipo di implementazione RAG, consultare Utilizzo del testo vettorizzato con attività di generazione incrementate dal recupero.

Generatore

Il componente generatore può utilizzare qualsiasi modello in watsonx.ai, a seconda del caso di utilizzo, del formato del prompt e del contenuto che si sta estraendo per il contesto.