Utilizzo del testo vettorizzato con attività di generazione aumentate di richiamo
Utilizzare i modelli di incorporazione per creare integrazioni di testo che catturino il significato di una frase o di un passaggio per facilitare il richiamo delle attività di generazione aumentate.
La generazione aumentata dal recupero (RAG) è una tecnica in cui un prompt del modello di base viene aumentato con conoscenze provenienti da fonti esterne. È possibile utilizzare l'incorporamento di testo per trovare informazioni pertinenti di qualità superiore da includere nel prompt per aiutare il modello di base a rispondere in modo fattuale.
Il seguente diagramma illustra il pattern di creazione incrementato del richiamo con il supporto di integrazione.
Il modello di generazione incrementato dal richiamo con il supporto di integrazione richiede le seguenti operazioni:
- Converti il tuo contenuto in inserimenti di testo e memorizzali in un archivio dati vettoriale.
- Utilizzare lo stesso modello di integrazione per convertire l'input utente in integrazioni di testo.
- Eseguire una ricerca semantica o di similarità nella propria knowledge base per il contenuto correlato alla domanda di un utente.
- Inserire i risultati di ricerca più pertinenti nel prompt come contesto e aggiungere un'istruzione, ad esempio "Rispondi alla seguente domanda utilizzando solo le informazioni dai seguenti passaggi".
- Invia il testo del prompt combinato (istruzioni + risultati della ricerca + domanda) al modello di base.
- Il modello di base utilizza le informazioni contestuali della richiesta per generare una risposta concreta.
Aumentare l'input del modello di fondazione da Prompt Lab
Prompt Lab, in modalità chat, ha una funzione integrata che aiuta a implementare un caso d'uso RAG. Per iniziare, associ i documenti rilevanti a un prompt. I documenti che aggiungi vengono vettorizzati e archiviati in un database vettoriale. Quando viene inviata una richiesta alla chat, viene effettuata una ricerca nel database e i risultati correlati vengono inclusi nell'input inviato al modello di base. Per ulteriori informazioni, vedere le istruzioni del modello di fondazione di messa a terra nelle informazioni contestuali.
Notebook di esempio
Il quaderno di esempio Use watsonx Granite Model Series, Chroma e LangChain to answer questions (RAG) illustra i passaggi da seguire per migliorare un caso d'uso RAG con gli embeddings.
Ulteriori informazioni
- Modelli di integrazione supportati
- Generazione aumentata di recupero
- Vettorializzare il testo utilizzando l'API
- Riferimento API per le incorporazioni di testo
Argomento principale: Generazione aumentata dal recupero