Conversazione con documenti e immagini

Chattare con i documenti caricati

Copy link to section

Per testare rapidamente sia la qualità di un documento che le capacità di un modello di base prima di utilizzare il modello o il documento in una soluzione di generazione aumentata dal recupero (RAG), chatta con il documento in Prompt Lab.

Il testo del documento caricato viene convertito in incorporazioni di testo e memorizzato in un indice vettoriale in cui le informazioni possono essere ricercate rapidamente. Quando viene inviata una domanda utilizzando il prompt, viene eseguita una ricerca di somiglianza sull'indice del vettore per trovare contenuto pertinente. I risultati di ricerca migliori vengono aggiunti al prompt come contesto e inviati insieme alla domanda originale al modello di base come input.

A scopo di test, è possibile accettare le impostazioni predefinite per l'archivio vettoriale in memoria che viene creato automaticamente.

Se si decide di implementare una soluzione più robusta che utilizza documenti vettoriali, vedere Aggiunta di documenti vettoriali per la messa a terra del modello di fondazione per ulteriori informazioni sulle opzioni di configurazione.

Per conversare con un documento, completare la seguente procedura:

1. Dall' Prompt Lab, in modalità chat, selezionare un modello di fondazione e quindi specificare i parametri del modello che si desidera utilizzare per la richiesta.

2. Fare clic sull'icona Carica documenti ', quindi scegliere Aggiungi documenti.

   Sfoglia per caricare un file o scegliere un asset di dati nel progetto con il file che si desidera aggiungere. Per ulteriori informazioni sui tipi di file supportati, vedere Documenti di base.

   Se si desidera utilizzare un indice vettoriale più robusto dell'indice in-memory predefinito per archiviare i documenti, vedere Creazione di un indice vettoriale.

3. Fare clic su Crea.

   Potrebbe essere visualizzato un messaggio che indica che la creazione dell'indice vettoriale è in corso. Per sapere quando l'indice è pronto, chiudere il messaggio, quindi fare clic sul documento caricato per aprire la pagina dei dettagli dell'asset dell'indice vettoriale.

4. Presentate domande sulle informazioni contenute nel documento per verificare quanto il modello sia in grado di utilizzare le informazioni contestuali per rispondere alle vostre domande.

   Ad esempio, è possibile chiedere al modello di base di riassumere il documento o chiedere informazioni sui concetti spiegati nel documento.

Se le risposte che ci si aspettava non vengono trovate, è possibile rivedere la configurazione dell'asset dell'indice vettoriale e apportare le dovute modifiche. Vedere Gestione di un indice vettoriale.

Chattare con le immagini caricate

Copy link to section

Carica un'immagine da aggiungere all'input che invii a un modello di fondazione multimodale. Dopo aver aggiunto l'immagine, è possibile porre domande sul contenuto dell'immagine.

Assicurati di rivedere e implementare tutti i suggerimenti del fornitore del modello di base che aiutano a mantenere il modello in pista e bloccare contenuti inappropriati, come l'aggiunta di eventuali prompt di sistema consigliati. Per ulteriori informazioni su come modificare un prompt di sistema, vedere Modelli di chat.

I requisiti dell'immagine sono i seguenti:

• Aggiungere un'immagine per ogni chat
• I tipi di file supportati sono PNG o JPEG
• Le dimensioni possono essere fino a 4 MB
• Un'immagine viene conteggiata come circa 1.200-3.000 gettoni, a seconda delle dimensioni dell'immagine

Per chattare con un'immagine, completare i seguenti passaggi:

1. Dall' Prompt Lab, in modalità chat, selezionare un modello di base in grado di convertire le immagini in testo, quindi specificare i parametri del modello che si desidera utilizzare per la richiesta.

2. Fare clic sull'icona Carica documenti , quindi scegliere Aggiungi immagine.

   Sfogliare per caricare un file immagine o scegliere una risorsa di dati nel progetto con il file immagine che si desidera aggiungere.

3. Fare clic su Aggiungi.

4. Immettere una domanda sull'immagine e inviare la richiesta.

   Siate specifici su ciò che volete sapere sull'immagine.

5. Opzionale: Salva il prompt come modello di prompt o sessione di prompt.

   Nota: Non è possibile salvare una chat con un'immagine aggiunta come blocco note.

   Per ulteriori informazioni, vedere Salvataggio del lavoro.

L'immagine aggiunta viene salvata nel bucket IBM Cloud Object Storage associato al progetto come risorsa dati.

Vedere esempi di suggerimenti utilizzati per parlare di immagini con i seguenti modelli di fondazione:

• llama-4-scout-17b-16e-instruct
• llama-4-maverick-17b-128e-instruct-fp8
• llama-3-2-11b-vision-instruct
• llama-3-2-90b-vision-instruct
• llama-guard-3-11b-vision
• pixtral-12b

Alternativa programmatica

Copy link to section

È inoltre possibile utilizzare l'API di chat di watsonx.ai per richiedere a un modello di base informazioni sulle immagini. Per ulteriori informazioni, vedere Aggiunta di una funzione di chat generativa alle applicazioni con l'API di chat.

Prompting the Llama 4 Modelli di istruzione

Copy link to section

Promuovere il modello di visione Llama 3.2 11B

Copy link to section

Nell'esempio seguente, un diagramma del modello di generazione aumentata di recupero (RAG) viene inviato al modello di base dell' llama-3-2-11b-vision-instruct, insieme all'istruzione " Explain the process that is shown in the image".

Il modello della fondazione " llama-3-2-11b-vision-instruct " risponde con la seguente spiegazione esauriente:

L'immagine illustra il processo di interazione di un utente con un chatbot o un sistema di intelligenza artificiale conversazionale. Ecco una spiegazione passo per passo:

1. Ingresso dell'utente: L'utente inizia la conversazione ponendo una domanda o fornendo un input.

2. Domanda: La domanda dell'utente viene ricevuta dal sistema, che la elabora.

3. Ricerca: Il sistema cerca nella sua base di conoscenza o nel database per trovare informazioni rilevanti relative alla domanda dell'utente.

4. Risultati principali della ricerca: Il sistema recupera i risultati di ricerca più importanti dal processo di ricerca.

5. Input = Istruzione + Risultati della ricerca + Domanda: Il sistema combina l'input dell'utente (domanda), i risultati della ricerca e qualsiasi contesto o istruzione aggiuntiva per formare una comprensione completa dell'intento dell'utente.

6. Modello di base: il sistema utilizza un modello di base, ovvero un modello linguistico di grandi dimensioni che è stato pre-addestrato su una grande quantità di dati testuali. Questo modello viene utilizzato per generare risposte contestualmente rilevanti e accurate.

7. Risposta fattuale: Il modello di base elabora l'input combinato e genera una risposta fattuale basata sui risultati della ricerca e sull'input dell'utente.

In sintesi, l'immagine raffigura un utente che interagisce con un chatbot o un sistema di IA conversazionale, che utilizza una combinazione di elaborazione del linguaggio naturale (NLP), apprendimento automatico e recupero della conoscenza per fornire una risposta concreta alla domanda dell'utente.

Promuovere il modello di visione Llama 3.2 90B

Copy link to section

Questo esempio illustra come le istruzioni fornite nel testo influiscano sulla qualità del modello di fondazione.

Il prompt inviato al modello della fondazione " llama-3-2-90b-vision-instruct " include un'immagine che illustra un testo alternativo efficace da utilizzare per un'immagine di un grafico delle entrate.

Quando l'istruzione è specifica, il modello di fondazione genera una risposta utile.

Istruzione

Che cosa trasmette l'immagine rispetto al testo alternativo dell'immagine?

Risposta

L'immagine mostra come il testo alternativo possa essere utilizzato per fornire una descrizione concisa e informativa di un'immagine per le persone ipovedenti. Il testo alt di esempio per un grafico a barre recita: "grafico a barre che mostra le vendite giornaliere del mese rispetto alla media storica", che trasmette efficacemente le informazioni essenziali contenute nell'immagine. Questo approccio garantisce che tutti gli utenti, indipendentemente dalle loro capacità visive, possano accedere e comprendere i dati presentati nel grafico.

Quando si impartisce un'istruzione generica al modello, il modello di base descrive in dettaglio gli elementi visivi dell'immagine, ma non sempre interpreta le informazioni trasmesse dall'immagine.

Istruzione

Spiegare l'immagine.

Risposta

Descrive dettagliatamente gli elementi visivi e tenta di spiegare le informazioni veicolate dall'immagine fittizia, senza cogliere l'idea più grande che viene espressa, come dimostra questo estratto della risposta:

In generale, l'immagine suggerisce che l'azienda ha registrato una crescita significativa delle entrate nell'ultimo anno, con un aumento notevole a febbraio. La linea rosa che evidenzia le vendite medie mensili fornisce un contesto per l'andamento dei ricavi, consentendo agli spettatori di comprendere rapidamente le prestazioni dell'azienda.

Utilizzo del modello di visione Llama Guard per verificare la sicurezza delle immagini

Copy link to section

Questo esempio mostra l'llama-guard-3-11b-vision che classifica la sicurezza di un'immagine e del testo che la accompagna, inviati come input. Per ulteriori informazioni sui tipi di contenuti classificati come non sicuri, consultare la scheda modello.

Note sull'uso del modello di fondazione dell' llama-guard-3-11b-vision :

• Per trovare il modello, dal menu a discesa del campo Modello, scegliere Visualizza tutti i modelli di fondazione. Modificare i filtri di ricerca deselezionando l'opzione Task>Chat e selezionando l'opzione Modalities>Image.

• Non modificare il prompt di sistema per il modello di base.

La schermata mostra che l'immagine di un cucciolo viene classificata con precisione come safe.

Il modello considera sia l'immagine che il testo del messaggio quando valuta il contenuto per la sicurezza. Ad esempio, la seguente schermata mostra un'immagine innocua di un edificio, ma con un testo corrispondente che chiede consigli su come entrare illegalmente nell'edificio.

La categoria S2 identifica i riferimenti ai reati non violenti. Per ulteriori informazioni sulle categorie che il modello della fondazione " llama-guard-3-11b-vision " è addestrato a riconoscere, consultare la documentazione di Llama Guard 3.

Per un esempio di prompt che mostra come inviare un prompt di solo testo, vedere Esempio di prompt: Classificare i prompt per la sicurezza.

Il modello Pixtral-12b è stato sollecitato

Copy link to section

Nell'esempio seguente, un diagramma che spiega le differenze tra i modelli di intelligenza artificiale tradizionali e i modelli di intelligenza artificiale di base viene presentato al modello di intelligenza artificiale di base dell' pixtral-12b, insieme alle istruzioni, What information does this image convey?.

Il modello della fondazione " pixtral-12b " risponde con la seguente spiegazione esauriente:

L'immagine contrappone i modelli di IA tradizionali a quelli di fondazione, evidenziandone i rispettivi meccanismi e capacità.

Modelli tradizionali di intelligenza artificiale Sul lato sinistro dell'immagine sono rappresentati i modelli tradizionali di IA. Questi modelli funzionano come segue:

1. Addestramento: Ogni modello viene addestrato su un tipo specifico di dati (rappresentati da diverse icone come documenti, database, fogli di calcolo e così via).
2. Modelli: Ogni tipo di dati dà luogo alla creazione di un modello distinto (model_1, model_2, model_3 e così via).
3. Compiti: Ogni modello è specializzato per compiti particolari, indicati dai segni di spunta verdi.

Modelli di fondazione Sul lato destro dell'immagine sono illustrati i modelli di fondazione:

1. Dati esterni di grandi dimensioni: I modelli della Foundation vengono addestrati su una vasta quantità di dati esterni diversi, rappresentati da varie icone, tra cui un database, un documento, un codice e altro ancora. Modello One Foundation: Questo modello viene addestrato su un'enorme quantità di dati esterni, consentendogli di gestire un'ampia gamma di compiti.
2. Prompt: I compiti vengono eseguiti utilizzando dei suggerimenti, che guidano le risposte del modello.
3. Compiti: Il modello base può gestire molteplici compiti, tra cui:
   • Traduzione
   • Generazione di testo
   • Generazione del codice
   • Risposte a domande concrete

Riepilogo

• Modelli di intelligenza artificiale tradizionali: Specializzati per compiti specifici dopo essere stati addestrati su particolari set di dati.
• Modelli di base: Addestrati su insiemi di dati vasti e diversificati, che consentono di gestire più attività con un unico modello utilizzando i prompt.

Ulteriori informazioni

Copy link to section

• Aggiunta di documenti vettorializzati per la messa a terra del modello di fondazione
• Generazione aumentata dal recupero (RAG)
• Utilizzo di testo vettorizzato con attività di generazione aumentata di recupero
• Aggiunta di una funzione di chat generativa alle applicazioni con l'API di chat

Argomento principale: Prompt Lab