Qual è il vostro caso d'uso

Comprendete l'obiettivo della vostra soluzione, se tale obiettivo è fattibile e valido e come potete determinare quando la vostra soluzione è pronta:

Attività Gen AI

A cosa serve il modello?

Uscite conversazionali o separate

Capire se è necessaria un'esperienza conversazionale in cui gli utenti chattano con un modello che conserva il contesto delle interazioni precedenti o se ogni interazione con il modello è separata. Alcuni compiti, come la classificazione, la sintesi o la generazione, potrebbero non trarre vantaggio da una conversazione. Le conversazioni costano di più rispetto agli output separati, perché le conversazioni includono la cronologia delle chat con ogni input.

Fattibilità

Comprendere i limiti dei modelli di fondazione per poter valutare se il vostro caso d'uso è fattibile. Ad esempio, è possibile verificare i punteggi dei benchmark dei modelli per il tipo di caso d'uso che si desidera implementare.

Valore di business

Valutare se i benefici della soluzione sono superiori ai costi di gestione della stessa.

Criteri di riuscita

Decidere come misurare il successo della soluzione. Ad esempio, si può fare affidamento sulle metriche di valutazione o sui feedback degli utenti target.

Chi coinvolgere

Se si coinvolgono le parti interessate fin dall'inizio, si riduce il rischio di dover cambiare direzione o di ripetere parti del processo. Come minimo, coinvolgere gli stakeholder di questi team nel processo di pianificazione:

Persone che definiscono le priorità e i processi dell'organizzazione

È necessario che queste persone vi informino sui requisiti e sulle restrizioni da rispettare. Potrebbe essere necessario documentare informazioni specifiche sulla soluzione, seguire un flusso di lavoro per conformarsi a una normativa o selezionare un modello con un tipo specifico di sorgente. Ad esempio, la vostra organizzazione potrebbe richiedere la scelta di un modello open source.

Persone che utilizzano la soluzione

È necessario che queste persone definiscano i requisiti della soluzione e contribuiscano a testare e convalidare il funzionamento della soluzione nei loro processi.

Persone che creano la soluzione

È necessario che queste persone siano coinvolte nelle decisioni progettuali e operative. Questo team di collaboratori potrebbe includere designer, ingegneri dei dati, ingegneri dell'intelligenza artificiale, data scientist e responsabili del rischio e della conformità. Se state implementando una soluzione di generazione aumentata del reperimento della documentazione, prendete in considerazione la possibilità di includere i vostri redattori di contenuti, che possono adattare i contenuti all'IA.

Come gestire il rischio e la conformità

Se si comprendono i rischi e le esigenze di conformità prima di iniziare a sviluppare la soluzione, si può essere meglio preparati per gli audit successivi.

Rischi legati all'IA

Comprendere le principali dimensioni del rischio, come il rischio reputazionale, normativo e operativo. I rischi legati all'utilizzo dell'IA generativa comprendono gli stessi rischi dei modelli tradizionali di apprendimento automatico, i rischi amplificati dall'IA generativa e i nuovi rischi specifici dell'IA generativa. Ad esempio, il rischio di generare risultati con contenuti di fatto inesatti o non veritieri, definito allucinazione, è specifico dell'IA generativa.

Conformità legale e normativa

Determinare le leggi e le normative da rispettare, i metodi per monitorare la conformità e i metodi per garantire la conformità. Ad esempio, la vostra organizzazione potrebbe richiedere una valutazione formale del rischio o un flusso di lavoro di approvazione per le soluzioni di IA.

Documentazione dei casi d'uso

Creare un caso d'uso dell'IA per raccogliere tutte le informazioni per la gestione di un modello o di un prompt dalla fase di richiesta, allo sviluppo e alla produzione. La documentazione del caso d'uso rappresenta un modo pratico per tenere traccia dei progressi compiuti, indipendentemente dal fatto che l'organizzazione lo richieda o meno a fini normativi.

Come sviluppare la soluzione

Voi e il vostro team di sviluppo potete scegliere tra diversi strumenti e metodi nell'interfaccia utente di watsonx.ai o lavorare interamente con il codice:

Linguaggio codifica

Se volete scrivere codice, potete scegliere tra API REST, Python e Node.js. I fattori che determinano la scelta del linguaggio includono le preferenze e le competenze degli sviluppatori, le modalità di distribuzione della soluzione e la quantità di lavoro che il team desidera svolgere nel proprio ambiente di sviluppo interattivo (IDE) rispetto all'interfaccia utente di watsonx.ai

Livello di automazione

Potete scegliere quanto codice della soluzione viene generato per voi:

• Tutto il codice: È possibile scrivere codice con le API REST nel proprio IDE. È possibile scrivere ed eseguire codice con le librerie Python con l'editor del blocco note.

• Un po' di codice: È possibile generare notebook Python con molti strumenti e poi adattare il codice secondo le necessità. Ad esempio, è possibile generare un blocco note basato su un modello di richiesta o generare più blocchi note per incorporare e vettorializzare i documenti.

• Nessun codice: È possibile completare tutte le attività di prompt engineering, di messa a punto del modello e di incorporazione e vettorializzazione dei documenti con gli strumenti.

Funzionalità

La maggior parte delle funzionalità presenti nell'interfaccia utente di watsonx.ai è disponibile tramite API. Tuttavia, le capacità differiscono da uno strumento all'altro.

Come scegliere un modello

Non è necessario scegliere un modello prima di pianificare la soluzione. Tuttavia, se si comprende quali sono i criteri più importanti per voi e per la vostra organizzazione, si può ridurre il rischio di scegliere un modello inadeguato.

Attività

Il compito che si vuole far svolgere al modello può essere un fattore limitante per la scelta del modello. Per molti compiti di modello, è possibile scegliere tra diversi modelli. Tuttavia, per altri compiti modello, come la traduzione o la risposta in una lingua diversa dall'inglese, avete meno scelte.

Costo

Il costo dell'inferenza varia a seconda dei modelli. Se mantenere bassi i costi di inferenziazione è una priorità per voi, scegliete un modello più economico, un modello più piccolo, un modello quantizzato o un modello che potete mettere a punto.

Impatto ambientale

In generale, i modelli più grandi hanno un impatto ambientale maggiore sia durante l'addestramento sia durante l'inferenza. I modelli più piccoli e quelli quantizzati hanno un impatto ambientale minore.

Precisione e altri punteggi

Potete confrontare i benchmark dei modelli e scegliere quello che ha ottenuto punteggi elevati nelle aree più importanti per voi.

Indennità e origine del modello

La vostra organizzazione potrebbe avere delle politiche che prevedono la scelta di modelli trasparenti sui dati di formazione, open source o che offrono un'indennità.

Personalizzazione

È possibile personalizzare un modello per un dominio specifico, mettendolo a punto. È possibile scegliere di sintonizzare alcuni modelli forniti con watsonx.ai nel Tuning Studio. In alternativa, è possibile mettere a punto un modello in uno strumento esterno e importare il modello personalizzato in watsonx.ai

È possibile aggiungere conoscenze o competenze ai modelli IBM Granite con InstructLab.

Come preparare i dati

I modelli della Fondazione sono addestrati su grandi quantità di dati, ma non sui dati interni dell'azienda. Se avete bisogno di un foundation model per conoscere i dati della vostra azienda, dovete decidere come fornire i vostri dati al modello.

Documenti di messa a terra

Se avete bisogno di una soluzione che risponda alle domande basando il modello sulle informazioni contenute nei vostri documenti, potete impostare un modello di retrieval-augmented generation (RAG). In un modello RAG, si vettorializzano i documenti per recuperare in modo efficiente i passaggi che rispondono alle domande degli utenti.

Messa a punto e test dei dati

Se è necessario migliorare o adattare il risultato per attività di elaborazione del linguaggio naturale come la classificazione, il riassunto e la generazione, è possibile sintonizzare il modello. Se volete verificare la qualità del vostro prompt, potete valutarlo con le metriche dell'IA generativa. Per entrambi i compiti, è necessario fornire una serie di esempi di input e output del prompt convalidati. Se i vostri dati contengono informazioni sensibili, come le informazioni di identificazione personale (PII), assicuratevi di conoscere la politica della vostra organizzazione in materia di PII. Ad esempio, potrebbe essere necessario mascherare le PII o generare dati sintetici per mettere a punto o testare il modello.

Conoscenze o competenze

Fornire set di dati che informano il modello. È possibile utilizzare IntructLab per aumentare un foundation model esistente con le funzionalità necessarie per il proprio caso d'uso. Fornite esempi di partenza o dati di base che costituiscono la base per la generazione di dati sintetici per la messa a punto del foundation model.

Come valutare la qualità e ridurre il rischio

Dovete decidere come misurare la qualità e garantire la sicurezza.

Valutazione

È possibile valutare le prestazioni e i rischi della soluzione rispetto alle metriche standard del settore. È possibile misurare l'accuratezza testuale, la somiglianza e la qualità dei risultati del foundation model. È inoltre possibile valutare l'equità, le prestazioni e la deriva dei risultati del modello. Queste metriche aiutano a garantire che le soluzioni di IA siano prive di pregiudizi, possano essere facilmente spiegate e comprese dagli utenti aziendali e siano verificabili nelle transazioni commerciali.

Guardrail

È possibile attivare i guardrail per rimuovere i contenuti potenzialmente dannosi o i contenuti PII dal testo in entrata e in uscita nei prompt.

Test

Considerate la possibilità di creare un red team per emulare gli attacchi avversari.

Come ottimizzare e gestire i modelli di fondazione

È possibile ottimizzare un foundation model in termini di precisione, costo, latenza di inferenza e controllo del ciclo di vita del modello.

Ottimizzazione predefinita

IBM offre una serie di modelli di fondazione che vengono distribuiti su hardware multi-tenant. L'inferenza si paga a gettone. IBM controlla il ciclo di vita del modello aggiornando e deprecando i modelli. Quando un modello viene deprecato, è necessario aggiornare la soluzione in modo che faccia riferimento alla nuova versione del modello o a un modello diverso.

Ottimizzare la precisione e i costi

Se è necessario migliorare l'accuratezza del prompt e ridurre i costi inferendo un foundation model più piccolo, è possibile eseguire il prompt su un foundation model fornito. Si implementa un modello a richiesta su hardware multitenant e si paga l'inferenza per token.

Ottimizzare la precisione e il controllo

Se si è addestrato o messo a punto un modello esterno a watsonx.ai per il proprio caso d'uso, è possibile importare e distribuire un modello personalizzato. Il modello viene distribuito su hardware dedicato. Si paga all'ora per l'hosting del modello invece che per l'inferenza. L'utente controlla il ciclo di vita del modello.

Ottimizzazione della latenza e del controllo

Se la soluzione deve supportare un numero elevato di utenti contemporanei, è possibile implementare un modello deploy-on-demand fornito da IBM su hardware dedicato. L'hardware dedicato offre una latenza inferiore rispetto all'hardware multi-tenant. Si paga all'ora per l'hosting del modello invece che per l'inferenza. L'utente controlla il ciclo di vita del modello.

Come consegnare e mantenere la soluzione

Dovete decidere come fornire la vostra soluzione di IA gen e contribuire a garantirne la qualità costante.

Implementazione della soluzione

Per l'inferenziazione di un foundation model, si distribuisce un endpoint che viene richiamato nell'applicazione per l'inferenza del modello. A seconda dell'architettura della vostra soluzione di intelligenza artificiale, l'endpoint potrebbe trovarsi in uno snippet di codice, in una funzione Python, in un servizio di intelligenza artificiale o nel codice sviluppato dal vostro team.

Gestione di ModelOps con gli spazi di distribuzione

È possibile supportare un flusso ModelOps creando spazi di distribuzione separati per le versioni di test, staging e produzione della soluzione. È possibile gestire l'accesso alla soluzione di produzione aggiungendo i collaboratori appropriati a ogni spazio.

Monitoraggio

Analogamente alla valutazione della soluzione durante lo sviluppo, è possibile monitorare le prestazioni e i rischi della soluzione, come l'equità, la qualità e la spiegabilità. È possibile visualizzare le tendenze nel tempo e impostare soglie per avvisare quando le prestazioni calano.

User Feedback

Prendete in considerazione l'implementazione di un meccanismo di feedback da parte degli utenti e la creazione di un processo per raccogliere tali feedback e migliorare la vostra soluzione con essi. Ad esempio, se si implementa un pattern RAG, si può aggiungere un meccanismo di feedback per gli utenti, per valutare le risposte alle loro domande. È possibile impostare un processo per valutare le risposte errate e inadeguate e adattare il modello RAG o adattare i contenuti per fornire risposte migliori.

Ulteriori informazioni

• Confronto tra strumenti e codice

Argomento principale: Pianificazione di una soluzione di IA generativa