Definire un caso d'uso dell'IA

Un caso d'uso dell'IA è costituito da un insieme di schede che contengono il lignaggio, la storia e altre informazioni rilevanti sul ciclo di vita di un asset dell'IA, come un modello o un prompt template.

La vostra organizzazione potrebbe richiedere di tracciare e documentare la vostra soluzione di IA per motivi di trasparenza o di conformità normativa. Tuttavia, i casi d'uso dell'intelligenza artificiale sono utili anche quando non sono necessari, perché forniscono un modo integrato per tenere traccia dei progressi, delle decisioni e delle metriche relative alla soluzione.

Per creare un caso d'uso dell'intelligenza artificiale, è necessario creare prima un inventario e poi il caso d'uso. Aggiungete data scientist, data engineer e altri utenti coinvolti nella creazione, nel test o nella gestione della vostra soluzione come collaboratori dei casi d'uso.

Sviluppo di flussi di lavoro di governance

Un flusso di lavoro di governance impone un processo di revisione e approvazione dei casi d'uso dell'IA e dell'utilizzo dei modelli.

La vostra organizzazione potrebbe richiedere uno o più dei seguenti tipi di flussi di lavoro di governance:

• Flussi di lavoro di governance del rischio dei modelli per approvare i casi d'uso dell'intelligenza artificiale, approvare gli eventi del ciclo di vita foundation model, eseguire valutazioni del rischio o automatizzare il monitoraggio delle prestazioni dei modelli.
• Flussi di lavoro per la gestione della conformità normativa per elaborare gli avvisi pubblicati dagli enti normativi.
• Flussi di lavoro per la gestione del rischio operativo per tenere traccia del rischio modello insieme ad altri rischi operativi in tutta l'azienda.

Per impostare un flusso di lavoro di governance, lo si configura nella console di governance.

Impostazione di un progetto

Un progetto è uno spazio di lavoro collaborativo in cui le persone lavorano con modelli e dati per raggiungere un obiettivo condiviso.

Avete bisogno di un progetto per costruire suggerimenti, eseguire esperimenti e mettere a punto i modelli.

Un progetto per una soluzione di intelligenza artificiale contiene in genere i seguenti tipi di elementi, aggiunti esplicitamente dagli ingegneri dell'intelligenza artificiale o creati come risultato di un processo:

• Risorse di connessione alle sorgenti di dati, come un archivio vettoriale o dove si memorizzano i dati di addestramento o di messa a punto.
• Risorse di dati che rappresentano set di dati per l'addestramento o la messa a punto dei modelli.
• Prompt delle risorse della sessione che si salvano per riferimento futuro.
• Prompt di risorse modello che forniscono punti finali per l'inferenza.
• I blocchi note creati dall'utente o generati da processi quali il salvataggio di un prompt come blocco note o l'esecuzione di un esperimento AutoAI.
• Indici vettoriali che rappresentano documenti vettoriali per un modello RAG.
• Gli asset di sperimentazione e di flusso creati dagli strumenti in esecuzione, come AutoAI, Tuning Studio o Synthetic Data Generator.
• Attività di servizio AI che forniscono endpoint per i modelli di gen AI, come RAG.
• Lavori creati dall'esecuzione di risorse negli strumenti.

Avete un progetto sandbox creato automaticamente. Tuttavia, potreste voler creare un progetto con un nome che rifletta il vostro obiettivo. È possibile creare un progetto dalla pagina iniziale o dal menu di navigazione. Aggiungete tutti coloro che volete che lavorino alla soluzione. Si assegna un ruolo a ciascun collaboratore per controllare le sue autorizzazioni nel progetto.

Preparazione dei dati

La preparazione dei dati consiste nel fornire l'accesso ai dati richiesti nel formato e con il livello di qualità richiesti dalla soluzione.

È necessario preparare i dati se si prevede di fondare il modello con i propri documenti in un modello RAG, di valutare un modello di prompt o di mettere a punto un foundation model. Potrebbe non essere necessario preparare i dati se il caso d'uso è tradurre, riassumere, classificare o generare testo, a meno che non si vogliano eseguire valutazioni.

Per un modello RAG, si trasformano i documenti in vettori incorporati per un recupero efficiente. I documenti vettoriali vengono memorizzati in un archivio vettoriale e recuperati con un indice vettoriale. È possibile includere i documenti in un modello RAG nei seguenti modi:

• Caricare file di documenti dal sistema locale e aggiungerli a un archivio vettoriale
• Specificare i documenti presenti in un archivio vettoriale esistente
• Aggiungere documenti da un'origine dati collegata in un archivio vettoriale

È possibile scegliere tra diversi metodi di creazione di un modello RAG, a seconda delle dimensioni totali dei documenti, del livello di automazione per la sperimentazione e di altri fattori.

Per la valutazione di un modello di prompt o la messa a punto di un foundation model, si fornisce un set di dati che contiene input rappresentativi per il modello e l'output appropriato che il modello deve generare in risposta. I dati di sintonizzazione possono essere forniti nei seguenti modi:

• Caricare un file dal sistema locale
• Collegarsi all'origine dati che contiene il set di dati

Sperimentare con i suggerimenti

Un prompt è il modo in cui si istruisce un foundation model a generare una risposta.

È possibile sperimentare i prompt modificando le condizioni nei seguenti modi:

• Passaggio dalla modalità chat a quella non chat
• Modifica del testo del prompt o del prompt di sistema
• Cambiare il foundation model
• Regolazione dei parametri del modello
• Attivazione e disattivazione dei guardrail
• Aggiunta di immagini o documenti a una chat
• Aggiunta di variabili per modificare dinamicamente il testo del prompt
• Configurazione degli agenti per gli strumenti di chiamata

Per sviluppare i vostri prompt, potete sperimentare nel Prompt Lab o con codice API REST, Python o Node.js. Per automatizzare la ricerca di un modello RAG ottimale, eseguire un esperimento di AutoAI per RAG.

Valutare i suggerimenti

La valutazione di un prompt verifica la qualità dell'output del modello per l'insieme di metriche scelte. Alcune metriche si basano sul confronto tra l'output del modello e l'output appropriato fornito nel set di dati di test. Si valuta anche l'efficienza con cui il modello genera le risposte.

La vostra organizzazione potrebbe richiedere valutazioni per la conformità alle normative o alle politiche interne. Tuttavia, le valutazioni sono utili anche quando non sono richieste, perché i punteggi delle metriche possono indicare la qualità della vostra soluzione e potrebbero prevedere una diminuzione della soddisfazione degli utenti quando i punteggi diminuiscono.

Quando si valuta un prompt, è possibile configurare i seguenti fattori:

• La dimensione del campione da analizzare
• Quali metriche includere
• Il valore di soglia per ogni metrica

Le metriche dell'IA generativa forniscono i seguenti tipi di informazioni sul prompt:

• La somiglianza del testo in uscita con quello in entrata
• La somiglianza del testo in uscita con gli output di riferimento
• Se il testo in ingresso o in uscita contiene informazioni dannose o sensibili

Si visualizzano i risultati attuali e i risultati nel tempo. I risultati di ogni valutazione vengono aggiunti al caso d'uso per il prompt.

Per valutare un prompt, eseguite una valutazione nel Prompt Lab, con il codice o da un modello di prompt distribuito. Se si esegue un esperimento AutoAI per un modello RAG, i prompt candidati vengono valutati e classificati automaticamente.

Per valutare e confrontare più modelli di prompt contemporaneamente, eseguire un esperimento di valutazione in Evaluation Studio.

Ottimizzazione di un foundation model

L'ottimizzazione di un foundation model migliora uno o più indicatori di prestazione del modello.

È possibile ottimizzare il foundation model della propria soluzione in termini di accuratezza, costi, velocità di inferenza o controllo del ciclo di vita del modello.

I metodi per distribuire un foundation model variano in base alle seguenti caratteristiche:

• Il metodo di fatturazione è per token inferenziato o per ora ospitata
• L'ambiente di hosting è su multitenant o su hardware dedicato
• Il meccanismo di distribuzione è gestito da IBM o dall'utente
• Il modello è sintonizzato o non sintonizzato
• La politica di deprezzamento è controllata da IBM o dall'utente

Per eseguire un modello su hardware multi-tenant, pagare per token e avere il controllo del ciclo di vita del modello da parte IBM, selezionare un modello fornito e distribuito IBM.

Per sintonizzare un foundation model, selezionare un metodo di sintonizzazione, aggiungere i dati di sintonizzazione ed eseguire il lavoro in Tuning Studio o con il codice. Quindi, distribuire il modello sintonizzato su hardware multi-tenant, pagare per token e controllare il ciclo di vita del modello.

Per eseguire un modello su hardware dedicato, pagare all'ora e controllare il ciclo di vita del modello, è possibile importare e distribuire un modello personalizzato o distribuire un modello su richiesta.

Implementazione della soluzione

Il deploy di una risorsa la rende disponibile per il test o per l'uso produttivo da parte di un endpoint. Dopo aver creato le distribuzioni, è possibile testarle e gestirle e preparare le risorse per la distribuzione in ambienti di pre-produzione e produzione.

Le distribuzioni vengono create negli spazi di distribuzione, che sono spazi di lavoro separati dai progetti e ai quali è possibile aggiungere un diverso gruppo di collaboratori.

Per distribuire la maggior parte dei tipi di risorse gen AI, si promuove la risorsa in uno spazio di distribuzione e si crea una distribuzione che contiene un endpoint. È quindi possibile richiamare l'endpoint dalla propria applicazione per inferenziare il foundation model. Per i modelli di prompt che non contengono variabili, è possibile copiare il codice dell'endpoint direttamente da Prompt Lab. È possibile creare spazi di distribuzione separati per le distribuzioni di test, staging e produzione per supportare il flusso di lavoro ModelOps.

Monitoraggio e manutenzione della soluzione

Dopo aver incorporato la soluzione nell'applicazione e averla messa in produzione, è necessario provvedere alla sua manutenzione. È inoltre possibile monitorare le prestazioni del modello. La manutenzione della soluzione può comprendere l'aggiornamento o la sostituzione del foundation model con versioni più recenti o l'ottimizzazione del modello in base alle valutazioni o al feedback degli utenti. Il monitoraggio della soluzione valuta le prestazioni del modello nell'ambiente di produzione.

L'organizzazione potrebbe richiedere di monitorare la soluzione e garantire che le prestazioni non scendano al di sotto delle soglie specificate.

Per monitorare la soluzione, aprire la distribuzione della soluzione nello spazio di distribuzione e attivare le valutazioni. È possibile utilizzare l'endpoint di registrazione del payload per inviare richieste di punteggio per le valutazioni di correttezza e deriva e utilizzare l'endpoint di registrazione del feedback per fornire dati di feedback per le valutazioni di qualità.

Se il foundation model per la vostra soluzione è fornito e distribuito da IBM, IBM potrebbe sostituire tale modello con una versione più recente. Quando IBM depreca il modello per la vostra soluzione, dovete aggiornare la vostra soluzione per cambiare il modello prima che venga rimosso. Se avete distribuito il foundation model per la vostra soluzione, potreste voler aggiornare periodicamente il modello per migliorare le prestazioni.