Pianificazione del flusso di lavoro per l'implementazione della soluzione di IA generativa

Definire un caso d'uso dell'IA

Copy link to section

Un caso d'uso dell'IA è costituito da un insieme di schede che contengono il lignaggio, la storia e altre informazioni rilevanti sul ciclo di vita di un asset dell'IA, come un modello o un prompt template.

La vostra organizzazione potrebbe richiedere di tracciare e documentare la vostra soluzione di IA per motivi di trasparenza o di conformità normativa. Tuttavia, i casi d'uso dell'intelligenza artificiale sono utili anche quando non sono necessari, perché forniscono un modo integrato per tenere traccia dei progressi, delle decisioni e delle metriche relative alla soluzione.

Per creare un caso d'uso dell'intelligenza artificiale, è necessario creare prima un inventario e poi il caso d'uso. Aggiungete data scientist, data engineer e altri utenti coinvolti nella creazione, nel test o nella gestione della vostra soluzione come collaboratori dei casi d'uso.

Sviluppo di flussi di lavoro di governance

Copy link to section

Un flusso di lavoro di governance impone un processo di revisione e approvazione dei casi d'uso dell'IA e dell'utilizzo dei modelli.

La vostra organizzazione potrebbe richiedere uno o più dei seguenti tipi di flussi di lavoro di governance:

• Flussi di lavoro di governance del rischio dei modelli per approvare i casi d'uso dell'IA, approvare gli eventi del ciclo di vita dei modelli di base, eseguire valutazioni del rischio o automatizzare il monitoraggio delle prestazioni dei modelli.
• Flussi di lavoro per la gestione della conformità normativa per elaborare gli avvisi pubblicati dagli enti normativi.
• Flussi di lavoro per la gestione del rischio operativo per tenere traccia del rischio modello insieme ad altri rischi operativi in tutta l'azienda.

Per impostare un flusso di lavoro di governance, lo si configura nella console di governance.

Impostazione di un progetto

Copy link to section

Un progetto è uno spazio di lavoro collaborativo in cui le persone lavorano con modelli e dati per raggiungere un obiettivo condiviso.

Avete bisogno di un progetto per costruire suggerimenti, eseguire esperimenti e mettere a punto i modelli.

Un progetto per una soluzione di intelligenza artificiale contiene in genere i seguenti tipi di elementi, aggiunti esplicitamente dagli ingegneri dell'intelligenza artificiale o creati come risultato di un processo:

• Risorse di connessione alle sorgenti di dati, come un archivio vettoriale o dove si memorizzano i dati di addestramento o di messa a punto.
• Risorse di dati che rappresentano set di dati per l'addestramento o la messa a punto dei modelli.
• Prompt delle risorse della sessione che si salvano per riferimento futuro.
• Prompt di risorse modello che forniscono punti finali per l'inferenza.
• I blocchi note creati dall'utente o generati da processi quali il salvataggio di un prompt come blocco note o l'esecuzione di un esperimento AutoAI.
• Indici vettoriali che rappresentano documenti vettoriali per un modello RAG.
• Gli asset di sperimentazione e di flusso creati dagli strumenti in esecuzione, come AutoAI, Tuning Studio o Synthetic Data Generator.
• Attività di servizio AI che forniscono endpoint per i modelli di gen AI, come RAG.
• Lavori creati dall'esecuzione di risorse negli strumenti.

Avete un progetto sandbox creato automaticamente. Tuttavia, potreste voler creare un progetto con un nome che rifletta il vostro obiettivo. È possibile creare un progetto dalla pagina iniziale o dal menu di navigazione. Aggiungete tutti coloro che volete che lavorino alla soluzione. Si assegna un ruolo a ciascun collaboratore per controllare le sue autorizzazioni nel progetto.

Preparazione dei dati

Copy link to section

La preparazione dei dati consiste nel fornire l'accesso ai dati richiesti nel formato e con il livello di qualità richiesti dalla soluzione.

È necessario preparare i dati se si prevede di fondare il modello con i propri documenti in un modello RAG, di valutare un modello di prompt o di mettere a punto un modello di base. Potrebbe non essere necessario preparare i dati se il caso d'uso è tradurre, riassumere, classificare o generare testo, a meno che non si vogliano eseguire valutazioni.

Per un modello RAG, si trasformano i documenti in vettori incorporati per un recupero efficiente. I documenti vettoriali vengono memorizzati in un archivio vettoriale e recuperati con un indice vettoriale. È possibile includere i documenti in un modello RAG nei seguenti modi:

• Caricare file di documenti dal sistema locale e aggiungerli a un archivio vettoriale
• Specificare i documenti presenti in un archivio vettoriale esistente
• Aggiungere documenti da un'origine dati collegata in un archivio vettoriale

È possibile scegliere tra diversi metodi di creazione di un modello RAG, a seconda delle dimensioni totali dei documenti, del livello di automazione per la sperimentazione e di altri fattori.

Per la valutazione di un modello di prompt o la messa a punto di un modello di fondazione, si fornisce un set di dati che contiene input rappresentativi per il modello e l'output appropriato che il modello deve generare in risposta. I dati di sintonizzazione possono essere forniti nei seguenti modi:

• Caricare un file dal sistema locale
• Collegarsi all'origine dati che contiene il set di dati

Sperimentare con la gen AI

Copy link to section

Un prompt è il modo in cui si istruisce un modello di fondazione a generare una risposta. È possibile salvare un prompt come modello di prompt. Quando aggiungi documenti, immagini o agenti a un prompt, lo salvi come servizio di intelligenza artificiale.

È possibile sperimentare i prompt modificando le condizioni nei seguenti modi:

• Passaggio dalla modalità chat a quella non chat
• Modifica del testo del prompt o del prompt di sistema
• Cambiare il modello di fondazione
• Regolazione dei parametri del modello
• Attivazione e disattivazione dei guardrail
• Aggiunta di immagini o documenti a una chat
• Aggiunta di variabili per modificare dinamicamente il testo del prompt
• Configurazione degli agenti per gli strumenti di chiamata

Per sviluppare i prompt, puoi sperimentare nell' Prompt Lab, oppure con le API REST, Python, o il codice Node.js. Per automatizzare la ricerca di un modello RAG ottimale, eseguire un esperimento di AutoAI per RAG. Per sviluppare un agente di intelligenza artificiale che chiami gli strumenti, è possibile scrivere codice con le API REST, Python o Node.js.

Valutazione delle risorse gen AI

Copy link to section

La valutazione di una risorsa di IA generale, come un prompt o un servizio di IA, verifica la qualità dell'output del modello per l'insieme di metriche scelte. Alcune metriche si basano sul confronto tra l'output del modello e l'output appropriato fornito nel set di dati di test. Si valuta anche l'efficienza con cui il modello genera le risposte.

La vostra organizzazione potrebbe richiedere valutazioni per la conformità alle normative o alle politiche interne. Tuttavia, le valutazioni sono utili anche quando non sono richieste, perché i punteggi delle metriche possono indicare la qualità della vostra soluzione e potrebbero prevedere una diminuzione della soddisfazione degli utenti quando i punteggi diminuiscono.

Quando si valuta un asset AI, è possibile configurare i seguenti fattori:

• La dimensione del campione da analizzare
• Quali metriche includere
• Il valore di soglia per ogni metrica

Le metriche generali forniscono i seguenti tipi di informazioni sull'asset AI:

• Le prestazioni del modello rispetto a un set di test etichettato.
• Se il modello produce risultati distorti.
• Variazioni nel tempo della precisione dei risultati del modello.
• L'efficienza con cui il modello elabora le transazioni.

Le metriche specifiche dell'IA generativa forniscono i seguenti tipi di informazioni sull'asset IA:

• Quanto è simile il testo in uscita al testo in ingresso.
• Quanto è simile il testo di output agli output di riferimento.
• Se il testo in ingresso o in uscita contiene informazioni dannose o sensibili.
• Quanto bene l'asset AI mantiene le prestazioni contro gli attacchi avversari.

Si visualizzano i risultati attuali e i risultati nel tempo. I risultati di ogni valutazione vengono aggiunti al caso d'uso per il prompt.

Per valutare un prompt, eseguite una valutazione nel Prompt Lab, con il codice o da un modello di prompt distribuito. Se si esegue un esperimento di " AutoAI " per un modello RAG, i servizi di IA candidati vengono valutati e classificati automaticamente.

Per valutare e confrontare più modelli di prompt contemporaneamente, eseguire un esperimento di valutazione in Evaluation Studio.

Ottimizzazione di un modello di fondazione

Copy link to section

L'ottimizzazione di un modello di fondazione migliora uno o più indicatori di prestazione del modello.

È possibile ottimizzare il modello di base della propria soluzione in termini di accuratezza, costi, produttività dell'inferenza o controllo del ciclo di vita del modello.

I metodi per distribuire un modello di fondazione variano in base alle seguenti caratteristiche:

• Il metodo di fatturazione è per token inferenziato o per ora ospitata
• L'ambiente di hosting è su multitenant o su hardware dedicato
• Il meccanismo di distribuzione è gestito da IBM o dall'utente
• Il modello è sintonizzato o non sintonizzato
• La politica di deprezzamento è controllata da IBM o dall'utente

Per eseguire un modello su hardware multi-tenant, pagare per token e avere il controllo del ciclo di vita del modello da parte IBM, selezionare un modello fornito e distribuito IBM.

Per sintonizzare un modello foundation, selezionare un metodo di sintonizzazione, aggiungere dati di sintonizzazione ed eseguire il lavoro in Tuning Studio o con code.Then, distribuire il modello sintonizzato su hardware multi-tenant, pagare per token e controllare il ciclo di vita del modello.

Per eseguire un modello su hardware dedicato, pagare all'ora e controllare il ciclo di vita del modello, è possibile importare e distribuire un modello personalizzato o distribuire un modello su richiesta.

Implementazione della soluzione

Copy link to section

Il deploy di una risorsa la rende disponibile per il test o per l'uso produttivo da parte di un endpoint. Dopo aver creato le distribuzioni, è possibile testarle e gestirle e preparare le risorse per la distribuzione in ambienti di pre-produzione e produzione.

Le distribuzioni vengono create negli spazi di distribuzione, che sono spazi di lavoro separati dai progetti e ai quali è possibile aggiungere un diverso gruppo di collaboratori.

Per distribuire la maggior parte dei tipi di risorse gen AI, si promuove la risorsa in uno spazio di distribuzione e si crea una distribuzione che contiene un endpoint. È quindi possibile richiamare l'endpoint dalla propria applicazione per inferenziare il modello di fondazione. Per i modelli di prompt che non contengono variabili, è possibile copiare il codice dell'endpoint direttamente da Prompt Lab. È possibile creare spazi di distribuzione separati per le distribuzioni di test, staging e produzione per supportare il flusso di lavoro ModelOps.

Monitoraggio e manutenzione della soluzione

Copy link to section

Dopo aver incorporato la soluzione nell'applicazione e averla messa in produzione, è necessario provvedere alla sua manutenzione. È inoltre possibile monitorare le prestazioni del modello. La manutenzione della soluzione può comprendere l'aggiornamento o la sostituzione del modello di base con versioni più recenti o l'ottimizzazione del modello in base alle valutazioni o al feedback degli utenti. Il monitoraggio della soluzione valuta le prestazioni del modello nell'ambiente di produzione.

L'organizzazione potrebbe richiedere di monitorare la soluzione e garantire che le prestazioni non scendano al di sotto delle soglie specificate.

Per monitorare la soluzione, aprire la distribuzione della soluzione nello spazio di distribuzione e attivare le valutazioni. È possibile utilizzare l'endpoint di registrazione del payload per inviare richieste di punteggio per le valutazioni di correttezza e deriva e utilizzare l'endpoint di registrazione del feedback per fornire dati di feedback per le valutazioni di qualità.

Se il modello di base della soluzione è fornito e distribuito da IBM, IBM potrebbe sostituire tale modello con una versione più recente. Quando IBM depreca il modello per la vostra soluzione, dovete aggiornare la soluzione per cambiare il modello prima che venga rimosso. Se avete distribuito il modello di base per la vostra soluzione, potreste voler aggiornare periodicamente il modello per migliorare le prestazioni.