Caso d'uso IBM watsonx.governance
Per gestire flussi di lavoro IA responsabili, trasparenti ed esplicabili, la tua azienda ha bisogno di un sistema integrato per monitorare, monitorare e riqualificare i modelli AI. Watsonx.governance fornisce i processi e le tecnologie per consentire all'azienda di monitorare, gestire, automatizzare e gestire il machine learning e i modelli AI generativi in produzione.
Le sfide
Watsonx.governance ti aiuta a risolvere le seguenti sfide per la tua azienda:
- Garantire la governance e la conformità per il modello di machine learning e gli asset AI generativi
- Le organizzazioni devono valutare, tracciare e documentare la cronologia dettagliata dei modelli di machine learning e degli asset di intelligenza artificiale generativi per assicurare la conformità e fornire visibilità a tutte le parti interessate.
- Gestione dei rischi e garanzia di AI responsabile
- Le organizzazioni devono monitorare i modelli in produzione per garantire che i modelli siano validi e accurati e che non stiano introducendo pregiudizi o allontanandosi dagli obiettivi previsti.
- Monitoraggio e riaggiornamento dei modelli di machine learning
- Le aziende devono automatizzare il monitoraggio e la riqualificazione dei modelli di machine learning in base al feedback di produzione.
Esempio: le sfide della Golden Bank
Segui la storia di Golden Bank che utilizza watsonx.governance per gestire i propri asset AI mentre implementano un processo per analizzare le anomalie delle azioni per aumentare la produttività e aumentare l'accuratezza di un analista di azioni nell'investment banking. Il team deve:
- Tieni traccia dei loro modelli di machine learning e degli asset di intelligenza artificiale generativi per tutto il ciclo di vita; per acquisire e condividere i fatti sugli asset; per aiutare a raggiungere gli obiettivi di governance e conformità.
- Monitorare i modelli distribuiti per correttezza, precisione, esplicabilità e deviazione.
- Valutare i modelli di prompt di riepilogo e di risposta alle domande per misurare l'efficacia con cui i modelli di base generano risposte.
- Creare una pipeline per semplificare il processo di riaggiornamento.
Processo
Per implementare watsonx.governance per la vostra azienda, la vostra azienda può seguire questo processo:
- Traccia modelli di machine learning e modelli di prompt
- Valutare modelli di machine learning e modelli di prompt
- Monitora modelli di machine learning distribuiti e modelli di prompt
Watsonx.ai e watsonx.governance forniscono gli strumenti e i processi necessari alla tua organizzazione per gestire gli asset AI.
1. Traccia modelli di machine learning e modelli di prompt
Il team può tenere traccia dei modelli di machine - learning e dei modelli di prompt dalla richiesta alla produzione e valutare se sono conformi alle normative e ai requisiti della tua organizzazione.
| Cosa è possibile utilizzare | Cosa puoi fare tu | Migliore da utilizzare quando |
|---|---|---|
| Fogli informativi | Creare un caso di utilizzo AI per tenere traccia e gestire gli asset AI dalla richiesta alla produzione. Visualizzare lo stato del ciclo di vita per tutti gli asset registrati ed eseguire il drill down ai fogli di calcolo dettagliati per i modelli, le distribuzioni o i modelli di prompt registrati nel caso di utilizzo del modello. Esaminare i dettagli acquisiti per ogni asset tracciato in un foglio di calcolo associato ad un caso di utilizzo AI. Visualizzare i dettagli di valutazione, le metriche di qualità, i dettagli di correttezza, e dettagli di deviazione. |
È necessario richiedere un modello nuovo o un modello di prompt dal team di data science. Si desidera verificare che il proprio modello o modello di prompt sia conforme e che funzioni come previsto. Si desidera determinare se è necessario aggiornare un modello o un modello di prompt in base ai dati di traccia. Si desidera eseguire i report sugli asset tracciati per condividere o conservare i dettagli. |
Esempio: traccia del modello di Golden Bank
Gli analisti di business di Golden Bank hanno richiesto un modello di previsione delle anomalie azionarie. Possono quindi tenere traccia del modello attraverso tutte le fasi del ciclo di vita dell'intelligenza artificiale mentre i data scientist o gli ingegneri ML creano e formano il modello e gli ingegneri ModelOps lo distribuiscono e lo valutano. I factsheet documentano i dettagli sulla cronologia del modello e generano metriche che ne mostrano le prestazioni.
2. Valutazione dei modelli di machine learning e dei modelli di prompt
È possibile valutare i modelli di machine learning e i modelli di prompt in progetti o spazi di distribuzione per misurarne le prestazioni. Per i modelli di machine learning, valutare il modello per qualità, correttezza e precisione. Per i modelli di base, valutare le attività del modello di base e comprendere come il proprio modello genera le risposte.
| Cosa è possibile utilizzare | Cosa puoi fare tu | Migliore da utilizzare quando |
|---|---|---|
| Progetti | Utilizzare un progetto come spazio di lavoro collaborativo per creare modelli di machine learning, modelli di base di prompt, salvare modelli di machine learning e modelli di prompt e valutare modelli di machine learning e modelli di prompt. Per default, il progetto sandbox viene creato automaticamente quando ti registri a watsonx. | Si desidera collaborare su modelli di machine learning e modelli di prompt. |
| Interfaccia utente spazi | Utilizza la IU Spaces per distribuire e valutare i modelli di machine learning, i modelli di prompt e altri asset dai progetti agli spazi. | Si desidera distribuire e valutare i modelli di machine learning e i modelli di prompt e visualizzare le informazioni di distribuzione in uno spazio di lavoro collaborativo. |
Esempio: valutazione rapida di Golden Bank
I team di data scientist e di progettazione di prompt di Golden Bank lavorano insieme per valutare i modelli di prompt di riepilogo e di risposta alle domande utilizzando i dati di test. Vogliono misurare le prestazioni del modello di base e capire come il modello genera le risposte. Le valutazioni vengono tracciate in AI Factsheets, in modo che l'intero team possa monitorare per tutto il ciclo di vita dalla fase di sviluppo fino alla fase di produzione.
3. Monitora i modelli di machine learning distribuiti e i modelli di prompt
Dopo la distribuzione dei modelli, è importante regolarli e monitorarli per assicurarsi che siano spiegabili e trasparenti. I data scientist devono essere in grado di spiegare in che modo i modelli arrivano a determinate previsioni in modo da poter determinare se le previsioni hanno una distorsione implicita o esplicita. È possibile configurare le valutazioni di deviazione per misurare le modifiche nei dati nel tempo per assicurare risultati coerenti per il modello. Utilizzare le valutazioni di deviazione per identificare le modifiche nell'output del modello, la precisione delle previsioni e la distribuzione dei dati di input.
| Cosa è possibile utilizzare | Cosa puoi fare tu | Migliore da utilizzare quando |
|---|---|---|
| Watson OpenScale | Problemi di correttezza del modello di monitoraggio in più funzionalità. Consistenza dei dati e prestazioni del modello di monitoraggio nel corso del tempo. Spiegare in che modo il modello è arrivato a determinate previsioni con fattori ponderati. Gestire e creare report sulla gestione del modello e sul ciclo di vita nell'organizzazione. |
Si dispone di funzioni protette o che potrebbero contribuire alla correttezza della previsione. Si desidera tenere traccia delle prestazioni del modello e delle congruenze dei dati nel tempo. Si desidera sapere perché il modello fornisce determinate previsioni. |
Esempio: monitoraggio del modello di Golden Bank
I data scientist di Golden Bank utilizzano Watson OpenScale per monitorare il modello di previsione delle anomalie del magazzino distribuito per garantire che sia accurato, equo e spiegabile. Eseguono un notebook per impostare i monitoraggi per il modello e quindi modificano la configurazione utilizzando l'interfaccia utente Watson OpenScale . Utilizzando le metriche del monitoraggio della qualità Watson OpenScale e del monitoraggio della correttezza, i data scientist determinano in che modo il modello prevede i risultati e se produce risultati distorti. Ottengono anche informazioni dettagliate su come il modello arriva alle decisioni in modo che le decisioni possano essere spiegate agli analisti azionari.
Esercitazioni per watsonx.governance
| Supporto didattico | Descrizione | Esperienza per l'esercitazione |
|---|---|---|
| Valutare e tracciare un modello di prompt | Valutare un modello di prompt per misurare le prestazioni del modello di base e tenere traccia del modello di prompt durante il suo ciclo di vita. | Utilizzare lo strumento di valutazione e un caso di utilizzo AI per tenere traccia del modello di prompt. |
| Valutare un modello di machine learning | Distribuire un modello, configurare i monitor per il modello distribuito e valutare il modello. | Eseguire un notebook per configurare i modelli e utilizzare Watson OpenScale per valutare. |
Fasi successive
- Crea modelli di machine learning e AI generativi con watsonx.ai
- Scalate i carichi di lavoro AI, per tutti i vostri dati, ovunque con watsonx.data Presto
Ulteriori informazioni
- Panoramica diIBM watsonx
- Panoramica diWatson Studio
- Panoramica diWatson Machine Learning
- Watson OpenScale
- Video
- Prova diversi casi di utilizzo su un sito self - service. Seleziona un caso di utilizzo per provare un'applicazione live creata con watsonx. Gli sviluppatori, accedono alla selezione rapida e alla guida alla costruzione, insieme al codice dell'applicazione di esempio, per accelerare il tuo progetto.
Argomento principale: Casi di utilizzo