Esercitazione di governance AI: verifica e convalida del modello
Eseguire questa esercitazione per valutare e monitorare il modello creato e distribuito in Esercitazione di creazione e distribuzione di un modello con il caso di utilizzo di governance AI. Il tuo obiettivo è quello di utilizzare Watson OpenScale per configurare e valutare i controlli per un modello distribuito che prevede quali candidati si qualificano per i mutui. Si desidera garantire che il modello sia accurato e che tutti gli aspiranti siano trattati in modo equo.
La storia per il tutorial è che Golden Bank vuole espandere il suo business offrendo rinnovi ipotecari a basso tasso per le applicazioni online. Le applicazioni online ampliano la portata dei clienti della banca e riducono i costi di elaborazione delle applicazioni. Come data scientist presso Golden Bank, è necessario creare un modello di approvazione del mutuo che eviti il rischio imprevisto e tratti in modo equo tutti i richiedenti. Eseguirete un notebook Jupyter per impostare i monitor per un modello di apprendimento automatico, in modo da poterli distribuire nell'uso produttivo con la certezza che funzionino efficacemente e come previsto. Questo compito viene svolto attraverso i servizi Cloud Pak for Data, che insieme garantiscono la fiducia nei dati, la fiducia nei modelli e la fiducia nei processi necessari per operare con certezza nell'IA.
La seguente immagine animata fornisce una rapida anteprima di ciò che realizzerai entro la fine del tutorial. Fare clic sull'immagine per visualizzare un'immagine più grande.
Anteprima dell'esercitazione
In questa esercitazione, verranno completate le seguenti attività:
- Impostare i requisiti.
- Attività 1: eseguire il notebook per impostare i monitor.
- Attività 2: Valutazione del modello.
- Attività 3: osservare la qualità dei monitor del modello.
- Attività 4: osserva la correttezza dei monitor del modello.
- Attività 5: Osservare i monitor del modello per l'esplicabilità.
- Attività 6: promuovere il modello in pre - produzione e approvare il modello.
- Eliminazione (facoltativo)
Guarda questo video per visualizzare un'anteprima dei passi in questa esercitazione.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.
Suggerimenti per completare questa esercitazione
Di seguito sono riportati alcuni suggerimenti per completare correttamente questa esercitazione.
Utilizzare il video immagine - in - immagine
La seguente immagine animata mostra come utilizzare le funzioni di immagine video e indice:
Ottieni aiuto nella community
Se hai bisogno di aiuto con questa esercitazione, puoi fare una domanda o trovare una risposta nel forum di discussione della comunitàCloud Pak for Data.
Configurare le finestre del browser
Per un'esperienza ottimale durante il completamento di questa esercitazione, apri Cloud Pak for Data in una finestra del browser e tieni aperta questa pagina dell'esercitazione in un'altra finestra del browser per passare facilmente tra le due applicazioni. Prendi in considerazione la possibilità di organizzare le due finestre del browser fianco a fianco per renderle più semplici da seguire.
Imposta i requisiti
Completa l'esercitazione Crea e distribuisci un modello
Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:00.
Completa l'esercitazione Crea e distribuisci un modello per creare, promuovere e distribuire il modello di machine learning utilizzato in questa esercitazione.
Fornitura dei servizi
Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 01:14.
Oltre ai servizi richiesti per completare l' Esercitazione di creazione e distribuzione di un modello, hai anche bisogno del servizio Watson OpenScale di cui è stato eseguito il provisioning. Attenersi alla seguente procedura per verificare o eseguire il provisioning dei servizi necessari:
In Cloud Pak for Data, verifica di essere nella regione Dallas. In caso contrario, fai clic sull'elenco a discesa della regione e seleziona Dallas.
Nel menu di navigazione Cloud Pak for Data
, scegli Services> Service instances.
Visualizza un elenco di servizi per determinare se esiste un'istanza del servizio watsonx.governance o Watson OpenScale .
Se devi creare un'istanza del servizio watsonx.governance , fai clic su Aggiungi servizio.
Selezionare watsonx.governance. Nota che watsonx.governance include Watson OpenScale.
Per la regione, seleziona Dallas.
Seleziona il piano Lite.
Fare clic su Crea.
I seguenti servizi aggiuntivi erano richiesti per l' esercitazione di creazione e distribuzione di un modello:
- Watson Studio
- Watson Machine Learning
- IBM Knowledge Catalog
- Cloud Object Storage
Controlla i tuoi progressi
La seguente immagine mostra le istanze del servizio di cui è stato eseguito il provisioning. Si è ora pronti ad avviare questa esercitazione.
Attività 1: eseguire il notebook per configurare i monitor
Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 01:30.
Eseguire il secondo notebook incluso nel progetto di esempio per:
- Recuperare il modello e le distribuzioni.
- Configurare Watson OpenScale.
- Creare il fornitore del servizio e la sottoscrizione per il proprio servizio di machine learning.
- Configurare il monitor qualità.
- Configurare il monitoraggio della correttezza.
- Configurare l'esplicabilità.
Seguire questa procedura per eseguire il notebook incluso nel progetto di esempio. Questo notebook imposta i monitor per il modello, che possono essere configurati anche tramite l'interfaccia utente. Tuttavia, è più veloce e meno incline agli errori impostarli con un notebook. Prendere un po 'di tempo per leggere i commenti nel notebook, che spiegano il codice in ogni cella.
Dal menu di navigazione Cloud Pak for Data
, scegli Progetti> Visualizza tutti i progetti.
Aprire il progetto AI governance .
Nota: potresti visualizzare un tour guidato che mostra le esercitazioni incluse con questo caso di utilizzo. I link nel tour guidato apriranno queste istruzioni dell'esercitazione.Fare clic sulla scheda Asset , quindi passare a Notebook.
Apri il notebook 2 - monitor - wml - model - with - watson - openscale .
Poiché il notebook è in modalità di sola lettura, fare clic sull'icona Modifica
per posizionare il notebook in modalità di modifica.
Quando si è importato il progetto dall'hub di risorse, la prima cella di questo blocco note contiene il token di accesso del progetto. Se questo notebook non contiene una prima cella con un token di accesso al progetto, quindi per generare il token, dal menu Altro , selezionare Inserisci token del progetto. Questa azione inserisce una nuova cella come prima cella nel notebook contenente il token del progetto.
Nella sezione Inserisci la chiave API IBM Cloud , incolla la chiave API nel campo ibmcloud_api_key .
Fare clic su Cella> Esegui tutto per eseguire tutte le celle nel notebook. In alternativa, è possibile eseguire il notebook cella per cella se si desidera esplorare ogni cella e il suo output.
Il completamento del notebook richiede da 1 a 3 minuti. È possibile monitorare la cella di avanzamento notando l'asterisco "In [
*
]" che cambia in un numero, ad esempio "In [1
]".Se si verificano degli errori durante l'esecuzione del notebook, provare i seguenti suggerimenti per la risoluzione dei problemi:
Fare clic su Kernel> Restart & Clear Output per riavviare il kernel, quindi eseguire nuovamente il notebook.
Elimina tutte le distribuzioni Watson OpenScale esistenti e esegui il provisioning di una nuova istanza del servizio.
Verifica di aver creato il caso di utilizzo AI, lo spazio di distribuzione e il nome della distribuzione in Esercitazione di creazione e distribuzione di un modello copiando e incollando il nome della risorsa utente specificato esattamente senza spazi iniziali o finali.
Controlla i tuoi progressi
La seguente immagine mostra il notebook quando l'esecuzione è completa. Il notebook configura i monitoraggi per il tuo modello, quindi puoi ora visualizzare la distribuzione in Watson OpenScale.
Attività 2: valutare il modello
Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 03:30.
Segui questa procedura per scaricare i dati di holdout e utilizzali per valutare il modello in Watson OpenScale:
Fai clic sul progetto AI governance nella traccia di navigazione.
Sulla scheda Asset , fare clic su Dati> Asset dati.
Fare clic sul menu Overflow
per la risorsa dati GoldenBank_HoldoutData.csv e scegliere Download. Per convalidare che il modello funziona come richiesto, hai bisogno di una serie di dati con etichetta, che è stata trattenuta dall'addestramento del modello. Questo file CSV contiene tali dati di controllo.
Avvia Watson OpenScale. Dal menu Navigazione
, scegliere Servizi > Istanze di servizio.
Aprire l'istanza Watson OpenScale . Se richiesto, accedi utilizzando le stesse credenziali che hai utilizzato per registrarti a Cloud Pak for Data.
Nella pagina dell'istanza del servizio Watson OpenScale , fai clic su Launch Watson OpenScale.
Nel dashboard Insights, fai clic sul tile Mortgage Approval Model Deployment .
Dal menu Azioni , selezionare Valuta ora.
Dall'elenco di opzioni di importazione, selezionare dal file CSV.
Trascina il D'oroBank_HoldoutData .csv file di dati scaricato dal progetto nel pannello laterale.
Fare clic su Carica e valuta.
Controllare i progressi compiuti
La seguente immagine mostra il risultato della valutazione per il modello distribuito in Watson OpenScale. Una volta valutato il modello, è possibile osservare la qualità del modello.
Attività 3: Osservazione della qualità dei monitor del modello
Per vedere un'anteprima di questa attività, guardate il video a partire da 04:44.
Il monitor della qualità Watson OpenScale genera una serie di metriche per valutare la qualità del proprio modello. È possibile utilizzare queste metriche di qualità per determinare in che modo il modello prevede i risultati. Quando la valutazione che utilizza i dati di holdout viene completata, attenersi alla seguente procedura per osservare la qualità o l'accuratezza del modello:
Nel pannello di navigazione sinistro, fare clic sull'icona Dashboard Insights
.
Individuare il riquadro Distribuzione del modello di approvazione del mutuo . Si noti che la distribuzione ha 0 problemi e che i test Qualità e Correttezza sono stati superati, il che significa che il modello ha soddisfatto le soglie richieste.
Fare clic sul riquadro Distribuzione del modello di approvazione del mutuo per visualizzare ulteriori dettagli.
Nella sezione Qualità, fare clic sull'icona Configura
. Qui puoi vedere che la soglia di qualità configurata per questo monitor è del 70% e che la misura della qualità utilizzata è un'area sotto la curva ROC.
Fare clic su Vai al riepilogo del modello per tornare alla finestra dei dettagli del modello.
Nella sezione Qualità, fare clic sull'icona Dettagli
per visualizzare i risultati dettagliati della qualità del modello. Qui è possibile vedere un certo numero di calcoli di metrica di qualità e una matrice di confusione che mostra le decisioni del modello corrette insieme a falsi positivi e falsi negativi. L'area calcolata sotto la curva ROC è 0.9 o superiore, che supera la soglia 0.7 , quindi il modello soddisfa i requisiti di qualità.
Fare clic su Distribuzione modello di approvazione mutuo nella traccia di navigazione per tornare alla schermata dei dettagli del modello.
Controllare i progressi compiuti
La seguente immagine mostra i dettagli della qualità in Watson OpenScale. Dopo aver osservato la qualità del modello, è possibile osservare la correttezza del modello.
Attività 4: Osservare i monitor del modello per verificare la correttezza
Per avere un'anteprima di questa attività, guardate il video che inizia a 06:01.
Il monitor della correttezza Watson OpenScale genera una serie di metriche per valutare la correttezza del tuo modello. È possibile utilizzare le metriche di correttezza per stabilire se il proprio modello produce risultati distorti. Attenersi alla seguente procedura per osservare la correttezza del modello:
Nella sezione Equità, fare clic sull'icona Configura
. Qui si vede che il modello è in fase di revisione per garantire che i candidati siano trattati in modo equo indipendentemente dal loro sesso. Le donne sono identificate come il gruppo monitorato per il quale viene misurata la correttezza e la soglia per la correttezza deve essere almeno dell ' 80%. Il controllo della correttezza utilizza il metodo di impatto disparato per determinare la correttezza. L'impatto disparato confronta la percentuale di risultati favorevoli per un gruppo monitorato con la percentuale di risultati favorevoli per un gruppo di riferimento.
Fare clic su Vai al riepilogo del modello per tornare alla finestra dei dettagli del modello.
Nella sezione Equità, fare clic sull'icona Dettagli
per vedere i risultati dettagliati dell'equità del modello. Qui si vede la percentuale di candidati maschi e femmine che vengono approvati automaticamente, insieme a un punteggio di correttezza di oltre il 100%, quindi le prestazioni del modello superano di gran lunga la soglia di correttezza dell ' 80% richiesta.
Prendere nota dei dataset identificati. Per garantire che le metriche di correttezza siano più accurate, Watson OpenScale utilizza la perturbazione per determinare i risultati in cui vengono modificati solo gli attributi protetti e gli input del modello correlati, mentre le altre funzioni rimangono le stesse. La perturbazione modifica i valori della funzione dal gruppo di riferimento al gruppo monitorato o viceversa. Questi ulteriori guardavi vengono utilizzati per calcolare la correttezza quando viene utilizzato il dataset "bilanciato", ma è anche possibile visualizzare i risultati della correttezza utilizzando solo il payload o i dati di addestramento del modello. Poiché il modello si comporta correttamente, non è necessario entrare in ulteriori dettagli per questa metrica.
Fare clic sul percorso di navigazione Distribuzione del modello di approvazione del mutuo per tornare al pannello dei dettagli del modello.
Controllare i progressi compiuti
La seguente immagine mostra i dettagli di correttezza in Watson OpenScale. Ora che hai osservato la correttezza del modello, puoi osservare l'esplicabilità del modello.
Attività 5: Osservare i monitor del modello per l'esplicabilità
Per vedere un'anteprima di questa attività, guardate il video a partire da 07:42.
È anche importante capire come il modello sia giunto alla decisione. Questa comprensione è necessaria sia per spiegare le decisioni alle persone coinvolte nell'approvazione del mutuo sia per garantire ai proprietari del modello che le decisioni siano valide. Per comprendere queste decisioni, attenersi alla seguente procedura per osservare l'esplicabilità del modello:
Nel pannello di navigazione sinistro, fare clic sull'icona Spiega una transazione
.
Selezionare Distribuzione modello di approvazione mutuo per visualizzare un elenco di transazioni.
Per qualsiasi transazione, fare clic su Spiega nella colonna Azioni . Qui vedete la spiegazione dettagliata di questa decisione. Verranno visualizzati gli input più importanti per il modello e l'importanza di ciascuno per il risultato finale. Le barre blu rappresentano gli input che tendono a supportare la decisione del modello mentre le barre rosse mostrano gli input che potrebbero aver portato a un'altra decisione. Ad esempio, un richiedente potrebbe avere un reddito sufficiente per essere altrimenti approvato, ma la sua storia di credito scadente e il debito elevato insieme portano il modello a rifiutare la domanda. Esaminare questa spiegazione per essere soddisfatti della base della decisione del modello.
(Facoltativo) Se si desidera approfondire il modo in cui il modello ha preso la sua decisione, fare clic sulla scheda Ispeziona . Utilizzare la funzione Ispeziona per analizzare la decisione di trovare aree di sensibilità in cui piccole modifiche a pochi input risulterebbero in una decisione diversa ed è possibile testare la sensibilità sovrascrivendo alcuni degli input effettivi con alternative per vedere se questi avrebbero un impatto sul risultato.
Controllare i progressi compiuti
La seguente immagine mostra l'esplicabilità di una transazione in Watson OpenScale. È stato stabilito che il modello è accurato e che tutti i candidati vengono trattati in modo equo. Ora, è possibile avanzare il modello alla fase successiva nel suo ciclo di vita.
Attività 6: Promuovere il modello per la pre - produzione e approvare il modello
Per vedere un'anteprima di questo compito, guardate il video a partire da 09:21.
Attenersi alla seguente procedura per cambiare lo stato del caso di utilizzo AI nell'inventario del modello e approvare il modello:
Tornate a Cloud Pak for Data e dal menu di navigazione
, scegliete Cataloghi > Casi d'uso AI.
Aprite il caso d'uso Modello di approvazione del mutuo.
Fare clic sulla scheda Ciclo di vita per verificare che il modello si trovi nella fase Convalida .
Fare clic sull'icona Modifica
accanto a Stato, selezionare Convalida completata e fare clic su Aggiornamento.
Torna a Watson OpenScale Dashboard Insights.
Fare clic sul riquadro Distribuzione del modello di approvazione del mutuo .
Dal menu Azioni , selezionare Approva per produzione, quindi fare clic su Approva. Questa azione comunica al team delle operazioni AI che ora possono distribuire il modello in uno spazio di produzione designato.
Dal menu di navigazione Cloud Pak for Data
, scegliere Cataloghi > Casi d'uso dell'intelligenza artificiale.
Per il caso d'uso del modello di approvazione del mutuo, fare clic su Visualizza dettagli.
Fare clic sulla scheda Ciclo di vita . In Traccia del modello, il caso di utilizzo AI viene ora visualizzato come valutato e approvato nella fase Convalida .
Visualizza la Distribuzione del modello di approvazione del mutuo per visualizzare il foglio informativo acquisito da Watson OpenScale.
Chiudere il factsheet di distribuzione del modello.
Controllare i progressi compiuti
La seguente immagine mostra il caso di utilizzo AI con il modello nella fase di convalida. Il tuo modello è ora in produzione.
Controllare i progressi compiuti
La seguente immagine mostra il report completo per il Caso di utilizzo del modello di approvazione del mutuo. È ora possibile condividere questo report con i colleghi.
In qualità di data scientist presso Golden Bank, hai creato un modello di approvazione del mutuo che evita rischi imprevisti e tratta tutti i richiedenti in modo equo. Avete eseguito un notebook Jupyter per impostare i monitor per il vostro modello di apprendimento automatico, che avete distribuito nell'uso produttivo con la certezza che il modello funziona in modo efficace e come previsto.
Ripulitura (facoltativo)
Se si desidera riprendere le esercitazioni nel caso d'uso di governance AI, eliminare le seguenti risorse utente.
Risorse utente | Come eliminare |
---|---|
Distribuzione del modello di approvazione del mutuo nello spazio di preproduzione della banca d'oro | Elimina una distribuzione |
Spazio di preproduzione Golden Bank | Elimina uno spazio di distribuzione |
Caso di utilizzo modello di approvazione mutuo | Eliminare un caso d'uso del modello |
Catalogo approvazione mutuo | Elimina un catalogo |
Progetto di esempio di governance AI | Eliminare un progetto |
Passi successivi
Prova l'esercitazione Orchestrate an AI pipeline with model monitoring.
Registrati per un altro caso di utilizzo.
Prova altre esercitazioni di creazione, distribuzione e affidabilità dei modelli.
Creare un modello utilizzando AutoAI.
Scopri gli esempi end-to-end di Industry Accelerator.
Ulteriori informazioni
Guardate come utilizzare IBM OpenPages per gestire il modello attraverso il suo ciclo di vita.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.
Argomento principale: Esercitazioni del caso d'uso