0 / 0
Torna alla versione inglese della documentazione
Esercitazione di governance AI: verifica e convalida del modello

Esercitazione di governance AI: verifica e convalida del modello

Eseguire questa esercitazione per valutare e monitorare il modello creato e distribuito in Esercitazione di creazione e distribuzione di un modello con il caso di utilizzo di governance AI. Il tuo obiettivo è quello di utilizzare Watson OpenScale per configurare e valutare i controlli per un modello distribuito che prevede quali candidati si qualificano per i mutui. Si desidera garantire che il modello sia accurato e che tutti gli aspiranti siano trattati in modo equo.

La storia per il tutorial è che Golden Bank vuole espandere il suo business offrendo rinnovi ipotecari a basso tasso per le applicazioni online. Le applicazioni online ampliano la portata dei clienti della banca e riducono i costi di elaborazione delle applicazioni. Come data scientist presso Golden Bank, è necessario creare un modello di approvazione del mutuo che eviti il rischio imprevisto e tratti in modo equo tutti i richiedenti. Si eseguirà un notebook Jupyter per configurare i monitor per un modello di machine learning in modo da poterli distribuire in modo produttivo con la certezza che funzionino in modo efficace e come previsto. Questa attività viene eseguita tramite i servizi Cloud Pak for Data , che insieme forniscono la fiducia nei tuoi dati, nei tuoi modelli e nei tuoi processi necessari per operare con l'intelligenza artificiale con certezza.

La seguente immagine animata fornisce una rapida anteprima di ciò che realizzerai entro la fine del tutorial. Fare clic sull'immagine per visualizzare un'immagine più grande.

Immagine animata

Anteprima dell'esercitazione

In questa esercitazione, verranno completate le seguenti attività:

Guarda il video Guarda questo video per visualizzare un'anteprima dei passi in questa esercitazione.

Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.




  • Utilizzare il video immagine - in - immagine

    Suggerimento: avviare il video, quindi, scorrendo l'esercitazione, il video passa alla modalità immagine - in - immagine. Chiudere il sommario video per la migliore esperienza con l'immagine in foto. È possibile utilizzare la modalità immagine - in - immagine in modo da poter seguire il video mentre si completano le attività in questa esercitazione. Fare clic sulla data / ora per ciascuna attività da seguire.

    La seguente immagine animata mostra come utilizzare le funzioni di immagine video e indice:

    Come usare l'immagine e i capitoli

    Ottieni aiuto nella community

    Se hai bisogno di aiuto con questa esercitazione, puoi fare una domanda o trovare una risposta nel forum di discussione della comunitàCloud Pak for Data.

    Configurare le finestre del browser

    Per un'esperienza ottimale durante il completamento di questa esercitazione, apri Cloud Pak for Data in una finestra del browser e tieni aperta questa pagina dell'esercitazione in un'altra finestra del browser per passare facilmente tra le due applicazioni. Prendi in considerazione la possibilità di organizzare le due finestre del browser fianco a fianco per renderle più semplici da seguire.

    Esercitazione e IU affiancati

    Suggerimento: se si incontra un tour guidato mentre si completa questa esercitazione nell'interfaccia utente, fare clic su Forse in seguito.

    Torna all'inizio

  • Completa l'esercitazione Crea e distribuisci un modello

    video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:00.

    Completa l'esercitazione Crea e distribuisci un modello per creare, promuovere e distribuire il modello di machine learning utilizzato in questa esercitazione.

    Fornitura dei servizi

    video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 01:14.

    Importante: Watson OpenScale è disponibile solo nelle regioni Dallas e Francoforte. Dopo aver completato l'esercitazione di creazione e distribuzione di un modello, dovresti utilizzare la regione Dallas. Se necessario, passare alla regione Dallas prima di continuare.

    Oltre ai servizi richiesti per completare l' Esercitazione di creazione e distribuzione di un modello, hai anche bisogno del servizio Watson OpenScale di cui è stato eseguito il provisioning. Attenersi alla seguente procedura per verificare o eseguire il provisioning dei servizi necessari:

    1. In Cloud Pak for Data, verifica di essere nella regione Dallas. In caso contrario, fai clic sull'elenco a discesa della regione e seleziona Dallas.
      Modifica regione

    2. Nel menu di navigazione Cloud Pak for Data Menu di navigazione, scegli Services> Service instances.

    3. Visualizza l'elenco di servizi per determinare se esiste un'istanza del servizio watsonx.governance .

    4. Se devi creare un'istanza del servizio watsonx.governance , fai clic su Aggiungi servizio.

    5. Selezionare watsonx.governance.

      1. Per la regione, seleziona Dallas.

      2. Seleziona il piano Lite.

      3. Fare clic su Crea.

    6. I seguenti servizi aggiuntivi erano richiesti per l' esercitazione di creazione e distribuzione di un modello:

      • Watson Studio
      • Watson Machine Learning
      • IBM Knowledge Catalog
      • Cloud Object Storage

    Icona Checkpoint Controlla i tuoi progressi

    La seguente immagine mostra le istanze del servizio di cui è stato eseguito il provisioning. Si è ora pronti ad avviare questa esercitazione.

    Servizi con provisioning


    Torna all'inizio

  • video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 01:30.


    Eseguire il secondo notebook incluso nel progetto di esempio per:

    • Recuperare il modello e le distribuzioni.
    • Configurare Watson OpenScale.
    • Creare il fornitore del servizio e la sottoscrizione per il proprio servizio di machine learning.
    • Configurare il monitor qualità.
    • Configurare il monitoraggio della correttezza.
    • Configurare l'esplicabilità.

    Seguire questa procedura per eseguire il notebook incluso nel progetto di esempio. Questo notebook imposta i monitor per il modello, che possono essere configurati anche tramite l'interfaccia utente. Tuttavia, è più veloce e meno incline agli errori impostarli con un notebook. Prendere un po 'di tempo per leggere i commenti nel notebook, che spiegano il codice in ogni cella.

    1. Dal menu di navigazione Cloud Pak for Data Menu di navigazione, scegli Progetti> Visualizza tutti i progetti.

    2. Aprire il progetto AI governance .

      Nota: potresti visualizzare un tour guidato che mostra le esercitazioni incluse con questo caso di utilizzo. I link nel tour guidato apriranno queste istruzioni dell'esercitazione.
    3. Fare clic sulla scheda Asset , quindi passare a Notebook.
      Barra di spostamento a sinistra

    4. Apri il notebook 2 - monitor - wml - model - with - watson - openscale .

    5. Poiché il notebook è in modalità di sola lettura, fare clic su Modifica Modificare icona per posizionare il notebook in modalità di modifica.

    6. Quando si è importato il progetto dall'hub di risorse, la prima cella di questo blocco note contiene il token di accesso del progetto. Se questo notebook non contiene una prima cella con un token di accesso al progetto, quindi per generare il token, dal menu Altro , selezionare Inserisci token del progetto. Questa azione inserisce una nuova cella come prima cella nel notebook contenente il token del progetto.

    7. Nella sezione Inserisci la chiave API IBM Cloud , incolla la chiave API nel campo ibmcloud_api_key .

    8. Fare clic su Cella> Esegui tutto per eseguire tutte le celle nel notebook. In alternativa, è possibile eseguire il notebook cella per cella se si desidera esplorare ogni cella e il suo output.

    9. Il completamento del notebook richiede da 1 a 3 minuti. È possibile monitorare la cella di avanzamento notando l'asterisco "In [*]" che cambia in un numero, ad esempio "In [1]".

    10. Se si verificano degli errori durante l'esecuzione del notebook, provare i seguenti suggerimenti per la risoluzione dei problemi:

      • Fare clic su Kernel> Restart & Clear Output per riavviare il kernel, quindi eseguire nuovamente il notebook.

      • Elimina tutte le distribuzioni Watson OpenScale esistenti e esegui il provisioning di una nuova istanza del servizio.

      • Verifica di aver creato il caso di utilizzo del modello, lo spazio di distribuzione e il nome della distribuzione in Crea e distribuisci un'esercitazione del modello copiando e incollando il nome della risorsa utente specificato esattamente senza spazi iniziali o finali.

    Icona Checkpoint Controlla i tuoi progressi

    La seguente immagine mostra il notebook quando l'esecuzione è completa. Il notebook configura i monitoraggi per il tuo modello, quindi puoi ora visualizzare la distribuzione in Watson OpenScale.

    Esecuzione notebook completata


    Torna all'inizio


  • video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 03:30.

    Segui questa procedura per scaricare i dati di holdout e utilizzali per valutare il modello in Watson OpenScale:

    1. Fai clic sul progetto AI governance nella traccia di navigazione.
      Traccia di navigazione

    2. Sulla scheda Asset , fare clic su Dati> Asset dati.

    3. Fare clic sul menu Menu di overflow Overflow per l'asset di dati GoldenBank_HoldoutData.csv e scegliere Scarica. Per convalidare che il modello funziona come richiesto, hai bisogno di una serie di dati con etichetta, che è stata trattenuta dall'addestramento del modello. Questo file CSV contiene tali dati di controllo.

    4. Avvia Watson OpenScale. Dal menu di navigazione Menu di navigazione, scegli Servizi> Istanze del servizio.

    5. Aprire l'istanza Watson OpenScale . Se richiesto, accedi utilizzando le stesse credenziali che hai utilizzato per registrarti a Cloud Pak for Data.

    6. Nella pagina dell'istanza del servizio Watson OpenScale , fai clic su Avvia applicazione.

    7. Nel dashboard Insights, fai clic sul tile Mortgage Approval Model Deployment .

    8. Dal menu Azioni , selezionare Valuta ora.

    9. Dall'elenco di opzioni di importazione, selezionare dal file CSV.

    10. Trascinare il file di dati Golden Bank_HoldoutData.csv scaricato dal progetto nel pannello laterale.

    11. Fare clic su Carica e valuta.

    Icona Checkpoint Controlla i tuoi progressi

    La seguente immagine mostra il risultato della valutazione per il modello distribuito in Watson OpenScale. Una volta valutato il modello, è possibile osservare la qualità del modello.

    modello valutato


    Torna all'inizio


  • video dell'esercitazione di anteprima Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 04:44.

    Il monitor della qualità Watson OpenScale genera una serie di metriche per valutare la qualità del proprio modello. È possibile utilizzare queste metriche di qualità per determinare in che modo il modello prevede i risultati. Quando la valutazione che utilizza i dati di holdout viene completata, attenersi alla seguente procedura per osservare la qualità o l'accuratezza del modello:

    1. Nel pannello di navigazione sinistro, fai clic sull'icona Dashboard Insights Dashboard Insight .

    2. Individuare il riquadro Distribuzione del modello di approvazione del mutuo . Si noti che la distribuzione ha 0 problemi e che i test Qualità e Correttezza sono stati superati, il che significa che il modello ha soddisfatto le soglie richieste.

    3. Fare clic sul riquadro Distribuzione del modello di approvazione del mutuo per visualizzare ulteriori dettagli.

    4. Nella sezione Qualità , fare clic sull'icona Configura Configura . Qui puoi vedere che la soglia di qualità configurata per questo monitor è del 70% e che la misura della qualità utilizzata è un'area sotto la curva ROC.

    5. Fare clic su Vai al riepilogo del modello per tornare alla finestra dei dettagli del modello.

    6. Nella sezione Qualità , fare clic sull'icona freccia destra Freccia destra per visualizzare i risultati dettagliati della qualità del modello. Qui è possibile vedere un certo numero di calcoli di metrica di qualità e una matrice di confusione che mostra le decisioni del modello corrette insieme a falsi positivi e falsi negativi. L'area calcolata sotto la curva ROC è 0.9 o superiore, che supera la soglia 0.7 , quindi il modello soddisfa i requisiti di qualità.

    7. Fare clic su Distribuzione modello di approvazione mutuo nella traccia di navigazione per tornare alla schermata dei dettagli del modello.

    Icona Checkpoint Controlla i tuoi progressi

    La seguente immagine mostra i dettagli della qualità in Watson OpenScale. Dopo aver osservato la qualità del modello, è possibile osservare la correttezza del modello.

    Qualità


    Torna all'inizio


  • video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 06:00.

    Il monitor della correttezza Watson OpenScale genera una serie di metriche per valutare la correttezza del tuo modello. È possibile utilizzare le metriche di correttezza per stabilire se il proprio modello produce risultati distorti. Attenersi alla seguente procedura per osservare la correttezza del modello:

    1. Nella sezione Correttezza , fare clic su Configura Configura . Qui si vede che il modello è in fase di revisione per garantire che i candidati siano trattati in modo equo indipendentemente dal loro sesso. Le donne sono identificate come il gruppo monitorato per il quale viene misurata la correttezza e la soglia per la correttezza deve essere almeno dell ' 80%. Il controllo della correttezza utilizza il metodo di impatto disparato per determinare la correttezza. L'impatto disparato confronta la percentuale di risultati favorevoli per un gruppo monitorato con la percentuale di risultati favorevoli per un gruppo di riferimento.

    2. Fare clic su Vai al riepilogo del modello per tornare alla finestra dei dettagli del modello.

    3. Nella sezione Correttezza , fare clic sull'icona freccia destra Freccia destra per visualizzare i risultati dettagliati della correttezza del modello. Qui si vede la percentuale di candidati maschi e femmine che vengono approvati automaticamente, insieme a un punteggio di correttezza di oltre il 100%, quindi le prestazioni del modello superano di gran lunga la soglia di correttezza dell ' 80% richiesta.

    4. Prendere nota dei dataset identificati. Per garantire che le metriche di correttezza siano più accurate, Watson OpenScale utilizza la perturbazione per determinare i risultati in cui vengono modificati solo gli attributi protetti e gli input del modello correlati, mentre le altre funzioni rimangono le stesse. La perturbazione modifica i valori della funzione dal gruppo di riferimento al gruppo monitorato o viceversa. Questi ulteriori guardavi vengono utilizzati per calcolare la correttezza quando viene utilizzato il dataset "bilanciato", ma è anche possibile visualizzare i risultati della correttezza utilizzando solo il payload o i dati di addestramento del modello. Poiché il modello si comporta correttamente, non è necessario entrare in ulteriori dettagli per questa metrica.

      Dataset di correttezza

    5. Fare clic sul percorso di navigazione Distribuzione del modello di approvazione del mutuo per tornare al pannello dei dettagli del modello.

    Icona Checkpoint Controlla i tuoi progressi

    La seguente immagine mostra i dettagli di correttezza in Watson OpenScale. Ora che hai osservato la correttezza del modello, puoi osservare l'esplicabilità del modello.

    Equità


    Torna all'inizio


  • video dell'esercitazione di anteprima Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 07:00.

    È anche importante capire come il modello sia giunto alla decisione. Questa comprensione è necessaria sia per spiegare le decisioni alle persone coinvolte nell'approvazione del mutuo sia per garantire ai proprietari del modello che le decisioni siano valide. Per comprendere queste decisioni, attenersi alla seguente procedura per osservare l'esplicabilità del modello:

    1. Nel pannello di navigazione a sinistra, fare clic su Spiega una transazione Icona Spiega una transazione .

    2. Selezionare Distribuzione modello di approvazione mutuo per visualizzare un elenco di transazioni.

    3. Per qualsiasi transazione, fare clic su Spiega nella colonna Azioni . Qui vedete la spiegazione dettagliata di questa decisione. Verranno visualizzati gli input più importanti per il modello e l'importanza di ciascuno per il risultato finale. Le barre blu rappresentano gli input che tendono a supportare la decisione del modello mentre le barre rosse mostrano gli input che potrebbero aver portato a un'altra decisione. Ad esempio, un richiedente potrebbe avere un reddito sufficiente per essere altrimenti approvato, ma la sua storia di credito scadente e il debito elevato insieme portano il modello a rifiutare la domanda. Esaminare questa spiegazione per essere soddisfatti della base della decisione del modello.

    4. (Facoltativo) Se si desidera approfondire il modo in cui il modello ha preso la sua decisione, fare clic sulla scheda Ispeziona . Utilizzare la funzione Ispeziona per analizzare la decisione di trovare aree di sensibilità in cui piccole modifiche a pochi input risulterebbero in una decisione diversa ed è possibile testare la sensibilità sovrascrivendo alcuni degli input effettivi con alternative per vedere se questi avrebbero un impatto sul risultato.

    Icona Checkpoint Controlla i tuoi progressi

    La seguente immagine mostra l'esplicabilità di una transazione in Watson OpenScale. È stato stabilito che il modello è accurato e che tutti i candidati vengono trattati in modo equo. Ora, è possibile avanzare il modello alla fase successiva nel suo ciclo di vita.

    Esplicabilità


    Torna all'inizio


  • video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 09:00.

    Attenersi alla seguente procedura per cambiare lo stato del caso d'uso del modello nell'inventario del modello e approvare il modello:

    1. Torna a Cloud Pak for Datae dal menu di navigazione Menu di navigazione, scegli Cataloghi> Inventario modelli.

    2. Per il Casi di utilizzo del modello di approvazione del mutuo, fare clic su Visualizza dettagli.

    3. Fare clic sulla scheda Asset . In Traccia del modello, è possibile vedere che il modello è ora nella fase Convalida .

    4. Fai clic sull'icona Modifica Modificare icona accanto a Stato del caso di uso modello, seleziona Promosso in pre - produzionee fai clic su Aggiorna.

    5. Torna a Watson OpenScale Dashboard Insights.

    6. Fare clic sul riquadro Distribuzione del modello di approvazione del mutuo .

    7. Dal menu Azioni , selezionare Approva per produzione, quindi fare clic su Approva. Questa azione comunica al team delle operazioni AI che ora possono distribuire il modello in uno spazio di produzione designato.

    8. Dal menu di navigazione Cloud Pak for Data , Menu di navigazione, scegli Cataloghi> Inventario modelli.

    9. Per il Casi di utilizzo del modello di approvazione del mutuo, fare clic su Visualizza dettagli.

    10. Fare clic sulla scheda Asset . In Traccia del modello, il caso di utilizzo del modello ora viene visualizzato come valutato e approvato nella fase Convalida .

    11. Visualizza la Distribuzione del modello di approvazione del mutuo per visualizzare il foglio informativo acquisito da Watson OpenScale.

    12. Chiudere il factsheet di distribuzione del modello.

    Icona Checkpoint Controlla i tuoi progressi

    La seguente immagine mostra il caso di utilizzo del modello con il modello nella fase di convalida. Il tuo modello è ora in produzione.

    Caso di utilizzo del modello nella fase di convalida

    Condividi il modello

    video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 10:39.

    È possibile generare un report da un factsheet o da un caso d'uso del modello in formato PDF, HTML e DOCX, in modo da poter condividere o stampare i dettagli relativi a un modello tracciato in un inventario del modello.

    1. Dalla scheda Asset nel caso di utilizzo del modello, fare clic su Esporta report.

    2. Per le Opzioni formato, scegliere un formato.

    3. Per il Modello di report, selezionare un modello:

      • Report completo: contiene tutti i dati del report di base e i dettagli sui modelli e le distribuzione nel caso di utilizzo del modello.

      • Report di base : contiene la serie di fatti visibili nelle schede Panoramica e Asset.

    4. Fare clic su Esporta. Il prospetto viene visualizzato in una nuova finestra.

    Icona Checkpoint Controlla i tuoi progressi

    La seguente immagine mostra il report completo per il Caso di utilizzo del modello di approvazione del mutuo. È ora possibile condividere questo report con i colleghi.

    Report del caso di utilizzo del modello


    Torna all'inizio

Come data scientist presso Golden Bank, hai creato un modello di approvazione del mutuo che evita rischi imprevisti e tratta tutti i richiedenti in modo equo. Hai eseguito un notebook Jupyter per configurare i monitor per il tuo modello di machine learning che hai distribuito in uso produttivo con la certezza che il modello funzioni in maniera efficace e come previsto.

Ripulitura (facoltativo)

Se si desidera riprendere le esercitazioni nel caso d'uso di governance AI, eliminare le seguenti risorse utente.

Risorse utente Come eliminare
Distribuzione del modello di approvazione del mutuo nello spazio di preproduzione della banca d'oro Elimina una distribuzione
Spazio di preproduzione Golden Bank Elimina uno spazio di distribuzione
Caso di utilizzo modello di approvazione mutuo Eliminare un caso di utilizzo del modello
Catalogo approvazione mutuo Elimina un catalogo
Progetto di esempio di governance AI Eliminare un progetto

Passi successivi

Ulteriori informazioni

Guarda il video Guarda come utilizzare IBM OpenPages per gestire il modello durante il suo ciclo di vita.

Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.

Argomento principale: Esercitazioni del caso d'uso

Ricerca e risposta AI generativa
Queste risposte sono generate da un modello di lingua di grandi dimensioni in watsonx.ai basato sul contenuto della documentazione del prodotto. Ulteriori informazioni