Introduzione rapida: valutare un modello di machine learning
Seguire questa esercitazione per scoprire come valutare un modello che prevede quali candidati si qualificano per i mutui. È necessario valutare il modello per la qualità, la correttezza e l'esplicabilità.
- Servizi richiesti
- Watson Machine Learning
- Watson Studio
- Watson OpenScale
Il flusso di lavoro di base include le seguenti attività:
- Aprire un progetto. I progetti sono dove è possibile collaborare con altri per lavorare con dati e modelli.
- Creare un modello. È possibile creare un modello utilizzando uno dei seguenti metodi:
- Creare un blocco note Jupyter e aggiungere codice Python.
- Creare un esperimento AutoAI .
- Distribuisci il tuo modello.
- Configurare i monitor Watson OpenScale utilizzando uno dei seguenti metodi:
- Creare un blocco note Jupyter.
- Aggiungi la distribuzione al dashboard Watson OpenScale utilizzando l'IU.
Leggi Watson OpenScale
Watson OpenScale tiene traccia e misura dei risultati dei tuoi modelli di intelligenza artificiale e aiuta a garantire che rimangano equi, spiegabili e conformi, indipendentemente da dove i tuoi modelli sono stati creati o sono in esecuzione. Watson OpenScale rileva e aiuta a correggere la deviazione nell'accuratezza quando un modello AI è in produzione.
Guarda un video sulla valutazione di un modello di machine learning
Guarda questo video per visualizzare un'anteprima dei passi in questa esercitazione. Potrebbero esserci lievi differenze nell'interfaccia utente mostrata nel video. Il video è destinato ad essere un compagno del tutorial scritto.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.
Prova un'esercitazione sulla valutazione di un modello di machine learning
In questa esercitazione, verranno completate le seguenti attività:
- Attività 1: creare un progetto di esempio
- Attività 2: distribuire il modello
- Attività 3: eseguire il notebook per impostare i monitor
- Attività 4: valutazione del modello
- Attività 5: Osservazione della qualità dei monitor modello
- Attività 6: osservare la correttezza dei monitor del modello
- Attività 7: Osservare i monitor del modello per la deviazione
- Attività 8: Osservare i monitor del modello per l'esplicabilità
Suggerimenti per completare questa esercitazione
Di seguito sono riportati alcuni suggerimenti per completare correttamente questa esercitazione.
Utilizzare il video immagine - in - immagine
La seguente immagine animata mostra come utilizzare le funzioni di immagine video e indice:
Ottieni aiuto nella community
Se hai bisogno di aiuto con questa esercitazione, puoi fare una domanda o trovare una risposta nel forum di discussione della comunitàCloud Pak for Data.
Configurare le finestre del browser
Per un'esperienza ottimale durante il completamento di questa esercitazione, apri Cloud Pak for Data in una finestra del browser e tieni aperta questa pagina dell'esercitazione in un'altra finestra del browser per passare facilmente tra le due applicazioni. Prendi in considerazione la possibilità di organizzare le due finestre del browser fianco a fianco per renderle più semplici da seguire.
Attività 1: creare un progetto di esempio
Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:00.
Questa esercitazione usa un progetto di esempio contenente un modello di machine learning e un notebook per configurare i monitor. Seguire questa procedura per creare un progetto basato su un esempio.
Accedere a Valuta un progetto di esempio di modello ML nell'hub risorse.
Fare clic su Crea progetto.
Se ti viene richiesto di associare il progetto a un'istanza Cloud Object Storage , seleziona un'istanza Cloud Object Storage dall'elenco.
Fare clic su Crea.
Attendere il completamento dell'importazione del progetto, quindi fare clic su Visualizza nuovo progetto per verificare che il progetto e gli asset siano stati creati correttamente.
Fare clic sulla scheda Asset per visualizzare gli asset nel progetto di esempio.
Controlla i tuoi progressi
La seguente immagine mostra il progetto di esempio. È ora possibile avviare l'esercitazione.
Attività 2: distribuire il modello
Prima di poter distribuire il modello, è necessario promuovere il modello a un nuovo spazio di distribuzione. Gli spazi di distribuzione consentono di organizzare le risorse di supporto come i dati di input e gli ambienti, di distribuire modelli o funzioni per generare previsioni o soluzioni e di visualizzare o modificare i dettagli di distribuzione.
Attività 2a: promuovere il modello a uno spazio di distribuzione
Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 00:49.
Attenersi alla seguente procedura per promuovere il modello in un nuovo spazio di distribuzione:
Nella scheda Asset , fare clic su Modello di previsione approvazione mutuo per visualizzare il modello.
Nella pagina del modello, fai clic sull'icona Promuovi allo spazio di distribuzione
.
Per Spazio di destinazione, selezionare Crea un nuovo spazio di distribuzione.
Per il nome dello spazio di distribuzione, copiare e incollare il nome esattamente come mostrato, senza spazi iniziali o finali:
Golden Bank Preproduction Space
Selezionare un servizio di archiviazione dall'elenco.
Selezionare il servizio di machine learning di cui è stato eseguito il provisioning dall'elenco.
Fare clic su Crea.
Fare clic su Chiudi.
Per lo Spazio di destinazione, accertarsi che sia selezionato Spazio di preproduzione Golden Bank .
Selezionare l'opzione Vai al modello nello spazio dopo averlo promosso .
Fare clic su Promuovi.
Controllare i progressi compiuti
La seguente immagine mostra il modello nello spazio di distribuzione. Si è ora pronti a creare una distribuzione modello.
Attività 2b: creare una distribuzione online per il modello
Per avere un'anteprima di questa attività, guardate il video che inizia a 01:30.
Attenersi alla seguente procedura per creare una distribuzione in linea per il modello:
Quando viene aperto lo spazio di distribuzione, fare clic su Nuova distribuzione.
Per il Tipo di distribuzione, selezionare Online.
Per il Nome, copiare e incollare il nome dell'installazione client esattamente come mostrato, senza spazi iniziali o finali:
Mortgage Approval Model Deployment
Fare clic su Crea.
Attendere il completamento della distribuzione del modello. Quando il modello viene distribuito correttamente, visualizzare la distribuzione per visualizzare l'endpoint di calcolo del punteggio e, facoltativamente, verificare il modello.
Controllare i progressi compiuti
La seguente immagine mostra la distribuzione del modello. È ora possibile eseguire il notebook per configurare i monitor.
Attività 3: eseguire il notebook per configurare i monitor
Per avere un'anteprima di questa attività, guardate il video che inizia a 01:55.
Eseguire il notebook incluso nel progetto di esempio per:
- Recuperare il modello e le distribuzioni.
- Configurare Watson OpenScale.
- Creare il fornitore del servizio e la sottoscrizione per il proprio servizio di machine learning.
- Configurare il monitor qualità.
- Configurare il monitoraggio della correttezza.
- Configurare l'esplicabilità.
Seguire questa procedura per eseguire il notebook incluso nel progetto di esempio. Questo notebook imposta i monitor per il modello, che possono essere configurati anche tramite l'interfaccia utente. Tuttavia, è più veloce e meno incline agli errori impostarli con un notebook. Prendere un po 'di tempo per leggere i commenti nel notebook, che spiegano il codice in ogni cella.
Dal menu Navigazione
, scegliere Progetti > Visualizza tutti i progetti.
Aprire il progetto Valuta un modello ML .
Fare clic sulla scheda Assets, quindi spostarsi su Notebooks.
Apri il notebook monitor - wml - model - with - watson - openscale .
Poiché il blocco note è in modalità di sola lettura, fare clic sull'icona Modifica
per mettere il blocco note in modalità di modifica.
Quando si è importato il progetto dall'hub di risorse, la prima cella di questo blocco note contiene il token di accesso del progetto. Se questo notebook non contiene una prima cella con un token di accesso al progetto, quindi per generare il token, dal menu Altro , selezionare Inserisci token del progetto. Questa azione inserisce una nuova cella come prima cella nel notebook contenente il token del progetto.
Nella sezione Fornisci la tua chiave API IBM Cloud , devi passare le credenziali all'API Watson Machine Learning utilizzando una chiave API. Se non disponi già di una chiave API salvata, attieniti a questa procedura per creare una chiave API.
Accedere alla pagina delle chiavi API della console IBM Cloud.
Fai clic su Crea una chiave API IBM Cloud. Se hai delle chiavi API esistenti, il pulsante può essere etichettato come Crea.
Immettere un nome e una descrizione.
Fare clic su Crea.
Copia la chiave API.
Scarica la chiave API per un utilizzo futuro.
Torna al notebook e incolla la chiave API nel campo ibmcloud_api_key .
In 3. Sezione Modello e distribuzione , verificare i valori assegnati alle variabili space_name, model_namee deployment_name .
Fare clic su Cella> Esegui tutto per eseguire tutte le celle nel notebook. Alternatively, click the Correre icon
next to each cell to run the notebook cell-by-cell to explore each cell and its output.
Il completamento del notebook richiede da 1 a 3 minuti. È possibile controllare la cella di avanzamento per cella notando l'asterisco "In [
*
]" che cambia in un numero, ad esempio "In [1
]".Se si verificano degli errori durante l'esecuzione del notebook, provare i seguenti suggerimenti per la risoluzione dei problemi:
Fare clic su Kernel> Restart & Clear Output per riavviare il kernel, quindi eseguire nuovamente il notebook.
Elimina eventuali distribuzioni Watson OpenScale esistenti ed esegui il provisioning di una nuova istanza del servizio.
Verificare di aver creato lo spazio di distribuzione e il nome della distribuzione copiando e incollando il nome della risorsa specificato esattamente senza spazi iniziali o finali.
Controllare i progressi compiuti
La seguente immagine mostra il notebook quando l'esecuzione è completa. Il notebook configura i monitoraggi per il tuo modello, quindi puoi ora visualizzare la distribuzione in Watson OpenScale.
Attività 4: valutare il modello
Per vedere un'anteprima di questa attività, guardate il video a partire da 03:35.
Segui questa procedura per scaricare i dati di holdout e utilizzali per valutare il modello in Watson OpenScale:
Fare clic sul progetto Valuta un modello ML nella traccia di navigazione.
Sulla scheda Asset , fare clic su Dati> Asset dati.
Fare clic sul menu Overflow
per la risorsa dati GoldenBank_HoldoutData.csv e scegliere Download. Per convalidare che il modello funziona come richiesto, hai bisogno di una serie di dati con etichetta, che sono stati tenuti fuori dalla formazione del modello. Questo file CSV contiene i dati di controllo.
Avvia Watson OpenScale.
Dal menu Navigazione
, scegliere Servizi > Istanze di servizio.
Fare clic sull'istanza Watson OpenScale per aprire la pagina dell'istanza del servizio. Se richiesto, accedi utilizzando le stesse credenziali che hai utilizzato per registrarti a Cloud Pak for Data.
Nota:La tua istanza può avere un nome differente, come ad esempio `watsonx.governance-xx`. Nella pagina dell'istanza del servizio Watson OpenScale , fai clic su Launch Watson OpenScale.
Nel dashboard Insights, fai clic sul tile Mortgage Approval Model Deployment .
Dal menu Azioni , selezionare Valuta ora.
Dall'elenco di opzioni di importazione, selezionare dal file CSV.
Trascinate il file Golden Bank_HoldoutData.csv scaricato dal progetto nel pannello laterale.
Fare clic su Carica e valuta e attendere il completamento della valutazione.
Controllare i progressi compiuti
La seguente immagine mostra il risultato della valutazione per il modello distribuito in Watson OpenScale. Una volta valutato il modello, è possibile osservare la qualità del modello.
Attività 5: Osservazione della qualità dei monitor del modello
Per vedere un'anteprima di questa attività, guardate il video a partire da 04:40.
Il monitor della qualità Watson OpenScale genera una serie di metriche per valutare la qualità del proprio modello. È possibile utilizzare queste metriche di qualità per determinare in che modo il modello prevede i risultati. Quando la valutazione che utilizza i dati di holdout viene completata, attenersi alla seguente procedura per osservare la qualità o l'accuratezza del modello:
Nella sezione Qualità, fare clic sull'icona Configura
. Qui puoi vedere che la soglia di qualità configurata per questo monitor è del 70% e che la misura della qualità utilizzata è un'area sotto la curva ROC.
Fare clic su Vai al riepilogo del modello per tornare alla finestra dei dettagli del modello.
Nella sezione Qualità, fare clic sull'icona Dettagli
per visualizzare i risultati dettagliati della qualità del modello. Qui è possibile vedere un certo numero di calcoli di metrica di qualità e una matrice di confusione che mostra le decisioni del modello corrette insieme a falsi positivi e falsi negativi. L'area calcolata sotto la curva ROC è 0.9 o superiore, che supera la soglia 0.7 , quindi il modello soddisfa i requisiti di qualità.
Fare clic su Distribuzione modello di approvazione mutuo nella traccia di navigazione per tornare alla schermata dei dettagli del modello.
Controllare i progressi compiuti
La seguente immagine mostra i dettagli della qualità in Watson OpenScale. Dopo aver osservato la qualità del modello, è possibile osservare la correttezza del modello.
Attività 6: Osservare i monitor del modello per la correttezza
Per vedere un'anteprima di questa attività, guardate il video a partire da 05:41.
Il monitor della correttezza Watson OpenScale genera una serie di metriche per valutare la correttezza del tuo modello. È possibile utilizzare le metriche di correttezza per stabilire se il proprio modello produce risultati distorti. Attenersi alla seguente procedura per osservare la correttezza del modello:
Nella sezione Equità, fare clic sull'icona Configura
. Qui si vede che il modello è in fase di revisione per garantire che i candidati siano trattati in modo equo indipendentemente dal loro sesso. Le donne sono identificate come il gruppo monitorato per il quale viene misurata la correttezza e la soglia per la correttezza deve essere almeno dell ' 80%. Il controllo della correttezza utilizza il metodo di impatto disparato per determinare la correttezza. L'impatto disparato confrontava la percentuale di risultati favorevoli per un gruppo monitorato con la percentuale di risultati favorevoli per un gruppo di riferimento.
Fare clic su Vai al riepilogo del modello per tornare alla finestra dei dettagli del modello.
Nella sezione Equità, fare clic sull'icona Dettagli
per vedere i risultati dettagliati dell'equità del modello. Qui viene visualizzata la percentuale di candidati di sesso maschile e femminile che vengono approvati automaticamente, insieme a un punteggio di correttezza superiore al 100%, in modo che le prestazioni del modello superino di gran lunga la soglia di correttezza dell ' 80% richiesta.
Prendere nota dei dataset identificati. Per garantire che le metriche di correttezza siano più accurate, Watson OpenScale utilizza la perturbazione per determinare i risultati in cui vengono modificati solo gli attributi protetti e gli input del modello correlati, mentre le altre funzioni rimangono le stesse. La perturbazione modifica i valori della funzione dal gruppo di riferimento al gruppo monitorato o viceversa. Questi ulteriori guardrail vengono utilizzati per calcolare la correttezza quando viene utilizzato il dataset "bilanciato", ma è anche possibile visualizzare i risultati della correttezza utilizzando solo i dati di addestramento del modello o del payload. Poiché il modello si comporta correttamente, non è necessario entrare in ulteriori dettagli per questa metrica.
Fare clic sul percorso di navigazione Distribuzione del modello di approvazione del mutuo per tornare al pannello dei dettagli del modello.
Controllare i progressi compiuti
La seguente immagine mostra i dettagli di correttezza in Watson OpenScale. Ora che hai osservato la correttezza del modello, puoi osservare l'esplicabilità del modello.
Attività 7: Osservare i monitor del modello per la deviazione
Per vedere un'anteprima di questa attività, guardate il video a partire da 07:25.
Il monitoraggio della deviazione Watson OpenScale misura le modifiche nei dati nel tempo per assicurare risultati coerenti per il modello. Utilizzare le valutazioni di deviazione per identificare le modifiche nell'output del modello, la precisione delle previsioni e la distribuzione dei dati di input. Attenersi alla seguente procedura per osservare la deviazione del modello:
Nella sezione Drift, fare clic sull'icona Configura
. Qui vengono visualizzate le soglie di deviazione. La deviazione dell'output misura la variazione nella distribuzione della confidenza del modello. La deviazione della qualità del modello misura la diminuzione dell'accuratezza confrontando la precisione del tempo di esecuzione stimato con l'accuratezza dell'addestramento. La deviazione della funzione misura la modifica nella distribuzione del valore per funzioni importanti. La configurazione mostra anche il numero di funzioni selezionate e le funzioni più importanti.
Fare clic su Vai al riepilogo del modello per tornare alla finestra dei dettagli del modello.
Nella sezione Deriva, fare clic sull'icona Dettagli
per visualizzare i risultati dettagliati della deriva del modello. È possibile visualizzare la cronologia di come cambia ogni punteggio di metrica nel tempo con un grafico di serie temporali. I valori inferiori sono migliori, quindi, in questo caso, i risultati sono superiori alle soglie superiori impostate nella configurazione. Quindi, visualizzare i dettagli sul modo in cui vengono calcolati l'output dei punteggi e le drift delle funzioni. Puoi anche visualizzare dettagli su ogni funzione per comprendere come contribuiscono ai punteggi generati da Watson OpenScale .
Fare clic sul percorso di navigazione Distribuzione del modello di approvazione del mutuo per tornare al pannello dei dettagli del modello.
Controllare i progressi compiuti
La seguente immagine mostra i dettagli della deviazione in Watson OpenScale. Dopo aver osservato la deviazione del modello, è possibile osservare l'esplicabilità del modello.
Attività 8: Osservare i monitoraggi del modello per l'esplicabilità
Per vedere un'anteprima di questa attività, guardate il video a partire da 08:46.
È anche importante capire come il modello sia giunto alla decisione. Questa comprensione è necessaria sia per spiegare le decisioni alle persone coinvolte nell'approvazione del mutuo sia per garantire ai proprietari del modello che le decisioni siano valide. Per comprendere queste decisioni, attenersi alla seguente procedura per osservare l'esplicabilità del modello:
Nel pannello di navigazione sinistro, fare clic sull'icona Spiega una transazione
.
Selezionare Distribuzione modello di approvazione mutuo per visualizzare un elenco di transazioni.
Per qualsiasi transazione, fare clic su Spiega nella colonna Azioni . Qui vedete la spiegazione dettagliata di questa decisione. Verranno visualizzati gli input più importanti per il modello e l'importanza di ciascuno per il risultato finale. Le barre blu rappresentano gli input che tendono a supportare la decisione del modello mentre le barre rosse mostrano gli input che potrebbero aver portato a un'altra decisione. Ad esempio, un richiedente potrebbe avere un reddito sufficiente per essere altrimenti approvato, ma la sua storia di credito scadente e il debito elevato insieme portano il modello a rifiutare la domanda. Esaminare questa spiegazione per essere soddisfatti della base della decisione del modello.
(Facoltativo) Se si desidera approfondire il modo in cui il modello ha preso la sua decisione, fare clic sulla scheda Ispeziona . Utilizzare la funzione Ispeziona per analizzare la decisione di trovare aree di sensibilità in cui piccole modifiche a pochi input risulterebbero in una decisione diversa ed è possibile testare la sensibilità sovrascrivendo alcuni degli input effettivi con alternative per vedere se questi avrebbero un impatto sul risultato.
Controllare i progressi compiuti
La seguente immagine mostra l'esplicabilità di una transazione in Watson OpenScale. È stato stabilito che il modello è accurato e che tutti i candidati vengono trattati in modo equo. Ora, è possibile avanzare il modello alla fase successiva nel suo ciclo di vita.
Passi successivi
Prova queste esercitazioni aggiuntive per ottenere più esperienza pratica con la creazione e la valutazione dei modelli:
Ulteriori risorse
- Visualizza altri video.
- Panoramica di Cloud Pak for Data as a Service
Argomento principale: Esercitazioni introduttive