L'opzione di configurazione automatica per le valutazioni dei modelli di apprendimento automatico imposta un ambiente di apprendimento automatico, un database e un modello campione. Seguite i passaggi della visita guidata per imparare a valutare il modello campione. Dopo il completamento del setup, è possibile aggiungere il proprio modello alla dashboard.
modello di esempio
Il setup automatico utilizza il set di dati campione German Credit Risk per dimostrare le caratteristiche principali della valutazione dei modelli.
Panoramica dei dati di esempio
I dati del campione tedesco di Credit Risk forniscono una raccolta di record per i clienti bancari utilizzati per addestrare il modello campione. Contiene 20 attributi per ogni richiedente di prestito. I modelli di esempio forniti come parte della configurazione automatica vengono addestrati per prevedere il livello di rischio di credito per i nuovi clienti. Due degli attributi considerati per la previsione - sesso ed età - possono essere sperimentati per la bias per assicurarsi che gli esiti siano coerenti per quanto riguarda il genere o l'età dei clienti.
Per valutare gli esiti, i risultati sono divisi in gruppi. I gruppi di riferimento sono i gruppi considerati con maggiore probabilità di avere esiti positivi. In questo caso, i gruppi di riferimento sono clienti maschi e clienti di età superiore ai 25 anni. I Gruppi monitorati sono i gruppi che si desidera rivedere per garantire che i risultati non differiscono molto dai risultati per i gruppi monitorati. In questo caso, i gruppi Monitorare sono femmine e clienti di 19 - 25 anni.
Esecuzione della configurazione automatica
Seguire questa procedura per eseguire l'impostazione automatica:
- Avvia Watson OpenScale.
- Scegliere l'opzione Configurazione automatica .
Il processo impiega circa 10 minutes minuti per completare. Tre distribuzioni sono configurate durante il setup:
| Modello | Binding | Descrizione |
|---|---|---|
| GermanCreditRiskModelPreProd | Pre - produzione, approvato | Questa distribuzione rappresenta l'attuale modello approvato che viene valutato nell'ambiente interno. |
| GermanCreditRiskModelChallenger | Pre-produzione | Il modello di sfidante viene distribuito per confrontare prestazioni e altri attributi rispetto alla distribuzione del modello di pre - produzione approvato. |
| GermanCreditRiskModel | Produzione | Tra il modello di pre - produzione approvato e il modello di sfidante, il modello che eroga risultati più favoriti viene selezionato per la produzione e distribuito dallo spazio di produzione. |
Una volta completata l'impostazione, seguire la visita guidata per apprendere le caratteristiche delle valutazioni dei modelli.
Eventi turistici guidati
La visita guidata dimostra queste caratteristiche:
- Introduzione all'interfaccia utente (UI): le quattro aree principali della UI includono Insights, Spiegations, Configuration e Support.
- Monitoraggio e visualizzazione dei risultati per il modello di rischio di credito tedesco: Utilizzare monitor predefiniti per valutare il proprio modello per l'equità, la qualità e la deriva. È inoltre possibile utilizzare monitor personalizzati per la valutazione del modello.
- Exploring Fairness monitor: utilizzare il monitor Fairness per cercare esiti biased dal tuo modello. Se si rileva un problema di equità, viene innescato un avviso basato su soglie configurabili.
- Exploring data set: Toggle tra i dataset bilanciati, payload, training e debiased per vedere come influenzano il punteggio dell'equità del tuo modello.
- Introduzione alle transazioni: Operazioni di revisione dai dati di payload impostati per le bias di gruppo e le singole bias.
- Spiegare gli esiti del modello: capire le caratteristiche che hanno portato alla previsione del modello per costruire la fiducia nel modello. Inoltre, imparare a modificare i valori della funzione per ricevere esiti modello più favorevoli.
- Exploring Drift monitor: utilizzare il monitor Drift per determinare se il trattamento dei dati nel modello sta causando un calo di precisione.
- Revisione delle transazioni: rivedere l'elenco delle transazioni per indagare il calo di precisione.
Tour di una pagina specifica
Per utilizzare il tour guidato di impostazione automatica per una specifica pagina, attenersi alla seguente procedura:
- Apri la pagina per la quale ti piacerebbe seguire la visita guidata.
- Aprire la scheda Supporto e selezionare Tour questa pagina.
Reimpostazione del tour
Per reimpostare il tour di configurazione automatica, aprire la scheda Supporto e selezionare Reimposta configurazione automatica.
Ulteriori informazioni
Configurazione delle valutazioni dei modelli con l'impostazione manuale
Configurazione delle valutazioni del modello con l'impostazione avanzata
Argomento principale: Opzioni di impostazione per le valutazioni dei modelli