Avvio rapido: valutazione di una distribuzione negli spazi

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:00.

È necessario un progetto per memorizzare gli asset utilizzati per creare il modello. Ad esempio, i dati di addestramento, l'esperienza AutoAI o il notebook Jupyter e il modello salvato. Per creare un progetto basato su un esempio, attenersi alla seguente procedura:

1. Accedere a Valuta un progetto di esempio di modello ML nell'hub risorse.

2. Fare clic su Crea progetto.

3. Se ti viene richiesto di associare il progetto a un'istanza Cloud Object Storage , seleziona un'istanza Cloud Object Storage dall'elenco.

4. Fare clic su Crea.

5. Attendere il completamento dell'importazione del progetto, quindi fare clic su Visualizza nuovo progetto per verificare che il progetto e gli asset siano stati creati correttamente.

6. Fare clic sulla scheda Asset per visualizzare gli asset nel progetto di esempio.

7. Visualizzare il Modello di previsione approvazione mutuo. Questo modello prevede se un richiedente di un'ipoteca deve essere approvato in base a diversi fattori, come la storia creditizia, il debito totale, il reddito, l'ammontare del prestito e la storia di impiego.

8. Tornare alla scheda Asset del progetto.

Prima di poter distribuire il modello, è necessario promuovere il modello a un nuovo spazio di distribuzione. Gli spazi di distribuzione consentono di organizzare le risorse di supporto come i dati di input e gli ambienti, di distribuire modelli o funzioni per generare previsioni o soluzioni e di visualizzare o modificare i dettagli di distribuzione. L'attività successiva consiste nel promuovere i dati di valutazione e il modello in uno spazio di distribuzione, quindi creare una distribuzione online.

Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 01:19.

Seguire questa procedura per configurare le valutazioni in questo spazio di distribuzione:

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 06:22.

Attenersi alla seguente procedura per utilizzare i dati di holdout per valutare il modello:

1. Dal menu Azioni , selezionare Valuta ora.

2. Dall'elenco di opzioni di importazione, selezionare dal file CSV.

3. Trascinare il file di dati Golden Bank_HoldoutData.csv scaricato dal progetto nel pannello laterale.

4. Fare clic su Carica e valuta e attendere il completamento della valutazione.

5. Una volta completata la valutazione, verrà visualizzato il numero di test eseguiti, i test riusciti e i test non riusciti. Scorrere per visualizzare i risultati per Correttezza, Qualità, Deviazionee Spiegazione globale.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 06:36.

Il monitor della qualità Watson OpenScale genera una serie di metriche per valutare la qualità del proprio modello. È possibile utilizzare queste metriche di qualità per determinare in che modo il modello prevede i risultati. Quando la valutazione che utilizza i dati di holdout viene completata, attenersi alla seguente procedura per osservare la qualità o l'accuratezza del modello:

1. Nella sezione Qualità , fare clic sull'icona Configura . Qui puoi vedere che la soglia di qualità configurata per questo monitor è del 70% e che la misura della qualità utilizzata è un'area sotto la curva ROC.

2. Fare clic sulla X per chiudere la finestra e tornare al pannello di valutazione del modello.

3. Nella sezione Qualità , fare clic sull'icona Dettagli per visualizzare i risultati dettagliati della qualità del modello. Qui è possibile vedere un certo numero di calcoli di metrica di qualità e una matrice di confusione che mostra le decisioni del modello corrette insieme a falsi positivi e falsi negativi. L'area calcolata sotto la curva ROC è 0.9 o superiore, che supera la soglia 0.7 , quindi il modello soddisfa i requisiti di qualità.

4. Fare clic su Torna al riepilogo per tornare alla finestra dei dettagli del modello.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 07:20.

Il monitor della correttezza Watson OpenScale genera una serie di metriche per valutare la correttezza del tuo modello. È possibile utilizzare le metriche di correttezza per stabilire se il proprio modello produce risultati distorti. Attenersi alla seguente procedura per osservare la correttezza del modello:

1. Nella sezione Correttezza , fare clic su Configura . Qui si vede che il modello è in fase di revisione per garantire che i candidati siano trattati in modo equo indipendentemente dal loro sesso. Le donne sono identificate come il gruppo monitorato per il quale viene misurata la correttezza e la soglia per la correttezza deve essere almeno dell ' 80%. Il controllo della correttezza utilizza il metodo di impatto disparato per determinare la correttezza. L'impatto disparato confrontava la percentuale di risultati favorevoli per un gruppo monitorato con la percentuale di risultati favorevoli per un gruppo di riferimento.

2. Fare clic sulla X per chiudere la finestra e tornare al pannello di valutazione del modello.

3. Nella sezione Correttezza , fare clic sull'icona Dettagli per visualizzare i risultati dettagliati della correttezza del modello. Qui viene visualizzata la percentuale di candidati di sesso maschile e femminile che vengono approvati automaticamente, insieme a un punteggio di correttezza superiore al 100%, in modo che le prestazioni del modello superino di gran lunga la soglia di correttezza dell ' 80% richiesta.

4. Prendere nota dei dataset identificati. Per garantire che le metriche di correttezza siano più accurate, Watson OpenScale utilizza la perturbazione per determinare i risultati in cui vengono modificati solo gli attributi protetti e gli input del modello correlati, mentre le altre funzioni rimangono le stesse. La perturbazione modifica i valori della funzione dal gruppo di riferimento al gruppo monitorato o viceversa. Questi ulteriori guardrail vengono utilizzati per calcolare la correttezza quando viene utilizzato il dataset "bilanciato", ma è anche possibile visualizzare i risultati della correttezza utilizzando solo i dati di addestramento del modello o del payload. Poiché il modello si comporta correttamente, non è necessario entrare in ulteriori dettagli per questa metrica.

   

5. Fare clic su Torna al riepilogo per tornare alla finestra dei dettagli del modello.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 08:25.

Il monitoraggio della deviazione Watson OpenScale misura le modifiche nei dati nel tempo per assicurare risultati coerenti per il modello. Utilizzare le valutazioni di deviazione per identificare le modifiche nell'output del modello, la precisione delle previsioni e la distribuzione dei dati di input. Attenersi alla seguente procedura per osservare la deviazione del modello:

1. Nella sezione Deviazione , fare clic su Configura . Qui vengono visualizzate le soglie di deviazione. La deviazione dell'output misura la variazione nella distribuzione della confidenza del modello. La deviazione della qualità del modello misura la diminuzione dell'accuratezza confrontando la precisione del tempo di esecuzione stimato con l'accuratezza dell'addestramento. La deviazione della funzione misura la modifica nella distribuzione del valore per funzioni importanti. La configurazione mostra anche il numero di funzioni selezionate e le funzioni più importanti.

2. Fare clic sulla X per chiudere la finestra e tornare al pannello di valutazione del modello.

3. Nella sezione Deviazione , fare clic sull'icona Dettagli per vedere i risultati dettagliati della deviazione del modello. È possibile visualizzare la cronologia di come cambia ogni punteggio di metrica nel tempo con un grafico di serie temporali. I valori inferiori sono migliori, quindi, in questo caso, i risultati sono superiori alle soglie superiori impostate nella configurazione. Quindi, visualizzare i dettagli sul modo in cui vengono calcolati l'output dei punteggi e le drift delle funzioni. Puoi anche visualizzare dettagli su ogni funzione per comprendere come contribuiscono ai punteggi generati da Watson OpenScale .

4. Fare clic su Torna al riepilogo per tornare alla finestra dei dettagli del modello.

Per visualizzare in anteprima questa attività, guardare il video a partire dalle 09:10.

È anche importante capire come il modello sia giunto alla decisione. Questa comprensione è necessaria sia per spiegare le decisioni alle persone coinvolte nell'approvazione del mutuo sia per garantire ai proprietari del modello che le decisioni siano valide. Per comprendere queste decisioni, attenersi alla seguente procedura per osservare l'esplicabilità del modello:

1. Fare clic sulla pagina Transazioni .

2. Sul grafico, selezionare un intervallo di tempo per visualizzare un elenco di transazioni durante tale periodo.

3. Per qualsiasi transazione, fare clic su Spiega nella colonna Azioni . Qui vedete la spiegazione dettagliata di questa decisione. Verranno visualizzati gli input più importanti per il modello e l'importanza di ciascuno per il risultato finale. Le barre blu rappresentano gli input che tendono a supportare la decisione del modello mentre le barre rosse mostrano gli input che potrebbero aver portato a un'altra decisione. Ad esempio, un richiedente potrebbe avere un reddito sufficiente per essere altrimenti approvato, ma la sua storia di credito scadente e il debito elevato insieme portano il modello a rifiutare la domanda. Esaminare questa spiegazione per essere soddisfatti della base della decisione del modello.

4. Facoltativo: se si desidera approfondire il modo in cui il modello ha preso la sua decisione, fare clic sulla scheda Ispeziona . Utilizzare la funzione Ispeziona per analizzare la decisione di trovare aree di sensibilità in cui piccole modifiche a pochi input risulterebbero in una decisione diversa ed è possibile testare la sensibilità sovrascrivendo alcuni degli input effettivi con alternative per vedere se questi avrebbero un impatto sul risultato. Fai clic su Esegui analisi per fare in modo che Watson OpenScale riveli le modifiche minime richieste per fornire un risultato diverso. Selezionare Analizza solo funzioni controllabili per limitare le modifiche solo alle funzioni controllabili.