Gestisci rischio modello

Eseguire analisi con Watson OpenScale

Copy link to section

Dopo aver configurato e attivato le funzioni di gestione del rischio del modello, sarà possibile vedere e confrontare le valutazioni campione. È possibile scaricare il report di riepilogo del modello che include tutte le misure di qualità, le misure di correttezza e la grandezza della deviazione.

1. Dal dashboard Insight, fare clic sul riquadro di distribuzione del modello

2. Dal menu Azioni , fare clic su una delle seguenti opzioni di analisi:

   • Tutte le valutazioni: Elenca tutte le valutazioni in corso e completate
   • Confronto: Confrontare qualsiasi modello, ma soprattutto le versioni dello stesso modello, per ottenere le migliori prestazioni
   • Scarica il rapporto in formato PDF: Genera il report di riepilogo del modello, che fornisce tutte le metriche e la spiegazione del motivo per cui sono state valutate nel modo in cui sono state valutate

Distribuisci un nuovo modello in produzione in Watson OpenScale

Copy link to section

Usa in produzione il modello migliore. Crea un record di produzione importando da un modello di pre-produzione.

1. Esaminare lo stato della distribuzione del modello.
2. Tornare al notebook di esempio ed eseguire le celle per inviare il modello in produzione.
3. È ora possibile visualizzare il riquadro di distribuzione del modello di produzione. In un normale ambiente di produzione, inizialmente appare vuoto finché non vengono raccolti dati sufficienti e non trascorre il tempo necessario per attivare il calcolo della metrica. Il notebook aggiunge dati ed esegue i monitor in modo da poter visualizzare immediatamente i risultati.

Confronta i modelli

Copy link to section

Quando si visualizzano i dettagli della valutazione di un modello, è possibile confrontare i modelli con un grafico a matrice che evidenzia le metriche chiave. Utilizzare questa funzione per determinare quale versione di un modello è la migliore da inviare in produzione o quale modello potrebbe richiedere del lavoro.

Nel menu Azioni , selezionare Confronta per generare un grafico che confronta i punteggi per le metriche utilizzate per monitorare i propri modelli.

Valuta ora

Copy link to section

Dal menu Azioni, selezionare Valuta ora per valutare i dati del test. Nell'ambiente di preproduzione, è possibile importare i dati di test con uno dei seguenti metodi:

• Carica un file CSV che contiene i dati di test con etichetta
• Connettersi a un file CSV che contiene dati di test etichettati in Cloud Object Storage o Db2

Quando si utilizza uno di questi metodi di importazione, è possibile controllare se Watson OpenScale calcola il punteggio dei dati di test.

Se si desidera assegnare un punteggio ai dati, importare i dati di prova etichettati con le colonne delle caratteristiche e delle etichette. I dati del test vengono valutati e i valori di previsione e probabilità vengono memorizzati nella tabella di feedback come colonne _original_prediction e _original_probability.

Se si desidera importare i dati di test già contati, selezionare la casella di spunta Test data includes model output nel pannello Importa dati di test . È necessario importare i dati di test con le colonne di funzioni ed etichette insieme all'output con punteggio. I dati del test non vengono ricalibrati. I valori di previsione e di probabilità vengono memorizzati nella tabella di feedback come colonne _original_prediction e _original_probability .

Note:

I dati di test caricati possono includere anche le colonne record_id/transaction_id e record_timestamp che vengono aggiunte alle tabelle di feedback e di registrazione del payload quando è selezionata l'opzione Test data includes model output .

Assicurarsi che la sottoscrizione sia completamente abilitata impostando gli schemi corretti prima di effettuare valutazioni.

Quando si eseguono le valutazioni, è possibile visualizzare l'avanzamento con un indicatore di stato che mostra se le valutazioni sono state completate correttamente.

Copiare la configurazione da una sottoscrizione di pre - produzione a una sottoscrizione di produzione

Copy link to section

Per risparmiare tempo, è possibile copiare i metadati di configurazione e modello da una sottoscrizione di pre - produzione e aggiungere i dati a una sottoscrizione di produzione. Il modello deve essere identico al modello di origine, ma distribuito nello spazio di produzione.

Argomento principale: Gestione del rischio del modello e governance del modello