Watson OpenScale offre una soluzione di gestione del rischio del modello con la valutazione del modello che misura i risultati dei modelli AI per tutto il loro ciclo di vita ed esegue le convalide del modello per aiutare la tua organizzazione a rispettare gli standard e le normative.
Esegui analisi in Watson OpenScale
Dopo aver configurato e attivato le funzioni di gestione del rischio del modello, sarà possibile vedere e confrontare le valutazioni campione. È possibile scaricare il report di riepilogo del modello che include tutte le misure di qualità, le misure di correttezza e la grandezza della deviazione.
Dal dashboard Insight, fare clic sul riquadro di distribuzione del modello
Dal menu Azioni , fare clic su una delle seguenti opzioni di analisi:
- Tutte le valutazioni: elenca tutte le precedenti versioni della valutazione.
- Confronta: confronta tutti i modelli, ma soprattutto le versioni dello stesso modello, per migliori prestazioni.
- Scarica il PDF del report: generare il report di riepilogo del modello, che fornisce tutte le metriche e la spiegazione del perché sono state valutate così.
Distribuisci un nuovo modello in produzione in Watson OpenScale
Usa in produzione il modello migliore. Crea un record di produzione importando da un modello di pre-produzione.
- Esaminare lo stato della distribuzione del modello.
- Tornare al notebook di esempio ed eseguire le celle per inviare il modello in produzione.
- È ora possibile visualizzare il riquadro di distribuzione del modello di produzione. In un normale ambiente di produzione, inizialmente appare vuoto finché non vengono raccolti dati sufficienti e non trascorre il tempo necessario per attivare il calcolo della metrica. Il notebook aggiunge dati ed esegue i monitor in modo da poter visualizzare immediatamente i risultati.
Confronta i modelli
Quando si visualizzano i dettagli di una valutazione del modello, è possibile utilizzare Watson OpenScale per confrontare i modelli con un grafico a matrice che evidenzia le metriche chiave. Utilizzare questa funzione per determinare quale versione di un modello è la migliore da inviare in produzione o quale modello potrebbe richiedere del lavoro.
Nel menu Azioni , selezionare Confronta per generare un grafico che confronta i punteggi per le metriche utilizzate per monitorare i propri modelli.
Valuta ora
Dal menu Azioni , selezionare Valuta ora per valutare i dati di test per la correttezza, la qualità e la deviazione. Nell'ambiente di preproduzione, è possibile importare i dati di test con uno dei seguenti metodi:
- Carica un file CSV che contiene i dati di test con etichetta
- Connettersi a un file CSV che contiene dati di test etichettati in Cloud Object Storage o Db2
Quando si utilizza uno di questi metodi di importazione, è possibile controllare se Watson OpenScale calcola il punteggio dei dati di test.
Se si desidera che Watson OpenScale esegua il calcolo del punteggio dei dati, importare i dati di test etichettati con colonne di funzioni ed etichette. Watson OpenScale calcola il punteggio dei dati di test e i valori di previsione e probabilità vengono archiviati nella tabella di feedback come colonne _original_prediction e _original_probability .
Se si desidera importare i dati di test già contati, selezionare la casella di spunta Test data includes model output nel pannello Importa dati di test . È necessario importare i dati di test con le colonne di funzioni ed etichette insieme all'output con punteggio. Watson OpenScale non esegue nuovamente la scansione dei dati di test. I valori di previsione e di probabilità vengono memorizzati nella tabella di feedback come colonne _original_prediction e _original_probability .
Note:
I dati di test caricati possono includere anche le colonne record_id/transaction_id e record_timestamp che vengono aggiunte alle tabelle di feedback e di registrazione del payload quando è selezionata l'opzione Test data includes model output .
Assicurarsi che la sottoscrizione sia completamente abilitata impostando gli schemi corretti prima di effettuare valutazioni.
Copiare la configurazione da una sottoscrizione di pre - produzione a una sottoscrizione di produzione
Per risparmiare tempo, è possibile copiare i metadati di configurazione e modello da una sottoscrizione di pre - produzione e aggiungere i dati a una sottoscrizione di produzione. Il modello deve essere identico al modello di origine, ma distribuito nello spazio di produzione.
Argomento principale: Gestione del rischio del modello e governance del modello