Configurare le valutazioni watsonx.governance negli spazi di distribuzione per ottenere informazioni dettagliate sulle prestazioni del modello. Quando configuri le valutazioni, puoi analizzare i risultati della valutazione e modellare i record della transazione direttamente negli spazi.

watsonx.governance valuta le distribuzioni del tuo modello per aiutarti a misurare le prestazioni e comprendere le previsioni del modello. Quando configuri le valutazioni del modello, watsonx.governance genera metriche per ogni valutazione che forniscono informazioni dettagliate differenti che puoi esaminare. watsonx.governance registra anche le transazioni elaborate durante le valutazioni per aiutarti a comprendere come vengono determinate le previsioni del tuo modello. Per ulteriori informazioni, vedi Valutazione dei modelli di intelligenza artificiale con Watson OpenScale.

Se disponi di un'istanza di watsonx.governance di cui è stato eseguito il provisioning, puoi creare senza soluzione di continuità una distribuzione online, quindi monitorare i risultati della distribuzione per la correttezza, la qualità, la deviazione e l'esplicabilità.

Uno scenario tipico segue questa sequenza:

1. Crea uno spazio di distribuzione e associa un'istanza watsonx.governance allo spazio per consentire tutte le funzioni di monitoraggio. È possibile scegliere il tipo di spazio, ad esempio produzione o pre - produzione, a seconda delle proprie esigenze.
2. Promuovi un modello di machine learning addestrato e i dati di input (payload) allo spazio di distribuzione e crea una distribuzione online per il modello.
3. Dalla scheda Test di distribuzione, fornire i dati di input e ottenere le previsioni.
4. Dalla scheda Valutazioni, configurare la valutazione per monitorare la qualità, la correttezza e l'esplicabilità della propria distribuzione. Fornire tutti i dettagli del modello richiesti in modo che Watson OpenScale possa connettersi al modello, ai dati di addestramento e payload e a un repository per l'archiviazione dei risultati della valutazione.
5. Configurare un monitor per la correttezza per assicurarsi che il modello stia producendo risultati non distorti. Selezionare i campi da monitorare per la correttezza, quindi impostare le soglie per misurare le previsioni per un gruppo monitorato rispetto a un gruppo di riferimento. Ad esempio, è possibile valutare il modello per assicurarsi che fornisca previsioni non distorte in base al sesso.
6. Configurare un controllo della qualità per determinare le prestazioni del modello in base al numero di esiti corretti prodotti dal modello in base a dati di test etichettati denominati dati Feedback. Impostare le soglie di qualità per tenere traccia quando un valore di metrica non è compreso in un intervallo accettabile.
7. Configurare un monitor per la deviazione per assicurarsi che le distribuzioni siano aggiornate e congruenti. Utilizzare l'importanza della funzione per determinare l'impatto della deviazione della funzione sul modello. Ad esempio, una piccola quantità di deviazione in una funzione importante può avere un impatto maggiore sul proprio modello rispetto a una moderata quantità di deviazione in una funzione meno importante.
8. È possibile controllare i risultati della distribuzione per comprendere i fattori che hanno portato il modello a determinare una previsione. Scegliere il metodo di spiegazione più adatto alle proprie esigenze. Ad esempio, è possibile scegliere il metodo SHAP (Shapley Additive EXplanations) per spiegazioni dettagliate o il metodo LIME (Local Interpretable Model - Agnostic Explanations) per spiegazioni più rapide.
9. Infine, è possibile esaminare le valutazioni del modello per individuare le aree in cui piccole modifiche a pochi input risulterebbero in una decisione diversa. Scenari di test per stabilire se la modifica degli input può migliorare le prestazioni del modello.

Le seguenti sezioni descrivono come configurare le valutazioni watsonx.governance ed esaminare gli insight del modello nei tuoi spazi di distribuzione: