L'accuratezza è una misura della proporzione di previsioni corrette all'interno del tuo modello in Watson OpenScale.
Accuratezza a colpo d'occhio
- Descrizione: la proporzione di previsioni corrette
- Soglie predefinite: limite inferiore = 80%
- Raccomandazione predefinita:
- Andamento crescente: un andamento crescente indica che la metrica sta migliorando. Ciò significa che il nuovo training del modello è efficace.
- Andamento decrescente: un andamento decrescente indica che la metrica sta peggiorando. I dati di feedback stanno riportando differenze significative rispetto ai dati di training.
- Variazione anomala o irregolare: una variazione anomala o irregolare indica che i dati di feedback non sono congruenti tra le valutazioni. Incrementare la dimensione minima del campione per il monitor Qualità.
- Tipi di problema: classificazione binaria e classificazione multi-classe
- Valori del grafico: Ultimo valore nel timeframe
- Dettagli di metriche disponibili: matrice di confusione
Informazioni sull'accuratezza
Accuratezza può significare cose diverse a seconda del tipo di algoritmo:
Classificazione multi-classe: l'accuratezza misura il numero di volte in cui una qualsiasi classe è stata prevista correttamente, normalizzata per il numero di punti di dati. Per ulteriori dettagli, consultare la documentazione Multi - class nella documentazione Apache Spark .
Classificazione binaria: per un algoritmo di classificazione binaria, l'accuratezza è misurata come l'area sotto una curva di ROC. Consultare Classificazione binaria nella documentazione Apache Spark per ulteriori dettagli.
Regressione: Algoritmi di regressione sono misurati utilizzando il Coefficiente di determinazione o R2. Per ulteriori dettagli, consultare Regression model evaluation nella documentazione Apache Spark .
Calcolo matematico
La precisione è definita come il numero dei veri positivi e negativi che sono divisi per la somma dei veri positivi e negativi e la somma di falsi positivi e negativi.
number of true positives + number of true negatives
Accuracy = ________________________________________________________________________________________________________________
(number of true positives + number of true negatives + number of false positives + number of false negatives)
Come funziona
È necessario aggiungere i dati di feedback etichettati manualmente tramite la UI Watson OpenScale come mostrato nei seguenti esempi, utilizzando un client Python o Rest API.
Precisione debiased
Quando ci sono i dati per supportarlo, la precisione viene calcolata sia sul modello originale che su quello debiased. IBM Watson OpenScale calcola l'accuratezza dell'output senza distorsione e lo memorizza nella tabella di registrazione del payload come una colonna aggiuntiva.
Ulteriori informazioni
Revisione dei risultati di qualità
Argomento principale: Panoramica delle metriche di qualità