Distanza del coseno
La distanza coseno misura la differenza tra i vettori di incorporamento. Per misurare la distanza del coseno si utilizza la seguente formula:
La distanza del coseno varia da 0, che indica vettori identici, a 1, che indica assenza di correlazione tra i vettori, a 2, che indica vettori opposti.
distanza euclidea
La distanza euclidea è la distanza più breve tra i vettori di incorporamento nello spazio euclideo. Per misurare la distanza euclidea si utilizza la seguente formula:
La distanza euclidea varia da 0, che indica vettori completamente identici, a infinito. Tuttavia, per i vettori normalizzati in modo da avere lunghezza unitaria, la massima distanza euclidea è la 
.
È possibile configurare le valutazioni di deviazione v2 per misurare le modifiche nei dati nel tempo per garantire risultati coerenti per il modello. Utilizzare le valutazioni della deviazione v2 per identificare modifiche nell'output del modello, l'accuratezza delle previsioni e la distribuzione dei dati di input.
Le seguenti sezioni descrivono come configurare le valutazioni di deviazione v2 :
Configurazione delle valutazioni di deviazione v2
Se si registrano i dati del carico utile quando si preparano le valutazioni del modello, è possibile configurare le valutazioni Drift v2 per capire come le modifiche dei dati influiscono sui risultati del modello.
Calcolare l'archivio di deviazione
È necessario scegliere il metodo da utilizzare per analizzare i dati di addestramento e determinare le distribuzioni dei dati delle caratteristiche del modello. Se si collegano i dati di allenamento e la loro dimensione è inferiore a 500 MB, si può scegliere di calcolare l'archivio drift v2.
Se non si collegano i dati di allenamento o se le dimensioni dei dati sono superiori a 500 MB, è necessario scegliere di calcolare l'archivio drift v2 in un notebook. È necessario calcolare anche l'archivio drift v2 nei notebook se si vogliono valutare modelli di immagini o di testo.
È possibile specificare un limite per le dimensioni dei dati di addestramento impostando le dimensioni massime dei campioni per la quantità di dati di addestramento utilizzati per il punteggio e il calcolo dell'archivio drift v2. Per le implementazioni non-watsonx.ai Runtime, l'elaborazione dell'archivio Drift v2 ha un costo associato allo scoring dei dati di training rispetto all'endpoint di scoring del modello.
Imposta soglie di deviazione
È necessario impostare valori di soglia per ogni metrica per identificare i problemi relativi ai risultati della valutazione. I valori impostati creano avvisi nel dashboard Insight che vengono visualizzati quando i punteggi delle metriche violano le soglie. È necessario impostare i valori compresi tra 0 e 1. I punteggi della metrica devono essere inferiori ai valori di soglia per evitare violazioni.
Selezionare funzioni importanti
Solo per i modelli tabulari, l'importanza delle caratteristiche viene calcolata per determinare l'impatto della deriva delle caratteristiche sul modello. Per calcolare l'importanza delle caratteristiche, è possibile selezionare le caratteristiche importanti e più importanti del modello che hanno il maggiore impatto sui risultati del modello.
Quando si configurano le spiegazioni di SHAP, le caratteristiche importanti vengono rilevate automaticamente utilizzando le spiegazioni globali.
Puoi anche caricare un elenco di funzionalità importanti caricando un file JSON. Vengono forniti degli snippet di esempio che possono essere utilizzati per caricare un file JSON. Per ulteriori informazioni, vedi Frammenti di importanza della funzione.
Imposta la dimensione del campione
Le dimensioni del campione sono fornite per elaborare il numero di transazioni che vengono valutate durante le valutazioni. È necessario impostare una dimensione minima del campione per indicare il numero minimo di transazioni che si desidera valutare. È inoltre possibile impostare una dimensione massima del campione per indicare il numero massimo di transazioni che si desidera valutare.
Metriche v2 di deviazione supportate
Quando si attivano le valutazioni del drift v2, è possibile visualizzare un riepilogo dei risultati della valutazione con le metriche per il tipo di modello che si sta valutando.
È possibile visualizzare i risultati delle valutazioni di Drift v2 nella dashboard Insights. Per ulteriori informazioni, vedere Revisione dei risultati del drift v2.
Le seguenti metriche sono supportate dalle valutazioni della deviazione v2 :
Deviazione output
La deriva dell'output misura la variazione della distribuzione di fiducia del modello.
Come funziona
Viene misurata la quantità di variazioni dell'output del modello rispetto al momento dell'addestramento del modello stesso. Per i modelli di regressione, la deriva dell'uscita viene calcolata misurando la variazione della distribuzione delle previsioni sui dati di addestramento e sul carico utile. Per i modelli di classificazione, la deriva dell'output viene calcolata per ogni probabilità di classe misurando la variazione della distribuzione delle probabilità di classe sui dati di addestramento e di payload. Per i modelli di multiclassificazione, la deriva dell'output viene aggregata per ogni probabilità di classe misurando una media ponderata.Calcolo
Per calcolare la deriva dell'uscita si utilizzano le seguenti formule:
Deviazione qualità modello
La deriva della qualità del modello confronta l'accuratezza stimata in fase di esecuzione con l'accuratezza di addestramento per misurare il calo di accuratezza.
- Come funziona:
Viene creato un modello di rilevamento della deriva che elabora i dati del carico utile quando si configurano le valutazioni della deriva v2 per prevedere se il modello genera previsioni accurate senza la verità di base. Il modello di rilevamento della deviazione utilizza le funzioni di input e le probabilità di classe del modello per creare le proprie funzioni di input.
- Eseguire le operazioni matematiche:
Per calcolare la deriva della qualità del modello si utilizza la seguente formula:
L'accuratezza del modello viene calcolata come base_accuracy misurando la frazione di transazioni correttamente previste nei dati di addestramento. Durante le valutazioni, il punteggio delle transazioni viene calcolato rispetto al modello di rilevamento della deviazione per misurare la quantità di transazioni probabilmente previste correttamente dal modello. Queste transazioni vengono confrontate con il numero totale di transazioni elaborate per calcolare l'predicted_accuracy. Se il valore predicted_accuracy è inferiore al valore base_accuracy, viene generato un punteggio di deriva della qualità del modello.
Deviazione funzione
La deriva delle caratteristiche misura il cambiamento nella distribuzione dei valori delle caratteristiche importanti.
- Come funziona:
La deriva viene calcolata per le caratteristiche categoriali e numeriche misurando la distribuzione di probabilità dei valori continui e discreti. Per identificare i valori discreti delle caratteristiche numeriche, si utilizza un logaritmo binario per confrontare il numero di valori distinti di ciascuna caratteristica con il numero totale di valori di ciascuna caratteristica. La seguente formula del logaritmo binario viene utilizzata per identificare le caratteristiche numeriche discrete:
Se distinct_values_count è inferiore al logaritmo binario di total_count, la funzione viene identificata come discreta.
- Eseguire le operazioni matematiche:
Per calcolare la deriva delle caratteristiche si utilizzano le seguenti formule:
Le seguenti formule vengono utilizzate per calcolare le metriche di valutazione della deviazione v2 :
Distanza di variazione totale
La distanza di variazione totale misura la differenza massima tra le probabilità che due distribuzioni di probabilità, baseline (B) e produzione (P), assegnano alla stessa transazione come mostrato nella seguente formula:
Se le due distribuzioni sono uguali, la distanza di variazione totale tra loro diventa 0.
La seguente formula viene utilizzata per calcolare la distanza di variazione totale:
𝑥 è una serie di campioni equidistanti che coprono il dominio di
che va dal minimo combinato dei dati di base e di produzione al massimo combinato dei dati di base e di produzione.
è la differenza tra due campioni 𝑥 consecutivi.
è il valore della funzione di densità per i dati di produzione in un campione 𝑥.
è il valore della funzione di densità per i dati di base per un campione 𝑥.
Il 
denominatore rappresenta l'area totale sotto i grafici della funzione di densità per la produzione e i dati di base. Queste sommazioni sono un'approssimazione delle integrazioni nello spazio di dominio ed entrambi i termini devono essere 1 e il totale deve essere 2.
Coefficiente di sovrapposizione
Il coefficiente di sovrapposizione viene calcolato misurando l'area totale dell'intersezione tra due distribuzioni di probabilità. Per misurare la dissimilarità tra le distribuzioni, l'intersezione o l'area di sovrapposizione viene sottratta da 1 per calcolare la quantità di deviazione. La seguente formula viene utilizzata per calcolare il coefficiente di sovrapposizione:
𝑥 è una serie di campioni equidistanti che coprono il dominio di
che va dal minimo combinato dei dati di base e di produzione al massimo combinato dei dati di base e di produzione.- è la differenza tra due campioni 𝑥 consecutivi.
- è il valore della funzione di densità per i dati di produzione in un campione 𝑥.
- è il valore della funzione di densità per i dati di base per un campione 𝑥.
Distanza di Jensen Shannon
La distanza di Jensen Shannon è la forma normalizzata della Divergenza di Kullback-Leibler (KL) che misura quanto una distribuzione di probabilità differisca dalla seconda distribuzione di probabillità. La distanza di Jensen Shannon è un punteggio simmetrico e ha sempre un valore finito.
La seguente formula viene utilizzata per calcolare la distanza di Jensen Shannon per due distribuzioni di probabilità, baseline (B) e produzione (P):
è la divergenza KL.
Argomento principale Configurazione delle valutazioni del modello