Le valutazioni della deriva rilevano i cali di accuratezza e di coerenza dei dati in un modello. L'accuratezza del modello diminuisce se si verifica un aumento delle transazioni simili a quelle che il modello non ha valutato correttamente nei dati di addestramento.
Esempi di valutazione della deviazione
Quando si configura la deriva, è necessario specificare l'entità della deriva di precisione tollerabile. La deviazione viene misurata come la diminuzione della precisione rispetto alla precisione del modello al momento dell'addestramento. Ad esempio, se la precisione del modello al momento dell'addestramento era del 90% e al runtime la precisione stimata del modello è dell ' 80%, si dice che il modello è stato deviato del 10%. A seconda del caso di utilizzo, i proprietari del modello saranno disposti a tollerare diverse quantità di deviazione. È possibile specificare l'entità della deriva di precisione per ogni valutazione del modello. Se la deviazione per un modello scende al di sotto della soglia specificata, verrà generato un avviso.
Se i dati non superano i 500 MB, è possibile addestrare il modello online. Altrimenti, è necessario utilizzare un notebook per addestrare il modello.
Prima di iniziare
È necessario configurare il rilevamento della deviazione prima che possa analizzare il modello. È possibile addestrare il modello di rilevamento della deviazione in linea utilizzando l'interfaccia utente o eseguendo il codice all'interno di un notebook. La configurazione della deviazione è supportata solo per dati strutturati. I modelli di classificazione supportano sia la deviazione dei dati che della precisione, mentre i modelli di regressione supportano solo la deviazione dei dati.
Questi sono i requisiti per configurare il monitor Deviazione:
- Il provider di Machine Learning deve essere watsonx.ai Runtime
- La dimensione dei dati di preparazione deve essere inferiore a 500MB
- I dati di addestramento devono essere ospitati in IBM Cloud Object StorageDb2.
Per caricare i dati di addestramento e impostare i Dettagli del modello per il rilevamento della deviazione:
- Fai clic su Upload training data e carica un file con i dati etichettati.
Per i dettagli, vedi Fornire i dettagli del modello.
Durante questo processo, il vostro modello viene analizzato e vengono formulate raccomandazioni basate sul risultato più logico. Per il corretto funzionamento del rilevamento della deviazione, il tipo di dati della colonna di previsione nei dati di addestramento deve corrispondere al tipo di dati della stessa colonna nei dati del payload. Assegnare tipi stringa o numerici corrispondenti alle colonne di previsione e di etichetta. Per confermare i tipi di dati, fare clic su Dettagli modello > Dettagli output modello > Modifica. Queste selezioni garantiscono di avere informazioni precise per i seguenti passaggi di configurazione. Se per qualche motivo è necessario modificare i tipi di dati, è necessario ridistribuire la valutazione per rendere effettive le modifiche.
Sulle pagine successive della scheda Deviazione, è necessario fornire le seguenti informazioni:
Soglia di avviso
Richiesto solo per i modelli di classificazione: Il grado di variazione dell'accuratezza del modello viene confrontato con l'accuratezza al momento dell'addestramento. La soglia di avviso, che deve essere almeno il 5%, indica il grado di tolleranza per il cambiamento nel tempo.
Dimensione del campione
Impostando una dimensione minima del campione, si preveniene la misurazione della deviazione fino a quando non sia disponibile un numero minimo di record nel dataset di valutazione. Questa impostazione garantisce che la dimensione del campione non sia troppo piccola per l'asimmetria dei risultati. A ogni esecuzione del controllo della deviazione, viene utilizzata la dimensione minima del campione per decidere il numero di record in base al quale eseguire il calcolo.
Passi per la configurazione della valutazione della deviazione
Se si utilizza IBM watsonx.ai Runtime, è possibile configurare il rilevamento della deriva.
Per avviare il processo di configurazione, nella scheda Deviazione , nella casella Modello di deviazione , fare clic sull'icona Modifica 
.
Scegliete un'opzione di formazione e seguite le indicazioni per inserire le informazioni richieste. Una volta finito, viene visualizzato un riepilogo delle selezioni per la revisione. Se si desidera modificare qualsiasi cosa, fare clic sull'icona Modifica per quella sezione. Altrimenti, salvare il lavoro.
Passi per configurare la deviazione senza rieseguire il training
Riconfigurare la valutazione della deviazione senza rieseguire il training del modello di deviazione per aggiornare i parametri senza ulteriore elaborazione. Si aggiorna la soglia e la dimensione minima del campione per produrre più dati sul modello attualmente sottoposto a training senza incorrere in ulteriori costi di elaborazione. Si tratta di un modo per evitare l'utilizzo intenso di CPU quando i dati sottostanti sono stabili e si vuole visualizzare l'entità della deviazione con soglie diverse.
Nota: il tuo modello di deviazione richiede un nuovo addestramento solo quando i dati di addestramento o lo schema cambiano.
Per avviare il processo di configurazione, dalla scheda Deviazione , nella casella Soglia di deviazione o nella casella Dimensione campione , fare clic su Modifica . Aggiornare l'impostazione corrente e salvarla.
Passi per configurare la deviazione utilizzando un notebook
Utilizzare un notebook per configurare la deviazione nelle seguenti circostanze:
- Non si desidera condividere i dati di addestramento per configurare le valutazioni di deriva
- Non è possibile condividere i dati di addestramento su Db2 o IBM Cloud Object Storage, che sono le uniche due posizioni dei dati di addestramento supportate per le valutazioni delle derive.
Questa opzione è utile se i dati di addestramento non sono archiviati in Db2 o in IBM Cloud Object Storage. Utilizzando un notebook, è necessario leggere i dati di training in un frame di dati. Il taccuino specializzato che si può scaricare crea poi un output specializzato che si può caricare per configurare le valutazioni della deriva.
Per generare il modello di rilevamento della deviazione, è possibile eseguire la cella che installa il package ibm-wos-utils>=5.0.1.0 e il kit sci versione 1.3.2. Per creare il modello è richiesta la versione Scikit - learn 1.3.2 .
Creare un blocco note per generare il modello di rilevamento della deriva utilizzando il blocco note di esempio. Il modello di rilevamento della deviazione viene convertito in un file .tar.gz per l'utente.
Per avviare il processo di configurazione, dalla scheda Deviazione , nella casella Modello di deviazione , fare clic su Modifica . Utilizzare l'opzione Esegui training in un notebook di data science. È possibile trascinare il modello di rilevamento della deviazione compresso nella zona di rilascio.
Seguire le richieste ed immettere le informazioni richieste. Una volta finito, viene visualizzato un riepilogo delle selezioni per la revisione. Se si desidera modificare qualcosa, fare clic su Modifica per tale sezione. Altrimenti, salvare il lavoro.
Ulteriori informazioni
Argomento principale Configurazione delle valutazioni del modello