È possibile utilizzare IBM watsonx.ai Runtime per eseguire la registrazione del payload, la registrazione del feedback e per misurare l'accuratezza delle prestazioni, il rilevamento dei bias di runtime, il rilevamento della deriva, la spiegabilità e la funzione di auto-debias quando si valutano i modelli di apprendimento automatico.
Per la valutazione dei modelli di apprendimento automatico sono supportati i seguenti framework di IBM watsonx.ai Runtime:
Tabella 1. Dettagli supporto framework
| Framework | Tipo di problema | Tipo di dati |
|---|---|---|
| AutoAI1 | Classificazione (binaria e multi-classe) | Strutturato (dati, testo) |
| AutoAI | Regressione | Strutturata o non strutturata2 (solo testo) |
| Apache Spark MLlib | Classificazione | Strutturata o non strutturata2 (solo testo) |
| Apache Spark MLLib | Regressione | Strutturata o non strutturata2 (solo testo) |
| Keras con TensorFlow3&4 | Classificazione | Non strutturato2 (immagine, testo) |
| Keras con TensorFlow3&4 | Regressione | Non strutturato2 (immagine, testo) |
| Python funzione | Classificazione | Strutturato (dati, testo) |
| Python funzione | Regressione | Strutturato (dati, testo) |
| scikit - learn5 | Classificazione | Strutturato (dati, testo) |
| scikit-learn | Regressione | Strutturato (dati, testo) |
| XGBoost6 | Classificazione | Strutturato (dati, testo) |
| XGBoost | Regressione | Strutturato (dati, testo) |
1Persaperne di più su AutoAI, vedere Dettagli sull'implementazione diAutoAI. Per i modelli in cui i dati di addestramento si trovano in Cloud Object Storage, non esiste alcun supporto per gli attributi di correttezza di tipo booleano. Tuttavia, se i dati di addestramento sono in Db2, le valutazioni del modello supportano attributi di equità di tipo booleano. Quando si utilizza l'opzione AutoAI, se la previsione del modello è di tipo binario, le valutazioni del modello non sono supportate. È necessario modificare tali modelli in modo che il tipo di dati della previsione sia stringa.
2Le metriche di correttezza e deviazione non sono supportate per i dati non strutturati (immagini o testo).
3Il supporto di Keras non include il supporto per la correttezza.
4 L'esplicabilità è supportata se il modello/framework emette probabilità previsionali.
5Per generare il modello di rilevamento della deviazione, è necessario utilizzare scikit-learn versione 1.3.2 nei notebook.
6Per i modelli binari e a più classi XGBoost, è necessario aggiornare il modello per restituire la probabilità di previsione sotto forma di valori numerici per i modelli binari e un elenco di probabilità per classe per i modelli a più classi. Il supporto del framework XGBoost presenta le seguenti limitazioni per i problemi di classificazione: Per la classificazione binaria, la funzione di regressione logistica 'binary:logistic con un output come probabilità di 'True è supportata per le valutazioni del modello. Per la classificazione multiclasse, è supportata la funzione " multi:softprob, il cui risultato contiene la probabilità prevista di appartenenza di ciascun punto dati a ciascuna classe, per la valutazione del modello.
Modelli AutoAI e dati di training
AutoAI prepara automaticamente i dati, applica gli algoritmi o gli stimatori e crea le pipeline del modello più adatte per i tuoi dati e il tuo caso di utilizzo. L'accesso ai dati di addestramento è necessario per analizzare il modello per le valutazioni.
Poiché la posizione dei dati di allenamento non viene rilevata per la valutazione di un modello AutoAI come per i modelli normali, è necessario fornire esplicitamente i dettagli necessari per accedere alla posizione dei dati di allenamento:
- Per il percorso in linea, dove si configurano manualmente i monitoraggi, è necessario fornire i dettagli del database da cui è possibile accedere ai dati di addestramento.
- Per il percorso notebook personalizzato, dove si carica la distribuzione dei dati di training, è possibile utilizzare il file JSON prodotto eseguendo il notebook.
Per ulteriori informazioni, vedi Fornisci dettagli del modello.
Specifica di un'istanza del servizio IBM watsonx.ai Runtime
Il primo passo per configurare le valutazioni del modello è specificare un'istanza di IBM watsonx.ai Runtime. L'istanza watsonx.ai Runtime è il luogo in cui vengono memorizzati i modelli e le implementazioni di IA.
Prerequisiti
È necessario aver eseguito il provisioning di un'istanza di IBM watsonx.ai Runtime nello stesso account o cluster in cui è presente l'istanza del servizio per le valutazioni dei modelli. Se è stata fornita un'istanza di IBM watsonx.ai Runtime in un altro account o cluster, non è possibile configurare tale istanza con la registrazione automatica dei payload per le valutazioni dei modelli.
Collegare l'istanza del servizio Runtime di watsonx.ai
È possibile connettersi ai modelli e alle implementazioni di IA in un'istanza IBM watsonx.ai Runtime per la valutazione dei modelli. Per collegare il servizio, andare alla scheda Configura '
, aggiungere un provider di apprendimento automatico e fare clic sull'icona Modifica '
. Oltre ad un nome e una descrizione e se si tratta di un tipo di ambiente Pre-produzione o Produzione, è necessario fornire le seguenti informazioni specifiche per questo tipo di istanza di servizio:
- Se si dispone di un'istanza di IBM watsonx.ai Runtime, l'istanza viene rilevata insieme alle informazioni di configurazione.
Argomento principale Motori, framework e modelli di machine learning supportati