Per eseguire Watson OpenScale sui miei server, quanta potenza di elaborazione del computer è richiesta?

Esistono linee guida specifiche per la configurazione hardware per le configurazioni a tre nodi e a sei nodi. Il team IBM Technical Sales può inoltre aiutare a vagliare la propria configurazione specifica. Poiché Watson OpenScale funziona come componente aggiuntivo di IBM Cloud Pak for Data, è necessario considerare i requisiti di entrambi i prodotti software.

Perché Watson OpenScale ha bisogno di accedere ai dati di formazione?

È necessario fornire a Watson OpenScale l'accesso ai dati di addestramento archiviati in Db2 o in IBM Cloud Object Storage, oppure eseguire un Notebook per accedere ai dati di addestramento.

Watson OpenScale ha bisogno dell'accesso ai tuoi dati di formazione per i seguenti motivi:

• Per generare spiegazioni LIME (Local Interpretable Model - Agnostic Spiegations) e Contrastive: per creare spiegazioni, è richiesto l'accesso alle statistiche, come il valore mediano, la deviazione standard e i valori distinti dai dati di addestramento.
• Per visualizzare le statistiche dei dati di addestramento: per popolare la pagina dei dettagli della distorsione, Watson OpenScale deve avere i dati di addestramento da cui generare statistiche.
• Per creare un modello di rilevamento della deviazione: il monitor Deviazione utilizza i dati di training per creare e calibrare il rilevamento della deviazione.

Nell'approccio basato su notebook, si prevede di caricare le statistiche e altre informazioni quando si configurare una distribuzione in Watson OpenScale. Watson OpenScale non ha più accesso ai dati di formazione all'esterno del Notebook, che viene eseguito nel tuo ambiente. Ha accesso solo alle informazioni caricate durante la configurazione.

C'è uno strumento della riga comandi da utilizzare?

Sì! Esiste uno strumento CLI ModelOps , il cui nome ufficiale è Watson OpenScale CLI model operations tool. Utilizzarlo per eseguire attività correlate alla gestione del ciclo di vita dei modelli di machine learning.

Quale versione di Python posso utilizzare con Watson OpenScale?

Poiché Watson OpenScale è indipendente dal processo di creazione del tuo modello, supporta qualsiasi versione Python supportata dal tuo provider di machine learning. Client Watson OpenScale Python è una libreria Python che funziona direttamente con il servizio Watson OpenScale su IBM Cloud. Per le informazioni sulla versione più aggiornate, consultare la sezione Requisiti. Puoi utilizzare il client Python , invece dell'IU client Watson OpenScale , per configurare direttamente un database di registrazione, eseguire il bind del tuo motore di machine learning e selezionare e monitorare le distribuzioni. Per esempi di utilizzo del client Python in questo modo, vedi i Notebook di esempioWatson OpenScale.

Quali browser posso utilizzare per eseguire Watson OpenScale?

La strumentazione del servizio Watson OpenScale richiede lo stesso livello di software del browser richiesto da IBM Cloud. Per i dettagli, vedi l'argomento IBM Cloud .

La configurazione di un modello richiede informazioni sull'ubicazione dei dati di addestramento e le opzioni sono Cloud Object Storage e Db2. Se i dati sono in Netezza, Watson OpenScale può utilizzare Netezza?

Utilizza questo Watson OpenScale Notebook per leggere i dati da Netezza e generare statistiche di addestramento e anche il modello di rilevamento della deviazione.

Perché Watson OpenScale non visualizza gli aggiornamenti apportati al modello?

Watson OpenScale funziona su una distribuzione di un modello, non sul modello stesso. È necessario creare una nuova distribuzione e quindi configurare questa nuova distribuzione come nuova sottoscrizione in Watson OpenScale. Con questa disposizione, è possibile confrontare le due versioni del modello.

Come viene mitigata la distorsione del modello utilizzando Watson OpenScale?

La funzionalità di annullamento della distorsione in Watson OpenScale è di livello aziendale. È robusto, scalabile e può gestire un'ampia gamma di modelli. L'annullamento della distorsione in Watson OpenScale consiste in un processo in due fasi.

1. Learning Phase: apprendimento del comportamento del modello cliente per capire quando agisce in modo distorto.
2. Fase di applicazione: Identificare se il modello del cliente agisce in modo distorto su un punto di dati specifico e, se necessario, correggere la distorsione. Per ulteriori informazioni, consultare Revisione delle transazioni senza distorsione.

È possibile controllare la distorsione del modello su attributi sensibili, come razza e sesso, anche quando il modello non è addestrato su di essi?

Sì. Di recente, Watson OpenScale ha fornito una funzione innovativa chiamata "Indirect Bias detection". Utilizzarla per rilevare se il modello presenta una distorsione indiretta per gli attributi sensibili, anche se il modello non è addestrato su tali attributi. Per ulteriori informazioni, consultare Revisione delle transazioni senza distorsione.

Posso configurare la correttezza del modello tramite un'API?

Sì, è possibile con l'SDK Watson OpenScale . Per ulteriori informazioni, vedi IBM Watson OpenScale Python SDK documentation.

Quali sono i vari tipi di rischi associati all'utilizzo di un modello di machine learning?

Diversi tipi di rischi associati ai modelli di machine learning, come qualsiasi modifica dei dati di input (nota anche come deviazione), possono causare al modello di prendere decisioni non accurate, influenzando le previsioni di business. I dati di addestramento possono essere ripuliti per non essere distorti, ma i dati di runtime potrebbero indurre un comportamento distorto del modello.

I modelli statistici tradizionali sono più semplici da interpretare e spiegare, ma l'impossibilità di spiegare il risultato del modello di machine learning può rappresentare una grave minaccia per l'utilizzo del modello.

Per ulteriori informazioni, vedi Gestisci il rischio del modello.

Watson OpenScale rileva la deviazione nell'accuratezza e nei dati?

Watson OpenScale rileva sia la deviazione nell'accuratezza che la deviazione nei dati:

• La deviazione della precisione stima la diminuzione della precisione del modello al runtime. L'accuratezza del modello diminuisce quando si verifica un aumento delle transazioni simili a quelle che il modello non ha valutato correttamente nei dati di addestramento. Questo tipo di deviazione è calcolato solo per i modelli di classificazione binaria strutturati e multiclasse.
• La deviazione nei dati stima la diminuzione della coerenza dei dati al runtime rispetto alle caratteristiche dei dati al momento dell'addestramento.

Quali sono i tipi di spiegazioni mostrati in Watson OpenScale?

Watson OpenScale fornisce una spiegazione locale basata su LIME, una spiegazione contrastante e spiegazioni SHAP. Per ulteriori informazioni, consultare Visualizzazione dell'esplicabilità.

Cos' è l'analisi what-if in Watson OpenScale?

L'interfaccia utente delle spiegazioni fornisce anche la possibilità di testare scenari what-if. Ad esempio, l'utente può modificare i valori della funzione del punto dati di input e controllarne l'impatto sulla previsione e la probabilità del modello.

Quali modelli supportano le spiegazioni LIME?

I seguenti tipi di modelli supportano le spiegazioni LIME in Watson OpenScale:

• Regressione strutturata e modelli di classificazione
• Modelli di classificazione di immagini e testo non strutturati

Quali modelli supportano spiegazioni contrastanti e analisi what-if?

Le spiegazioni contrastanti e le analisi di simulazione sono supportate solo per i modelli che utilizzano dati strutturati e problemi di classificazione.

Quali sono le funzioni controllabili nella configurazione dell'esplicabilità Watson OpenScale ?

Utilizzando le funzioni controllabili, è possibile bloccare alcune funzioni del punto di dati di input, in modo che non vengano modificate quando viene generata la spiegazione contrastante e non sia possibile modificarle nell'analisi. Le funzioni che non devono essere modificate devono essere impostate come non controllabili o NO nella configurazione dell'esplicabilità.

Durante la configurazione dei provider di machine learning in Watson OpenScale, qual è la differenza tra le sottoscrizioni di pre - produzione e di produzione?

Prima di mettere un modello in produzione, un programma di convalida del modello può configurare e convalidare il modello utilizzando un provider di servizi di pre - produzione. Watson OpenScale può designare un provider di machine learning come parte dell'elaborazione di pre - produzione, in cui eseguire valutazioni del rischio. Dopo che il modello soddisfa gli standard di qualità, è possibile inviare il modello in produzione. È possibile utilizzare diversi provider di machine learning per la preproduzione e la produzione oppure è possibile utilizzare diverse istanze dello stesso provider di machine learning per mantenere segmentati gli ambienti di pre - produzione e produzione.

Devo continuare a monitorare il dashboard Watson OpenScale per assicurarmi che i miei modelli si comportino come previsto?

No, è possibile impostare avvisi email per le distribuzioni del modello di produzione in Watson OpenScale. Gli avvisi email vengono inviati ogni volta che un test di valutazione del rischio non riesce, quindi è possibile venire a controllare i problemi e risolverli.

In un ambiente di pre - produzione che utilizza Watson OpenScale dopo che il modello è stato valutato per il rischio e approvato per l'utilizzo, devo riconfigurare nuovamente tutti i monitor nell'ambiente di produzione?

No, Watson OpenScale fornisce un modo per copiare la configurazione della sottoscrizione di pre - produzione alla sottoscrizione di produzione. Per ulteriori informazioni, vedi Gestisci il rischio del modello.

In Watson OpenScale, posso confrontare le mie distribuzioni del modello in pre - produzione con un modello di benchmark per vedere quanto sia buono o cattivo?

Sì, Watson OpenScale ti fornisce l'opzione per confrontare due sottoscrizioni o distribuzioni di modelli. È possibile visualizzare un confronto parallelo del comportamento dei due modelli su ciascuno dei monitor configurati. Per confrontare andare alla pagina di riepilogo del modello sul dashboard Watson OpenScale e selezionare Actions -> Compare. Per ulteriori informazioni, consultare Revisione dei risultati di valutazione.

In Watson OpenScale, quali dati vengono utilizzati per il calcolo delle metriche di qualità?

Le metriche di qualità vengono calcolate utilizzando dati di feedback etichettati manualmente e le risposte di distribuzione monitorate per questi dati.

In Watson OpenScale, perché alcune delle schede di configurazione sono disabilitate?

Alcune condizioni abilitano particolari schede. È possibile visualizzare il motivo per cui tale scheda non è abilitata, passando con il mouse sull'icona del cerchio sulla scheda.

Perché ci si dovrebbe preoccupare della deviazione dell'accuratezza del modello o della deviazione dei dati?

Un calo nell'accuratezza del modello o nella congruenza dei dati porta ad un impatto negativo sui risultati di business associati con il modello e devono essere risolti rieseguendo il training del modello.

Quali sono i diversi tipi di deviazione rilevati da IBM Watson OpenScale ?

Watson OpenScale rileva sia la deviazione nell'accuratezza del modello che la deviazione nei dati.

In che modo viene calcolata la diminuzione dell'accuratezza, ovvero la deviazione dell'accuratezza del modello in Watson OpenScale?

Watson OpenScale apprende il comportamento del modello creando un modello proxy, noto anche come modello di rilevamento della deviazione. Esamina i dati di addestramento e il modo in cui il modello effettua le previsioni sui dati di addestramento.

Per ulteriori informazioni, consultare Rilevamento deviazione.

In che modo viene calcolata la diminuzione della coerenza dei dati in IBM Watson OpenScale?

IBM Watson OpenScale apprende i limiti o i vincoli di una o due colonne sui dati di formazione al momento della configurazione. Analizza quindi tutte le transazioni payload per determinare quali transazioni stanno causando il calo della congruenza dei dati. Per ulteriori informazioni, vedi Metriche di deviazione.

Watson OpenScale può rilevare la deviazione nel mio modello addestrato sul corpus di testo?

Watson OpenScale non può rilevare la deviazione nei modelli basati sul testo al momento.

Watson OpenScale è in grado di rilevare la deviazione nel mio modello che viene addestrato sui dati immagine?

Watson OpenScale non può rilevare la deviazione nei modelli basati sull'immagine al momento.

Watson OpenScale è in grado di rilevare la deriva della mia funzione Python distribuita su IBM watsonx.ai Runtime?

Watson OpenScale può rilevare la deviazione per le funzioni Python che vengono addestrate su dataset strutturati. Le funzioni python che sono state addestrate su dataset di testo o immagine non sono supportate. L'output del calcolo del punteggio per le funzioni python deve includere le colonne di previsione e le colonne di probabilità che contengono tutte le probabilità di classe per problemi di classificazione.

Argomento principale: Valutazione dei modelli AI con Watson OpenScale