Configurazione delle valutazioni del modello

È possibile configurare le valutazioni per generare approfondimenti sulle prestazioni del modello.

È possibile configurare i seguenti tipi di valutazione:

• Qualità
  Valuta il modo in cui il modello prevede i risultati corretti che corrispondono ai dati di test etichettati.
• Correttezza
  Valuta se il modello produce risultati distorti che forniscono risultati favorevoli per un gruppo rispetto a un altro.
• Deriva Modelli supportati: modelli di apprendimento automatico solo
  Valuta come il modello cambia in termini di accuratezza e coerenza dei dati confrontando le transazioni recenti con i dati di addestramento.
• Drift v2
  Valuta le modifiche nell'output del modello, l'accuratezza delle previsioni e la distribuzione dei dati di input.
• Integrità del modello
  Valuta l'efficienza con cui la distribuzione del modello elabora le transazioni.
• Qualità dell'IA generativa Modelli supportati: Solo modelli LLM
  Misura il grado di esecuzione dei compiti da parte del vostro foundation model

Se state valutando modelli di apprendimento automatico tradizionali, potete anche creare valutazioni e metriche personalizzate per generare una maggiore varietà di informazioni sulle prestazioni del modello.

Ogni valutazione genera metriche che è possibile analizzare per ottenere informazioni dettagliate sulle prestazioni del modello.

Quando si configurano le valutazioni, si può scegliere di eseguirle continuamente ai seguenti intervalli predefiniti:

Argomento principale: Valutazione dei modelli AI con Watson OpenScale