Vous pouvez configurer les évaluations pour obtenir des informations sur les performances de votre modèle.
Vous pouvez configurer les types d'évaluations suivants :
- Qualité
Evaluation de la façon dont votre modèle prévoit les résultats corrects qui correspondent aux données de test étiquetées. - Equité
Permet d'évaluer si votre modèle génère des résultats biaisés qui fournissent des résultats favorables pour un groupe par rapport à un autre. - Dérive
Évalue l'évolution de la précision et de la cohérence des données de votre modèle en comparant des transactions récentes à vos données d'apprentissage. - Dérive v2
Permet d'évaluer les modifications apportées à la sortie de votre modèle, la précision de vos prévisions et la distribution de vos données d'entrée. - Santé du modèle
Evalue l'efficacité avec laquelle votre déploiement de modèle traite vos transactions. - Qualité de l'IA générative
Mesure le degré d'exécution des tâches par votre foundation model
Si vous évaluez des modèles d'apprentissage automatique traditionnels, vous pouvez également créer évaluations et mesures personnalisées pour générer une plus grande variété d'informations sur les performances de votre modèle.
Chaque évaluation génère des indicateurs que vous pouvez analyser pour obtenir des informations sur les performances de votre modèle.
Lorsque vous configurez les évaluations, vous pouvez choisir de les exécuter en continu selon les intervalles programmés par défaut suivants :
Évaluation | Calendrier par défaut de l'abonnement en ligne | Calendrier par défaut de l'abonnement par lot |
---|---|---|
Qualité | 1 heure | 1 semaine |
Equité | 1 heure | 1 semaine |
Dérive | 3 heures | 1 semaine |
Dérive v2 | 1 journée | ND |
Explicabilité | 1 semaine | 1 semaine |
Etat de santé du modèle | 1 heure | ND |
Qualité de l'IA générative | 1 heure | ND |
Rubrique parent: Evaluation des modèles d'IA avec Watson OpenScale