Vous pouvez utiliser IBM watsonx.ai Runtime pour effectuer la journalisation des charges utiles, la journalisation du retour d'information et pour mesurer la précision des performances, la détection des biais d'exécution, la détection des dérives, l'explicabilité et la fonction d'autodébit lorsque vous évaluez les modèles d'apprentissage automatique.
Les frameworks IBM watsonx.ai Runtime suivants sont pris en charge pour l'évaluation des modèles d'apprentissage automatique :
Tableau 1. Détails des infrastructures prises en charge
| Infrastructure | Type de problème | Type de données |
|---|---|---|
| AutoAI1 | Classification (binaire et multi-classe) | Structuré (données, texte) |
| AutoAI | Régression | Structuré ou Non structuré2 (texte uniquement) |
| Apache Spark MLlib | Classification | Structuré ou Non structuré2 (texte uniquement) |
| Apache Spark MLLib | Régression | Structuré ou Non structuré2 (texte uniquement) |
| Keras avec TensorFlow3&4 | Classification | Non structuré2 (image, texte) |
| Keras avec TensorFlow3&4 | Régression | Non structuré2 (image, texte) |
| Fonction Python | Classification | Structuré (données, texte) |
| Fonction Python | Régression | Structuré (données, texte) |
| scikit-learn5 | Classification | Structuré (données, texte) |
| scikit-learn | Régression | Structuré (données, texte) |
| XGBoost6 | Classification | Structuré (données, texte) |
| XGBoost | Régression | Structuré (données, texte) |
1Pour en savoir plus sur AutoAI, voir Détails de l'implémentation d'AutoAI. Pour les modèles dont les données d'entraînement se trouvent dans Cloud Object Storage, les attributs d'équité de type booléen ne sont pas pris en charge. Toutefois, si les données d'apprentissage se trouvent dans Db2, les évaluations de modèles prennent en charge les attributs d'équité de type booléen. Lors de l'utilisation de l'option AutoAI, si la prédiction du modèle est un type de données binaires, les évaluations de modèle ne sont pas prises en charge. Ces modèles doivent être modifiés pour que leur prédiction soit de type chaîne.
2Les métriques d'équité et de dérive ne sont pas prises en charge pour les types de données non structurés (image ou texte).
3La prise en charge de l'équité n'est pas incluse dans le support Keras.
4 L'explicabilité est prise en charge si votre modèle / infrastructure produit des probabilités des prédictions.
5Pour générer le modèle de détection de dérive, vous devez utiliser scikit-learn version 1.3.2 dans des blocs-notes.
6Pour les modèles binaires et multi-classe XGBoost,
vous devez modifier le modèle pour qu'il renvoie la probabilité de prédiction
sous la forme de valeurs numériques pour les modèles binaires et d'une liste de probabilités
par classe pour les modèles multi-classe. La prise en charge du cadre XGBoost présente les limitations suivantes pour les problèmes de classification : Pour la classification binaire, la fonction de régression logistique " binary:logistic avec une sortie sous forme de probabilité de " True est prise en charge pour les évaluations de modèles. Pour la classification multiclasse, la fonction " multi:softprob, dont le résultat contient la probabilité prédite de chaque point de données appartenant à chaque classe, est prise en charge pour l'évaluation des modèles.
Modèles AutoAI et données d'entraînement
AutoAI prépare automatiquement les données, applique des algorithmes ou des estimateurs et génère les pipelines de modèles les mieux adaptés à vos données et à votre cas d'utilisation. L'accès aux données de formation est nécessaire pour analyser le modèle à des fins d'évaluation.
Comme l'emplacement des données d'apprentissage n'est pas détecté pour l'évaluation d'un modèle AutoAI comme il peut l'être pour un modèle normal, vous devez fournir explicitement les détails nécessaires pour accéder à l'emplacement des données d'apprentissage :
- Pour le chemin en ligne, où vous configurez manuellement les moniteurs, vous devez fournir les détails de la base de données depuis laquelle les données d'entraînement sont accessibles.
- Pour le chemin du bloc-notes personnalisé, où vous transférez la distribution des données d'entraînement, vous pouvez utiliser le fichier JSON généré par l'exécution du bloc-notes.
Pour plus d'informations, consultez Fournir les détails du modèle.
Spécification d'une instance de service IBM watsonx.ai Runtime
La première étape de la configuration des évaluations de modèles consiste à spécifier une instance IBM watsonx.ai Runtime. Votre instance watsonx.ai Runtime est l'endroit où vous stockez vos modèles d'IA et vos déploiements.
Prérequis
Vous devez avoir provisionné une instance IBM watsonx.ai Runtime dans le même compte ou cluster où se trouve l'instance de service pour les évaluations de modèles. Si vous avez provisionné une instance IBM watsonx.ai Runtime dans un autre compte ou cluster, vous ne pouvez pas configurer cette instance avec la journalisation automatique des charges utiles pour les évaluations de modèles.
Connectez votre instance de service watsonx.ai Runtime
Vous pouvez vous connecter aux modèles et aux déploiements d'IA dans une instance IBM watsonx.ai Runtime pour les évaluations de modèles. Pour connecter votre service, allez dans l'onglet Configurer " 
, ajoutez un fournisseur d'apprentissage automatique et cliquez sur l'icône Modifier " 
. En plus d'indiquer un nom, une description et s'il s'agit d'un type d'environnement Pré-production ou Production,
vous devez fournir les informations suivantes qui sont spécifiques à ce type d'instance de service :
- Si vous avez une instance de IBM watsonx.ai Runtime, l'instance est détectée, ainsi que les informations de configuration.
Rubrique parent : Moteurs d'apprentissage automatiques, infrastructures et modèles pris en charge