IBM propose une solution de gestion des risques de modèle avec IBM Watson OpenScale. IBM Watson OpenScale surveille et mesure les résultats des modèles d'intelligence artificielle sur le cycle de vie et effectue des validations de modèle.

Exécution d'une analyse dans Watson OpenScale

Une fois que vous avez configuré et activé les fonctions de gestion des risques liés aux modèles, vous pouvez voir et comparer les exemples d'évaluation dans Watson OpenScale. Un rapport téléchargeable, le Rapport récapitulatif de modèle, inclut toutes les mesures de qualité et d'équité et l'amplitude de la dérive.

1. Dans le tableau de bord Analyses, cliquez sur la vignette du déploiement de modèle

2. Dans la zone déroulante Actions, cliquez sur l'une des options d'analyse suivantes :

   1. Evaluations passées : répertorie toutes les versions précédentes de l'évaluation.
   2. Comparer : compare n'importe lesquels des modèles, mais en particulier les versions du même modèle, pour de meilleures performances.
   3. Télécharger un rapport PDF : génère le rapport récapitulatif du modèle, qui vous donne toutes les métriques et l'explication de leur évaluation.

Déploiement d'un nouveau modèle en production dans Watson OpenScale

Envoyez le meilleur modèle en production. Créez un enregistrement de production en faisant une importation à partir d'un modèle de préproduction. Une fois le modèle approuvé pour le déploiement dans IBM OpenPages, vous pouvez l'envoyer en production dans Watson OpenScale.

1. Vérifiez l'état du déploiement de modèle :
2. Revenez à l'exemple de bloc-notes et exécutez les cellules pour envoyer le modèle en production.
3. Vous pouvez maintenant voir la vignette du déploiement de modèle de production. Dans un environnement de production normal, elle apparaît initialement vide jusqu'à ce que suffisamment de données soient collectées et que du temps se soit écoulé pour que le calcul des métriques soit déclenché. Pour le tutoriel, le bloc-notes ajoute des données et exécute les moniteurs pour que vous voyiez les résultats immédiatement.

Comparaison de modèles

Watson OpenScale permet de comparer des modèles en examinant les métriques clés dans une comparaison côte à côte. Utilisez cette fonction pour déterminer quelle version d'un modèle est la meilleure à envoyer en production ou quel modèle doit être retravaillé.

Dans le menu Actions, sélectionnez un modèle à comparer à celui affiché dans le tableau de bord Récapitulatif MRM.

Evaluation immédiate

Dans l'environnement de préproduction, vous pouvez transférer des données de test sous la forme d'un fichier CSV, d'une table de base de données ou d'un fichier de stockage d'objets Cloud. Pour utiliser l'option CSV, faites glisser le fichier CSV dans la zone de liste déroulante. Pour utiliser les options de stockage Db2 ou cloud, vous devez fournir des données d'identification. Une fois les données téléchargées, vous pouvez immédiatement voir les résultats en évaluant les nouvelles données par rapport au modèle.

Assurez-vous que l'abonnement soit pleinement activé en définissant les bons schémas avant d'effectuer des évaluations.

Les connexions aux options de base de données sont transitoires. Pour effectuer une évaluation ultérieure, vous devez entrer à nouveau les informations de connexion.

Copie de la configuration à partir d'un abonnement de préproduction vers un abonnement de production

Pour gagner du temps, vous pouvez copier les métadonnées de configuration et de modèle à partir d'un abonnement de préproduction vers un abonnement de production. Pour ce faire, le modèle doit être identique au modèle source, mais déployé sur l'espace de production.

Etapes suivantes

Utilisez l'analyse de l'équité pour redéfinir le modèle, éventuellement avec un autre algorithme.