Une solution de gestion du risque de modèle est proposée avec l'évaluation de modèle qui mesure les résultats des modèles d'IA tout au long de leur cycle de vie et effectue des validations de modèle pour aider votre organisation à se conformer aux normes et aux réglementations.
Effectuer des analyses avec Watson OpenScale
Une fois que vous avez configuré et activé les fonctions de gestion des risques du modèle, vous pouvez voir et comparer les exemples d'évaluation. Vous pouvez télécharger le rapport récapitulatif du modèle qui inclut toutes les mesures de qualité, les mesures d'équité et l'ampleur de la dérive.
Dans le tableau de bord Analyses, cliquez sur la vignette du déploiement de modèle
Dans le menu Actions, cliquez sur l'une des options d'analyse suivantes :
- Toutes les évaluations : Liste de toutes les évaluations en cours et terminées
- Comparer : Comparer n'importe quel modèle, mais surtout les versions d'un même modèle, pour obtenir les meilleures performances
- Télécharger le rapport au format PDF : Génère le rapport récapitulatif du modèle, qui vous donne toutes les mesures et l'explication de leur notation
Déploiement d'un nouveau modèle en production dans Watson OpenScale
Envoyez le meilleur modèle en production. Créez un enregistrement de production en faisant une importation à partir d'un modèle de préproduction.
- Passez en revue le statut du déploiement de modèle.
- Revenez à l'exemple de bloc-notes et exécutez les cellules pour envoyer le modèle en production.
- Vous pouvez maintenant voir la vignette du déploiement de modèle de production. Dans un environnement de production normal, il apparaît initialement vide jusqu'à ce que suffisamment de données soient collectées et que le temps s'écoule pour que le calcul des mesures soit déclenché. Le bloc-notes ajoute des données et exécute les moniteurs pour que vous puissiez voir les résultats immédiatement.
Comparaison de modèles
Lorsque vous consultez les détails d'une évaluation de modèle, vous pouvez comparer les modèles à l'aide d'un graphique matriciel qui met en évidence les principales mesures. Utilisez cette fonction pour déterminer quelle version d'un modèle est la meilleure à envoyer en production ou quel modèle doit être retravaillé.
Dans le menu Actions, sélectionnez Comparer pour générer un graphique qui compare les scores des mesures que vous utilisez pour surveiller vos modèles.
Evaluation immédiate
Dans le menu Actions, sélectionnez Évaluer maintenant pour évaluer les données de test. Dans l'environnement de préproduction, vous pouvez importer des données de test avec l'une des méthodes suivantes :
- Téléchargez un fichier CSV contenant des données de test étiquetés
- Connectez-vous à un fichier CSV contenant des données de test étiquetés dans Cloud Object Storage ou Db2
Lorsque vous utilisez l'une de ces méthodes d'importation, vous pouvez contrôler si Watson OpenScale évalue ou non les données de test.
Si vous souhaitez évaluer vos données, importez les données de test étiquetées avec des colonnes de caractéristiques et d'étiquettes. Les données du test sont notées et les valeurs de prédiction et de probabilité sont stockées dans la table de rétroaction dans les colonnes _original_prediction et _original_probability
Si vous souhaitez importer des données de test déjà évaluées, cochez la case Test data includes model output dans le panneau Importer des données de test. Vous devez importer les données de test avec des colonnes de fonction et de libellé ainsi que la sortie de résultat. Les données du test ne sont pas recalculées. Les valeurs de prévision et de probabilité sont stockées dans la table de commentaires en tant que colonnes _original_prediction et _original_probability.
Remarques :
Les données de test que vous téléchargez peuvent également inclure les colonnes record_id/transaction_id et record_timestamp qui sont ajoutées aux tableaux de journalisation de contenu et de retour d'informations utiles lorsque l'option Test data includes model output est sélectionnée.
Assurez-vous que l'abonnement est entièrement activé en définissant les schémas appropriés avant d'effectuer les évaluations.
Lorsque vous exécutez des évaluations, vous pouvez visualiser l'état d'avancement grâce à un indicateur de statut qui indique si les évaluations se sont terminées avec succès.
Copie de la configuration à partir d'un abonnement de préproduction vers un abonnement de production
Pour gagner du temps, vous pouvez copier des métadonnées de configuration et de modèle à partir d'un abonnement de préproduction et ajouter les données à un abonnement de production. Le modèle doit correspondre à une correspondance identique au modèle source, mais déployé sur l'espace de production.
Rubrique parent : Modèle de gestion des risques et gouvernance des modèles