Watson OpenScale offre une solution de gestion du risque de modèle avec une évaluation de modèle qui mesure les résultats des modèles d'IA tout au long de leur cycle de vie et effectue des validations de modèle pour aider votre organisation à se conformer aux normes et réglementations.
Effectuer une analyse dans Watson OpenScale
Une fois que vous avez configuré et activé les fonctions de gestion des risques du modèle, vous pouvez voir et comparer les exemples d'évaluation. Vous pouvez télécharger le rapport récapitulatif du modèle qui inclut toutes les mesures de qualité, les mesures d'équité et l'ampleur de la dérive.
Dans le tableau de bord Analyses, cliquez sur la vignette du déploiement de modèle
Dans le menu Actions, cliquez sur l'une des options d'analyse suivantes :
- Toutes les évaluations : Répertorie toutes les versions précédentes de l'évaluation.
- Comparer : compare n'importe lesquels des modèles, mais en particulier les versions du même modèle, pour de meilleures performances.
- Télécharger un rapport PDF : génère le rapport récapitulatif du modèle, qui vous donne toutes les métriques et l'explication de leur évaluation.
Déployer un nouveau modèle en production dans Watson OpenScale
Envoyez le meilleur modèle en production. Créez un enregistrement de production en faisant une importation à partir d'un modèle de préproduction.
- Passez en revue le statut du déploiement de modèle.
- Revenez à l'exemple de bloc-notes et exécutez les cellules pour envoyer le modèle en production.
- Vous pouvez maintenant voir la vignette du déploiement de modèle de production. Dans un environnement de production normal, il apparaît initialement vide jusqu'à ce que suffisamment de données soient collectées et que le temps s'écoule pour que le calcul des mesures soit déclenché. Le bloc-notes ajoute des données et exécute les moniteurs pour que vous puissiez voir les résultats immédiatement.
Comparaison
Lorsque vous affichez les détails d'une évaluation de modèle, vous pouvez utiliser Watson OpenScale pour comparer des modèles avec un graphique matriciel qui met en évidence les mesures clés. Utilisez cette fonction pour déterminer quelle version d'un modèle est la meilleure à envoyer en production ou quel modèle doit être retravaillé.
Dans le menu Actions, sélectionnez Comparer pour générer un graphique qui compare les scores des mesures que vous utilisez pour surveiller vos modèles.
Evaluer maintenant
Dans le menu Actions, sélectionnez Évaluer maintenant pour évaluer les données de test pour l'équité, la qualité et la dérive. Dans l'environnement de préproduction, vous pouvez importer des données de test avec l'une des méthodes suivantes :
- Téléchargez un fichier CSV contenant des données de test étiquetés
- Connectez-vous à un fichier CSV contenant des données de test étiquetés dans Cloud Object Storage ou Db2
Lorsque vous utilisez l'une de ces méthodes d'importation, vous pouvez contrôler si Watson OpenScale évalue ou non les données de test.
Si vous souhaitez que Watson OpenScale marque vos données, importez les données de test étiqueté avec des colonnes de fonction et de libellé. Watson OpenScale marque les données de test et les valeurs de prévision et de probabilité sont stockées dans la table de commentaires en tant que _original_prediction et colonnes _original_probability.
Si vous souhaitez importer des données de test déjà évaluées, cochez la case Test data includes model output dans le panneau Importer des données de test. Vous devez importer les données de test avec des colonnes de fonction et de libellé ainsi que la sortie de résultat. Watson OpenScale n'évalue pas de nouveau les données de test. Les valeurs de prévision et de probabilité sont stockées dans la table de commentaires en tant que colonnes _original_prediction et _original_probability.
Remarques :
Les données de test que vous téléchargez peuvent également inclure les colonnes record_id/transaction_id et record_timestamp qui sont ajoutées aux tableaux de journalisation de contenu et de retour d'informations utiles lorsque l'option Test data includes model output est sélectionnée.
Assurez-vous que l'abonnement est entièrement activé en définissant les schémas appropriés avant d'effectuer les évaluations.
Copier la configuration d'un abonnement de préproduction à un abonnement de production
Pour gagner du temps, vous pouvez copier des métadonnées de configuration et de modèle à partir d'un abonnement de préproduction et ajouter les données à un abonnement de production. Le modèle doit correspondre à une correspondance identique au modèle source, mais déployé sur l'espace de production.
Rubrique parent : Modèle de gestion des risques et gouvernance des modèles