L'option de configuration automatique pour les évaluations de modèles d'apprentissage automatique met en place un environnement d'apprentissage automatique, une base de données et un modèle type pour vous. Suivez les étapes de la visite guidée pour apprendre à évaluer l'échantillon de modèle. Une fois la configuration terminée, vous pouvez ajouter votre propre modèle au tableau de bord.
exemple de modèle
L'installation automatique utilise l'échantillon de données German Credit Risk pour démontrer les principales caractéristiques des évaluations de modèles.
Présentation des exemples de données
L'exemple de données German Credit Risk fournit une collection d'enregistrements pour les clients de la banque qui ont été utilisés pour entraîner l'exemple de modèle. Il contient 20 attributs pour chaque demandeur de prêt. Les exemples de modèles mis à disposition dans le cadre de la configuration automatique sont entraînés pour prévoir le niveau de risque de crédit pour les nouveaux clients. Deux des attributs pris en compte pour la prédiction-le sexe et l'âge-peuvent être testés pour le biais afin de s'assurer que les résultats sont cohérents en ce qui concerne le sexe ou l'âge des clients.
Pour évaluer les résultats, les résultats sont divisés en groupes. Les groupes de référence sont les groupes qui sont considérés comme ayant le plus de chances d'avoir des résultats positifs. Dans ce cas, les groupes de référence sont des clients masculins et des clients de plus de 25 ans. Les groupes surveillés sont les groupes que vous souhaitez réviser pour vous assurer que les résultats ne diffèrent pas beaucoup des résultats des groupes surveillés. Dans ce cas, les groupes surveillés sont des femmes et des clients âgés de 19 à 25 ans.
Exécution de la configuration automatique
Procédez comme suit pour exécuter la configuration automatique:
- Lancez Watson OpenScale.
- Choisissez l'option Configuration automatique.
Le processus prend environ 10 minutes pour s'achever. Trois déploiements sont configurés lors de la configuration:
| Modèle | Liaison | Descriptif |
|---|---|---|
| GermanCreditRiskModelPreProd | Préproduction, approuvée | Ce déploiement représente le modèle approuvé en cours qui est évalué dans l'environnement interne. |
| GermanCreditRiskModelChallenger | Pré-production | Le modèle challenger est déployé pour comparer les performances et les autres attributs par rapport au déploiement du modèle de pré-production approuvé. |
| GermanCreditRiskModel | Production | Entre le modèle de pré-production approuvé et le modèle challenger, le modèle qui fournit des résultats plus favorables est sélectionné pour la production et déployé à partir de l'espace de production. |
Une fois la configuration terminée, suivez la visite guidée pour découvrir les caractéristiques des modèles d'évaluation.
Points saillants de la visite guidée
La visite guidée présente les caractéristiques suivantes :
- Introduction à l'interface utilisateur (UI) : Les quatre zones principales de l'interface utilisateur incluent les aperçus, les explications, la configuration et le support.
- Suivi et affichage des résultats du modèle allemand de risque de crédit : Utilisez des moniteurs prédéfinis pour évaluer votre modèle pour l'équité, la qualité et la dérive. Vous pouvez également utiliser des moniteurs personnalisés pour l'évaluation des modèles.
- Exploration du moniteur d'équité : utilisez le moniteur d'équité pour examiner les résultats biaisés de votre modèle. Si un problème d'équité est détecté, une alerte est déclenchée en fonction de seuils configurables.
- Exploration des fichiers : Basculez entre des ensembles de données équilibrés, utiles, de formation et non biaisés pour voir comment ils affectent le score d'équité de votre modèle.
- Introduction aux transactions : Passez en revue les transactions à partir des données utiles définies pour le biais de groupe et le biais individuel.
- Expliquer les résultats du modèle : Comprendre les fonctions qui ont conduit à la prévision du modèle pour générer la confiance dans le modèle. De plus, apprenez à modifier les valeurs de la fonction pour obtenir des résultats de modèle plus favorables.
- Exploration du moniteur de dérive : Utilisez le moniteur de dérive pour déterminer si le traitement des données dans le modèle entraîne une baisse de précision.
- Examen des transactions : Consultez la liste des transactions pour étudier la baisse de précision.
Visite guidée d'une page spécifique
Pour utiliser la visite guidée de configuration automatique pour une page spécifique, procédez comme suit:
- Ouvrez la page pour laquelle vous souhaitez suivre la visite guidée.
- Ouvrez l'onglet Soutien et sélectionnez Visite guidée de cette page.
Réinitialisation de la visite
Pour réinitialiser la visite de configuration automatique, ouvrez l'onglet Support et sélectionnez Réinitialiser la configuration automatique.
En savoir plus
Configuration des évaluations de modèles avec configuration manuelle
Configuration des évaluations de modèles avec la configuration avancée
Sujet parent : Options de configuration pour les évaluations de modèles