Apprenez les termes et les concepts utilisés pour évaluer les modèles d'apprentissage automatique.
equité acceptable
Pourcentage de résultats favorables qu'un groupe surveillé doit recevoir pour atteindre le seuil d'équité. Elle est calculée en multipliant l'égalité parfaite par le seuil d'équité.
Alerte
Notification indiquant qu'un attribut de performance est en dehors de la plage acceptable spécifiée par les moniteurs configurés.
Clé d'API
Identificateur unique émis par IBM Cloud pour la connexion aux ressources. Pour l'obtenir, ouvrez https://cloud.ibm.com/resources, recherchez et développez la ressource, par exemple un service de stockage, et copiez la valeur de l'ID de ressource sans les guillemets.
Ensemble de données équilibré
Ensemble de données qui inclut les demandes d'évaluation reçues par le modèle pour l'heure sélectionnée et les enregistrements perturbés.
Données de base
Données précédentes collectées avant l'intervention ou la modification. Ces données servent de base à la comparaison des données futures.
Déploiement par lots
Traite les données d'entrée à partir d'un fichier, d'une connexion de données ou de données connectées dans un compartiment de stockage et écrit la sortie dans une destination sélectionnée. Méthode de déploiement de modèles traitant des données d'entrée provenant d'un fichier et écrivant la sortie dans un fichier.
Traitement par lots
Si OpenScale doit être utilisé pour la surveillance avec un déploiement impliquant des données de contenu / de retour volumineuses, le traitement par lots est suggéré.
Biais
Lorsqu'un modèle d'apprentissage automatique génère un résultat pour une personne, un groupe ou un objet surveillé qui est considéré comme injuste par rapport à un résultat de référence. Peut être causé par un problème lié aux données d'apprentissage d'un modèle. Le moniteur d'équité peut détecter un biais inférieur à un seuil que vous avez défini. Terme connexe: Débiaisement.
Cloud Object Storage
Service offert par IBM pour le stockage et l'accès aux données. Si Cloud Object Storage est le référentiel des actifs d'apprentissage automatique, les données d'identification de service associées doivent être utilisées pour se connecter aux actifs depuis OpenScale.
Voir aussi: ID de ressource, clé d'API.
Score de confiance
Probabilité que la prévision d'un modèle d'apprentissage automatique soit correcte. Un score plus élevé indique une probabilité plus élevée que le résultat prévu corresponde au résultat réel.
Explication contrastive
Explications qui indiquent l'ensemble minimal de changements de valeur de colonne de caractéristiques pour changer la prévision du modèle. Cette valeur est calculée pour un point de données unique.
Magasin de données
Espace de travail où toutes les métadonnées associées à OpenScale sont sauvegardées. En coulisses, il est connecté à une couche de persistance de base de données où les métadonnées sont sauvegardées.
Transactions débiaisées
Transactions pour lesquelles le résultat débiaisé est généré.
Débiaisement
Lorsque le moniteur d'équité détecte un biais. Lorsqu'un groupe surveillé reçoit des résultats biaisés, prenez des mesures pour atténuer le biais automatiquement ou manuellement.
Déploiement
Vous déployez un modèle pour rendre un noeud final disponible afin de pouvoir entrer de nouvelles données (la demande) dans le modèle et obtenir un score ou une réponse. Un déploiement de modèle peut se trouver dans un environnement de préproduction à des fins de test ou dans un environnement de production à des fins d'utilisation réelle.
Dérive
Lorsque l'exactitude du modèle diminue dans le temps. Peut être causé par un changement dans les données d'entrée du modèle qui entraîne une détérioration des performances du modèle. Pour surveiller les brouillons, des alertes peuvent être créées lorsque la précision du modèle passe en dessous d'un seuil acceptable spécifié.
Evaluation
Processus consistant à utiliser des métriques pour évaluer un modèle d'apprentissage automatique et mesurer les performances du modèle (dans des domaines tels que l'équité et la précision). Les moniteurs peuvent évaluer un modèle pour les domaines importants pour les objectifs.
Explication
Un aperçu de l'évaluation d'une mesure particulière d'un modèle. Dans OpenScale, une explication permet de comprendre les résultats et d'expérimenter des scénarios de simulation pour aider à résoudre les problèmes.
Equité
Déterminer si un modèle produit des résultats biaisés qui favorisent un groupe surveillé par rapport à un groupe de référence. L'évaluation de l'équité vérifie quand le modèle montre une tendance à fournir un résultat favorable / préférable plus souvent pour un groupe par rapport à un autre. Les catégories typiques à surveiller sont l'âge, le sexe et la race.
Fonctions
Liste des noms de colonne de jeu de données (colonnes de fonction) utilisés pour entraîner un modèle d'apprentissage automatique.
Exemple: Dans un modèle qui prévoit si une personne est éligible à un prêt, les fonctions de statut d'emploi et d'historique de crédit peuvent avoir une pondération supérieure à celle du code postal.
Données de retour d'informations
Données étiquetées qui correspondent au schéma et à la structure des données utilisées pour entraîner un modèle d'apprentissage automatique (y compris la cible) mais qui n'ont pas été utilisées pour l'entraînement. Ces données sont déjà des données connues ou réelles utilisées par le moniteur de qualité pour mesurer la précision d'un modèle déployé. Détermine si les prévisions sont précises lorsqu'elles sont mesurées par rapport au résultat connu.
Explication globale
Explique la prévision du modèle sur un échantillon de données.
Abonnement sans interface graphique
Abonnement comportant un déploiement en temps réel en arrière-plan. Grâce à l'abonnement sans tête, l'utilisateur peut surveiller le déploiement en utilisant les données (Payload/Feedback) fournies au déploiement sans fournir d'URL de notation.
Données étiquetées
Données étiquetées de manière uniforme pour que les algorithmes d'apprentissage automatique les reconnaissent lors de l'apprentissage du modèle.
Exemple: une table de données avec des colonnes étiquetées est typique de l'apprentissage automatique supervisé. Les images peuvent également être étiquetées pour être utilisées dans un problème d'apprentissage automatique.
Explication locale
Explication de la prévision d'un modèle à l'aide d'exemples spécifiques et individuels.
Métadonnées
Données spécialisées uniques entre les produits.
Moniteur
Chaque fonction fournie par OpenScale est appelée moniteur.
Exemple: équité, dérive, qualité, explicabilité.
Groupe surveillé
Lors de l'évaluation de l'équité, le groupe surveillé représente les valeurs les plus à risque pour les résultats biaisés.
Exemple: dans la fonction sexe, Femme et Non binaire peuvent être définis en tant que groupes surveillés.
Déploiement en ligne
Méthode d'accès à un déploiement via un noeud final d'API qui fournit un score ou une solution en temps réel sur de nouvelles données.
Données de contenu
Toutes les données en temps réel fournies à un modèle. Se compose de demandes à un modèle (entrée) et de réponses à partir d'un modèle (sortie).
Journalisation du contenu utile
Conservation des données de contenu utile.
Parfait égalité
Pourcentage de résultats favorables distribués à tous les groupes de référence. Pour les ensembles de données équilibrés et débiaisés, le calcul inclut les transactions de groupe surveillé qui ont été modifiées pour devenir des transactions de groupe de référence.
Perturbations
Points de données simulés autour de points de données réels lors du calcul de différentes métriques associées à des moniteurs, tels que l'équité et l'explicabilité.
Espace de préproduction
Environnement utilisé pour tester facilement les données pour les validations de modèle.
Colonne de prévision
Variable qu'un modèle d'apprentissage automatique supervisé (entraîné avec des données libellées) prévoit lorsqu'il est présenté avec de nouvelles données.
Voir aussi: Cible.
Probabilité
Confiance avec laquelle un modèle prévoit la sortie. Applicable aux modèles de classification.
Espace de production
Espace de déploiement utilisé pour l'opérationnalisation des modèles d'apprentissage automatique. Les déploiements à partir d'un espace de production sont évalués pour la comparaison des performances réelles par rapport aux métriques spécifiées.
Qualité
Moniteur qui évalue la façon dont un modèle prévoit des résultats précis en fonction de l'évaluation des données de retour. Il utilise un ensemble de métriques de science des données standard pour évaluer la façon dont le modèle prévoit les résultats qui correspondent aux résultats réels dans le jeu de données étiqueté.
Enregistrements
Transactions sur lesquelles les moniteurs sont évalués.
Groupe de référence
Lors de l'évaluation de l'équité, le groupe de référence représente les valeurs les moins à risque pour les résultats biaisés.
Exemple: pour la fonction Age, vous pouvez définir 30 à 55 comme groupe de référence et comparer les résultats d'autres cohortes à ce groupe.
Pondération relative
Poids relatif d'une fonction lors de la prévision de la variable cible. Une pondération plus élevée indique plus d'importance. La connaissance du poids relatif permet d'expliquer les résultats du modèle.
ID ressource
Identificateur unique d'une ressource stockée dans Cloud Object Storage. Pour obtenir:
- Ouvrez https://cloud.ibm.com/resources
- Recherchez et développez la ressource (par exemple, un service de stockage)
- Copiez la valeur de l'ID de ressource sans les guillemets
Temps de réponse
Temps nécessaire au traitement d'une demande d'évaluation par le déploiement du modèle
Données d'exécution
Données obtenues lors de l'exécution du cycle de vie d'un modèle.
Point de terminaison de la notation
point de terminaison HTTPS que les utilisateurs peuvent appeler pour recevoir les résultats de la notation d'un modèle déployé.
Demande d'évaluation
Entrée dans un déploiement.
Voir aussi: Contenu.
Scoring
Dans une inférence de modèle, action d'envoi d'une demande à un modèle et d'obtention d'une réponse.
Transactions de modèle auto-gérées stockées dans votre propre entrepôt de données et évaluées par votre propre moteur d'analyse Spark.
Données d'identification du service
ID d'accès requis pour la connexion aux ressources IBM Cloud .
Fournisseur de services
fournisseur de machine learning (typiquement un moteur de modèle : WML, AWS, Azure, Custom) qui héberge les déploiements.
Abonnement
Déploiement surveillé au niveau OpenScale . Il existe un mappage 1-1 entre le déploiement et l'abonnement.
Transactions de modèle
gérées par le système stockées dans la base de données OpenScale et évaluées à l'aide des ressources de calcul OpenScale .
Cible
Fonction ou colonne d'un jeu de données que le modèle entraîné prévoit. Le modèle est entraîné à l'aide de données préexistantes pour apprendre des modèles et découvrir les relations entre les fonctions du jeu de données et la cible.
Voir aussi: Colonne de prévision.
Seuil
Lorsque des moniteurs sont configurés pour évaluer un modèle d'apprentissage automatique. Un point de référence pour une gamme acceptable de résultats est établi. Lorsque le résultat tombe sous le seuil configuré, une alerte est déclenchée pour évaluer et corriger la situation.
Données d'apprentissage
Données utilisées pour enseigner et entraîner l'algorithme d'apprentissage d'un modèle.
Transactions
Enregistrements des évaluations de modèle d'apprentissage automatique qui sont stockés dans la table de journalisation de contenu utile.
Données sans libellé
Données qui ne sont pas associées à des libellés qui identifient les caractéristiques, les classifications et les propriétés. Données non structurées qui ne sont pas étiquetées de manière uniforme.
Exemple: Les e-mails ou les images sans libellé sont typiques des données sans libellé. Les données non étiquetées peuvent être utilisées dans l'apprentissage automatique non supervisé.
ID utilisateur
ID de l'utilisateur associé à la demande d'évaluation
Rubrique parent: Evaluation des modèles d'IA avec Watson OpenScale