Pour exécuter Watson OpenScale sur mes propres serveurs, de quelle puissance de traitement informatique ai-je besoin ?

Il y a des directives précises à suivre concernant les caractéristiques matérielles des configurations à trois noeuds et des configurations à six noeuds. Votre équipe technico-commerciale IBM peut aussi vous conseiller sur le dimensionnement de votre configuration. Watson OpenScale fonctionnant comme un module complémentaire d'IBM Cloud Pak for Data, vous devez prendre en compte les exigences des deux logiciels.

Pourquoi Watson OpenScale a-t-il besoin d'accéder aux données d'entraînement ?

Vous devez fournir à Watson OpenScale l'accès aux données d'entraînement qui sont stockées dans Db2 ou IBM Cloud Object Storage, ou vous devez exécuter un bloc-notes pour accéder aux données d'entraînement.

Watson OpenScale a besoin d'accéder à vos données d'entraînement pour les raisons suivantes :

• Pour générer des explications LIME (Local Interpretable Model-Agnostic Explications) et des explications Contrastive: pour créer des explications, l'accès aux statistiques, telles que la valeur médiane, l'écart type et les valeurs distinctes des données d'apprentissage, est requis.
• Pour afficher les statistiques des données d'entraînement : pour remplir la page des détails de biais, Watson OpenScale doit posséder des données d'entraînement à partir desquelles générer des statistiques.
• Pour construire un modèle de détection de dérive : le moniteur de dérive utilise les données d'entraînement pour créer et calibrer la détection de dérive.

Dans l'approche basée sur les blocs-notes, vous êtes censé télécharger les statistiques et d'autres informations lorsque vous configurez un déploiement dans Watson OpenScale. Watson OpenScale n'a plus accès aux données d'entraînement en dehors du bloc-notes, qui est exécuté dans votre environnement. Il n'a accès qu'aux informations téléchargées pendant la configuration.

Existe-t-il un outil de ligne de commande à utiliser ?

Oui. Il existe un outil d'interface de ligne de commande ModelOps, autrement appelé outil d'opérations de modèle CLI Watson OpenScale. Utilisez-le pour exécuter des tâches liées à la gestion du cycle de vie des modèles d'apprentissage automatique.

Quelle version de Python puis-je utiliser avec Watson OpenScale ?

Comme Watson OpenScale est indépendant de votre processus de création de modèle, il prend en charge les mêmes versions Python que votre fournisseur d'apprentissage automatique, quelles qu'elles soient. Le client Python Watson OpenScale est une bibliothèque Python qui fonctionne directement avec le service Watson OpenScale sur IBM Cloud. Pour les informations de version les plus récentes, consultez la section Configuration requise. Vous pouvez utiliser le client Python, au lieu de l'interface utilisateur client Watson OpenScale, pour configurer directement une base de données de journalisation, lier votre moteur d'apprentissage automatique, ainsi que sélectionner et surveiller les déploiements. Pour obtenir des exemples d'utilisation du client Python de cette manière, voir les exemples de bloc-notes Watson OpenScale.

Quels navigateurs puis-je utiliser pour exécuter Watson OpenScale?

Les outils du service Watson OpenScale requièrent le même niveau de navigateur que celui requis par IBM Cloud. Pour plus de détails, voir la rubrique des prérequis IBM Cloud .

Lors de la configuration d'un modèle, les informations sur l'emplacement des données d'entraînement sont requises et les options sont Cloud Object Storage et Db2. Si les données se trouvent dans Netezza, Watson OpenScale peut-il utiliser Netezza ?

Utilisez ce Bloc-notes Watson OpenScale pour lire les données de Netezza et générer les statistiques de formation ainsi que le modèle de détection de dérive.

Pourquoi Watson OpenScale ne voit pas les mises à jour apportées au modèle ?

Watson OpenScale fonctionne sur un déploiement d'un modèle et non sur le modèle proprement dit. Vous devez créer un nouveau déploiement, puis configurer ce nouveau déploiement en tant que nouvel abonnement dans Watson OpenScale. Ainsi, vous pouvez comparer les deux versions du modèle.

Comment le biais de modèle est-il atténué à l'aide de Watson OpenScale ?

La fonction de débiaisement dans Watson OpenScale s'effectue au niveau entreprise. Elle est robuste, évolutive et peut traiter une grande variété de modèles. Le débiaisement dans Watson OpenScale consiste en un processus en deux étapes.

1. Phase d'apprentissage: apprendre le comportement du modèle client pour comprendre quand il agit de manière biaisée.
2. La phase d'application consiste à déterminer si le modèle du client agit de manière biaisée sur un point de données spécifique et, le cas échéant, à corriger le biais. Pour plus d'informations, voir Examen des transactions débiaisées.

Est-il possible de vérifier le biais de modèle sur des attributs sensibles, tels que la race et le sexe, même lorsque le modèle n'est pas entraîné sur ces attributs ?

Oui Récemment, Watson OpenScale a livré une fonction innovante appelée "Détection de biais indirect". Vous pouvez l'utiliser afin de déterminer si le modèle présente un biais indirect pour les attributs sensibles, même si le modèle n'est pas entraîné sur ces attributs. Pour plus d'informations, voir Examen des transactions débiaisées.

Puis-je configurer l'équité de modèle via une API ?

Oui, pour ce faire, vous pouvez utiliser le logiciel SDK Watson OpenScale. Pour plus d'informations, voir IBM Watson OpenScale Python SDK documentation.

Quels sont les différents types de risque associés à l'utilisation d'un modèle d'apprentissage automatique ?

Plusieurs types de risques associés à des modèles d'apprentissage automatique, tels que tout changement dans les données d'entrée (également appelé dérive), peuvent amener le modèle à prendre des décisions inexactes, ce qui a un impact sur les prévisions métier. Les données d'entraînement peuvent être nettoyées pour être exemptes de biais, mais les données d'exécution peuvent induire un comportement biaisé du modèle.

Les modèles statistiques traditionnels sont plus simples à interpréter et à expliquer, mais incapables d'expliquer le résultat du modèle d'apprentissage automatique, ce qui peut constituer une menace sérieuse pour l'utilisation du modèle.

Pour plus d'informations, voir Gestion du risque de modèle.

Watson OpenScale détecte-t-il la dérive d'exactitude et la dérive des données ?

Watson OpenScale détecte la dérive d'exactitude et la dérive des données :

• La dérive d'exactitude estime la baisse d'exactitude du modèle lors de l'exécution. L'exactitude du modèle baisse en cas d'augmentation des transactions similaires à celles que le modèle n'a pas évaluées correctement dans les données d'entraînement. Ce type de dérive est calculé uniquement pour les modèles de classification binaire structurée et multi-classe.
• La dérive des données permet d'estimer la baisse de cohérence des données lors de l'exécution par rapport aux caractéristiques des données lors de l'entraînement.

Quels sont les types d'explications affichés dans Watson OpenScale ?

Watson OpenScale fournit une explication locale basée sur LIME, une explication contrastive et des explications SHAP. Pour plus d'informations, voir Affichage de l'explicabilité.

Qu'est-ce qu'une analyse par simulation dans Watson OpenScale ?

L'interface utilisateur des explications permet également de tester des scénarios de simulation. Par exemple, l'utilisateur peut modifier les valeurs de caractéristique du point de données d'entrée et vérifier son impact sur la prévision et la probabilité du modèle.

Quels modèles prennent en charge les explications LIME?

Les types de modèles suivants prennent en charge les explications LIME dans Watson OpenScale:

• Modèles de régression structurée et de classification
• Modèles de texte non structuré et de classification d'image

Quels modèles prennent en charge les explications contrastives et l'analyse des hypothèses?

Les explications contrastives et les analyses de simulation sont prises en charge pour les modèles qui utilisent uniquement des données structurées et des problèmes de classification.

Que sont les caractéristiques contrôlables dans la configuration d'explicabilité Watson OpenScale ?

Lorsque des caractéristiques contrôlables sont utilisées, certaines caractéristiques du point de données d'entrée peuvent être verrouillées, par conséquent, elles ne sont pas modifiées lorsque l'explication contrastive est générée et elles ne peuvent pas être modifiées non plus dans les analyses par simulation. Les caractéristiques qui ne doivent pas être modifiées doivent être définies comme non contrôlables ou NON dans la configuration d'explicabilité.

Lors de la configuration des fournisseurs d'apprentissage automatique dans Watson OpenScale, quelle est la différence entre les abonnements de préproduction et les abonnements de production ?

Avant d'envoyer un modèle en production, un valideur de modèle peut configurer et valider le modèle à l'aide d'un fournisseur de services préproduction. Watson OpenScale peut désigner un fournisseur d'apprentissage automatique dans le cadre du traitement de préproduction, où vous effectuez des évaluations des risques. Une fois que le modèle satisfait les normes de qualité, vous pouvez l'envoyer en production. Vous pouvez utiliser différents fournisseurs d'apprentissage automatique pour la préproduction et la production ou utiliser des instances différentes du même fournisseur d'apprentissage automatique pour isoler l'environnement de préproduction de l'environnement de production.

Dois-je surveiller le tableau de bord Watson OpenScale pour m'assurer que mes modèles se comportent comme prévu ?

Non, vous pouvez configurer des alertes par e-mail pour vos déploiements de modèle de production dans Watson OpenScale. Des alertes par e-mail sont envoyées chaque fois qu'un test d'évaluation des risques échoue, puis vous pouvez venir vérifier les problèmes et les résoudre.

Dans un environnement de préproduction qui utilise Watson OpenScale une fois que le modèle a été évalué pour le risque et approuvé pour l'utilisation, dois-je reconfigurer tous les moniteurs dans l'environnement de production?

Non, Watson OpenScale permet de copier la configuration de l'abonnement de préproduction vers l'abonnement de production. Pour plus d'informations, voir Gestion du risque de modèle.

Dans Watson OpenScale, puis-je comparer mes déploiements de modèle en préproduction avec un modèle de test de performances pour voir à quel point ils sont adaptés ou inappropriés ?

Oui, Watson OpenScale vous offre la possibilité de comparer deux déploiements ou abonnements de modèle. Vous pouvez voir une comparaison côte à côte du comportement des deux modèles sur chacun des moniteurs configurés. Pour comparer, accédez à la page récapitulative du modèle sur le tableau de bord Watson OpenScale et sélectionnez Actions -> Compare. Pour plus d'informations, voir Examen des résultats d'évaluation.

Dans Watson OpenScale, quelles sont les données utilisées pour le calcul des métriques de qualité ?

Les métriques de qualité sont calculées en utilisant des données de retour libellées manuellement et des réponses de déploiement surveillées pour ces données.

Dans Watson OpenScale, pourquoi certains onglets de configuration sont-ils désactivés ?

Certaines conditions activent certains onglets. Pour connaître la raison pour laquelle cet onglet n'est pas activé, vous pouvez survoler l'icône en forme de cercle sur l'onglet.

Pourquoi se préoccuper de la dérive d'exactitude de modèle ou de la dérive des données ?

Une baisse de l'exactitude du modèle ou de la cohérence des données impacte négativement les résultats métier associés au modèle et doit être corrigée en entraînant à nouveau le modèle.

Quels sont les différents types de dérive détectés par IBM Watson OpenScale ?

Watson OpenScale détecte la dérive d'exactitude de modèle et la dérive des données.

Comment la baisse de l'exactitude, autrement dit, la dérive d'exactitude de modèle, est-elle calculée dans IBM Watson OpenScale ?

Watson OpenScale étudie le comportement du modèle en créant un modèle de proxy, également appelé modèle de détection de dérive. Il examine les données d'entraînement et la façon dont le modèle effectue des prévisions sur les données d'entraînement.

Pour plus d'informations, consultez Détection de la dérive.

Comment la baisse de la cohérence de données est-elle calculée dans IBM Watson OpenScale ?

IBM Watson OpenScale étudie les contraintes ou limites à une ou deux colonnes sur les données d'entraînement au moment de la configuration. Il analyse ensuite toutes les transactions de contenu utile pour déterminer quelles sont celles qui entraînent une diminution de la cohérence des données. Pour plus d'informations, voir Métriques de dérive.

Watson OpenScale peut-il détecter la dérive dans un modèle entraîné sur un corpus de texte ?

Pour le moment, Watson OpenScale ne peut pas détecter la dérive dans les modèles de texte.

Watson OpenScale peut-il détecter la dérive dans un modèle entraîné sur des données image ?

Pour le moment, Watson OpenScale ne peut pas détecter la dérive dans les modèles d'image.

Watson OpenScale peut-il détecter une dérive dans ma fonction Python qui est déployée sur IBM watsonx.ai Runtime ?

Watson OpenScale peut détecter la dérive des fonctions Python qui sont entraînées sur des jeux de données structurés. Les fonctions Python qui ont été entraînées sur des jeux de données texte ou image ne sont pas prises en charge. La sortie de scoring des fonctions Python doit inclure des colonnes de prévision et des colonnes de probabilité qui contiennent toutes les probabilités de classe pour les problèmes de classification.

Rubrique parent: Evaluation des modèles d'IA avec Watson OpenScale