Pour exécuter Watson OpenScale sur mes propres serveurs, de quelle puissance de traitement informatique ai-je besoin ?

Il y a des directives précises à suivre concernant les caractéristiques matérielles des configurations à trois noeuds et des configurations à six noeuds. Votre équipe technico-commerciale IBM peut aussi vous conseiller sur le dimensionnement de votre configuration. Watson OpenScale fonctionnant comme un module complémentaire d'IBM Cloud Pak for Data, vous devez prendre en compte les exigences des deux logiciels.

Pourquoi Watson OpenScale doit-il accéder aux données d'apprentissage ?

Vous devez permettre à Watson OpenScale d'accéder aux données d'apprentissage stockées dans Db2 ou IBM Cloud Storage ou vous devez exécuter un bloc-notes qui peut accéder aux données d'apprentissage.

Watson OpenScale a besoin d'accéder à vos données d'apprentissage pour les raisons suivantes :

• Pour générer des explications LIME (Local Interpretable Model-Agnostic Explications) et des explications Contrastive: pour créer des explications, l'accès aux statistiques, telles que la valeur médiane, l'écart type et les valeurs distinctes des données d'apprentissage, est requis.
• Pour afficher les statistiques des données d'entraînement : pour remplir la page des détails de biais, Watson OpenScale doit disposer de données d'entraînement à partir desquelles des statistiques sont générées.
• Pour construire un modèle de détection de dérive : le moniteur de dérive utilise les données d'entraînement pour créer et calibrer la détection de dérive.

Dans l'approche basée sur un bloc-notes, vous devez transférer les statistiques et d'autres informations lorsque vous configurez un déploiement dans Watson OpenScale. Watson OpenScale n'a plus accès aux données d'entraînement en dehors du bloc-notes, qui est exécuté dans votre environnement. Il a uniquement accès aux informations transférées pendant la configuration.

Peut-on utiliser un outil de ligne de commande ?

Oui. Il existe un outil d'interface de ligne de commande ModelOps, autrement appelé outil d'opérations de modèle CLI Watson OpenScale. Utilisez-le pour exécuter des tâches liées à la gestion du cycle de vie des modèles d'apprentissage automatique.

Quelle version de Python peut-on utiliser avec Watson OpenScale ?

Comme Watson OpenScale est indépendant de votre processus de création de modèle, il prend en charge les mêmes versions Python que votre fournisseur d'apprentissage automatique, quelles qu'elles soient. Le client Python Watson OpenScale est une bibliothèque Python qui fonctionne directement avec le service Watson OpenScale sur IBM Cloud. Pour les informations de version les plus récentes, consultez la section Configuration requise. Vous pouvez utiliser le client Python, au lieu de l'interface utilisateur client Watson OpenScale, pour configurer directement une base de données de journalisation, lier votre moteur d'apprentissage automatique, ainsi que sélectionner et surveiller les déploiements. Pour obtenir des exemples d'utilisation du client Python de cette manière, voir les exemples de bloc-notes Watson OpenScale.

Quels navigateurs puis-je utiliser pour exécuter Watson OpenScale?

Les outils du service Watson OpenScale nécessitent le même niveau de navigateur qu'IBM Cloud. Pour plus de détails, voir la rubrique des prérequis IBM Cloud .

La configuration d'un modèle requiert des informations sur l'emplacement des données d'entraînement ; les options disponibles sont Cloud Object Storage et Db2. Watson OpenScale peut-il utiliser Netezza si les données se trouvent dans cette base de données ?

Utilisez ce Bloc-notes Watson OpenScale pour lire les données de Netezza et générer les statistiques de formation ainsi que le modèle de détection de dérive.

Pourquoi Watson OpenScale ne voit pas les mises à jour apportées au modèle ?

Watson OpenScale fonctionne sur un déploiement de modèle et non sur le modèle lui-même. Vous devez créer un déploiement, puis le configurer en tant que nouvel abonnement dans Watson OpenScale. De cette manière, vous pouvez comparer les deux versions du modèle.

Comment le biais du modèle est-il atténué par Watson OpenScale ?

La capacité de débiaisement de Watson OpenScale est de classe entreprise. Elle est robuste, évolutive et peut prendre en charge une grande variété de modèles. Le débiaisement dans Watson OpenScale consiste en un processus en deux étapes.

1. Phase d'apprentissage: apprendre le comportement du modèle client pour comprendre quand il agit de manière biaisée.
2. La phase d'application consiste à déterminer si le modèle du client agit de manière biaisée sur un point de données spécifique et, le cas échéant, à corriger le biais. Pour plus d'informations, voir Examen des transactions débiaisées.

Peut-on vérifier le biais du modèle en fonction d'attributs sensibles, tels que la race et le sexe, même lorsque le modèle n'y est pas entraîné ?

Oui Récemment, Watson OpenScale a livré une fonction innovante appelée "Détection de biais indirect". Vous pouvez l'utiliser afin de déterminer si le modèle présente un biais indirect pour les attributs sensibles, même si le modèle n'est pas entraîné sur ces attributs. Pour plus d'informations, voir Examen des transactions débiaisées.

Puis-je configurer l'équité de modèle via une API ?

Oui, pour ce faire, vous pouvez utiliser le logiciel SDK Watson OpenScale. Pour plus d'informations, voir IBM Watson OpenScale Python SDK documentation.

Quels sont les différents types de risques associés à l'utilisation d'un modèle d'apprentissage automatique ?

Plusieurs types de risques associés à des modèles d'apprentissage automatique, tels que tout changement dans les données d'entrée (également appelé dérive), peuvent amener le modèle à prendre des décisions inexactes, ce qui a un impact sur les prévisions métier. Les données d'entraînement peuvent être nettoyées pour être exemptes de biais, mais les données d'exécution peuvent induire un comportement biaisé du modèle.

Les modèles statistiques traditionnels sont plus simples à interpréter et à expliquer, mais l'incapacité à expliquer le résultat du modèle d'apprentissage automatique peut représenter un problème sérieux pour l'utilisation du modèle.

Watson OpenScale détecte-t-il à la fois la dérive de l'exactitude et la dérive des données ?

Watson OpenScale détecte à la fois la dérive de l'exactitude et la dérive des données :

• La dérive d'exactitude estime la baisse d'exactitude du modèle lors de l'exécution. L'exactitude du modèle baisse en cas d'augmentation des transactions similaires à celles que le modèle n'a pas évaluées correctement dans les données d'entraînement. Ce type de dérive est calculé uniquement pour les modèles de classification binaire structurée et multi-classe.
• La dérive des données permet d'estimer la baisse de cohérence des données lors de l'exécution par rapport aux caractéristiques des données lors de l'entraînement.

Quels sont les différents types d'explication dans Watson OpenScale ?

Watson OpenScale fournit une explication locale basée sur LIME, une explication contrastive et des explications SHAP. Pour plus d'informations, voir Affichage de l'explicabilité.

Qu'est-ce que l'analyse de scénario de Watson OpenScale ?

L'interface utilisateur des explications permet également de tester des scénarios de simulation. Par exemple, l'utilisateur peut modifier les valeurs de caractéristique du point de données d'entrée et vérifier son impact sur la prévision et la probabilité du modèle.

Quels modèles prennent en charge les explications LIME?

Les types de modèles suivants prennent en charge les explications LIME dans Watson OpenScale:

• Modèles de régression structurée et de classification
• Modèles de texte non structuré et de classification d'image

Quels modèles prennent en charge les explications contrastives et l'analyse des hypothèses?

Les explications contrastives et les analyses de simulation sont prises en charge pour les modèles qui utilisent uniquement des données structurées et des problèmes de classification.

Quelles sont les caractéristiques contrôlables dans la configuration d'explicabilité de Watson OpenScale ?

Lorsque des caractéristiques contrôlables sont utilisées, certaines caractéristiques du point de données d'entrée peuvent être verrouillées, de sorte qu'elles ne changent pas lorsque l'explication contrastive est générée ; elles ne peuvent pas non plus être changées dans les analyses d'hypothèses. Les caractéristiques qui ne doivent pas être modifiées doivent être définies comme non contrôlables ou NON dans la configuration d'explicabilité.

Doit-on continuer à surveiller le tableau de bord de Watson OpenScale pour s'assurer que ses modèles se comportent comme prévu ?

Non, vous pouvez configurer des alertes par e-mail pour vos déploiements de modèle de production dans Watson OpenScale. Des alertes par e-mail sont envoyées chaque fois qu'un test d'évaluation des risques échoue, puis vous pouvez venir vérifier les problèmes et les résoudre.

Dans un environnement de préproduction qui utilise Watson OpenScale une fois que le modèle a été évalué pour le risque et approuvé pour l'utilisation, dois-je reconfigurer tous les moniteurs dans l'environnement de production?

Non, Watson OpenScale permet de copier la configuration de l'abonnement de préproduction dans l'abonnement de production. Pour plus d'informations, voir Gestion du risque de modèle.

Dans Watson OpenScale, peut-on comparer les déploiements de ses modèles en préproduction à un modèle de référence pour évaluer leurs performances ?

Oui, Watson OpenScale vous offre la possibilité de comparer deux déploiements ou abonnements de modèle. Vous pouvez voir une comparaison côte à côte du comportement des deux modèles sur chacun des moniteurs configurés. Pour comparer, accédez à la page récapitulative du modèle sur le tableau de bord Watson OpenScale et sélectionnez Actions -> Compare. Pour plus d'informations, voir Examen des résultats d'évaluation.

Dans Watson OpenScale, quelles données sont utilisées pour le calcul des métriques de qualité ?

Les métriques de qualité qui sont calculées utilisent des données de retour libellées manuellement et des réponses de déploiement surveillées pour ces données.

Dans Watson OpenScale, pourquoi certains onglets de configuration sont-ils désactivés ?

Certaines conditions activent certains onglets. Pour connaître la raison pour laquelle cet onglet n'est pas activé, vous pouvez survoler l'icône en forme de cercle sur l'onglet.

Pourquoi doit-on se préoccuper de la dérive de l'exactitude des modèles ou de la dérive des données ?

Une baisse de l'exactitude du modèle ou de la cohérence des données a un impact négatif sur les résultats associés au modèle et doit être corrigée en réentraînant le modèle.

Quels sont les différents types de dérive détectés par IBM Watson OpenScale ?

Watson OpenScale détecte à la fois la dérive de l'exactitude du modèle et la dérive des données.

Comment la baisse de l'exactitude, autrement dit la dérive d'exactitude du modèle, est-elle calculée dans IBM Watson OpenScale ?

Watson OpenScale étudie le comportement du modèle en créant un modèle proxy, également appelé modèle de détection de la dérive. Il examine les données d'entraînement et la façon dont le modèle effectue des prédictions sur les données d'entraînement.

Pour plus d'informations, consultez Détection de la dérive.

Comment est calculée la baisse de la cohérence des données dans IBM Watson OpenScale ?

IBM Watson OpenScale étudie les contraintes ou limites à une ou deux colonnes sur les données d'entraînement au moment de la configuration. Il analyse ensuite toutes les transactions de données utiles pour déterminer quelles sont celles qui entraînent une diminution de la cohérence des données. Pour plus d'informations, voir Métriques de dérive.

Watson OpenScale peut-il détecter la dérive de mon modèle qui est entraîné sur un corpus de texte ?

A l'heure actuelle, OpenScale ne peut pas détecter la dérive dans les modèles à base de texte.

Watson OpenScale peut-il détecter la dérive de mon modèle qui est entraîné sur des données de type image ?

A l'heure actuelle, OpenScale ne peut pas détecter la dérive dans les modèles à base d'images.

Watson OpenScale peut-il détecter une dérive dans ma fonction Python qui est déployée sur IBM watsonx.ai Runtime ?

Watson OpenScale peut détecter la dérive des fonctions Python qui sont entraînées sur des jeux de données structurés. Les fonctions Python qui ont été entraînées sur des jeux de données texte ou image ne sont pas prises en charge. La sortie de scoring des fonctions Python doit inclure des colonnes de prévision et des colonnes de probabilité qui contiennent toutes les probabilités de classe pour les problèmes de classification.

Rubrique parent: Evaluation des modèles d'IA avec Watson OpenScale