Configurez les noeuds de votre pipeline pour spécifier des entrées et créer des sorties dans le cadre de votre pipeline.
Spécification de la portée de l'espace de travail
Par défaut, la portée d'un pipeline est le projet qui contient le pipeline. Vous pouvez spécifier explicitement une portée autre que la portée par défaut pour localiser un actif utilisé dans le pipeline. La portée est le projet, le catalogue ou l'espace qui contient l'actif. A partir de l'interface utilisateur, vous pouvez rechercher la portée.
Changement du mode d'entrée
Lorsque vous configurez un noeud, vous pouvez spécifier les ressources qui incluent des données et des blocs-notes de différentes manières. Par exemple, entrer directement un nom ou un ID, rechercher un actif ou utiliser la sortie d'un noeud précédent dans le pipeline pour remplir un champ. Pour voir les options disponibles pour un champ, cliquez sur l'icône d'entrée de celui-ci. Selon le contexte, les options sont les suivantes :
- Sélectionner une ressource : utilisez le navigateur d'actifs pour rechercher un actif tel qu'un fichier de données.
- Paramètre d'affectation de pipeline: affectez une valeur à l'aide d'une variable configurée avec un paramètre de pipeline. Pour plus d'informations, voir Configuration d'objets globaux.
- Sélectionnez à partir d'un autre noeud : utilisez la sortie d'un noeud précédent dans le pipeline comme valeur pour ce champ.
- Entrez l'expression: entrez le code pour affecter des valeurs ou identifier des ressources. Pour plus d'informations, voir Eléments de codage.
Noeuds de pipeline et paramètres
Configurez les types de noeud de pipeline suivants:
Copier les nœuds
Utilisez les noeuds de copie pour ajouter des actifs à votre pipeline ou pour exporter des actifs de pipeline.
Copier les actifs sélectionnés d'un projet ou d'un espace dans un espace non vide. Vous pouvez copier les actifs suivants dans un espace :
expérimentation AutoAI
Travail de package de code
Connexion
Flux d'affinage des données
Travail Data Refinery
Actif de données
Travail de déploiement
Environnement
Fonction
Travail
Modèle
Bloc-notes
Travail de bloc-notes
Travail de pipelines
Script
Travail de script
Travail SPSS Modeler
Copier des actifs
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Actifs source | Parcourez ou recherchez l'actif source à ajouter dans la liste. Vous pouvez également spécifier un actif avec un paramètre de pipeline, avec la sortie d'un autre noeud ou en entrant l'ID d'actif |
| cible | Parcourez ou recherchez l'espace cible. |
| Mode copie | Choisissez le mode de traitement d'un cas où le flux tente de copier un actif et qu'un actif du même nom existe déjà. L'un des éléments suivants : ignore, fail, overwrite |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Actifs de sortie | Liste des actifs copiés |
Exporter des actifs
Exportez des actifs sélectionnés de la portée, par exemple, un projet ou un espace de déploiement. L'opération exporte tous les actifs par défaut. Vous pouvez limiter la sélection d'actifs en générant une liste de ressources à exporter.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Actifs | Choisissez Portée pour exporter tous les éléments exportables ou choisissez Liste pour créer une liste d'éléments spécifiques à exporter. |
| Projet ou espace source | Nom du projet ou de l'espace contenant les actifs à exporter |
| Fichier exporté | Emplacement de fichier pour le stockage du fichier d'exportation |
| Mode de création (facultatif) | Choisissez le mode de traitement d'un cas où le flux tente de créer un actif et qu'un actif du même nom existe déjà. L'un des éléments suivants : ignore, fail, overwrite |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Fichier exporté | Chemin d'accès au fichier exporté |
Remarques :
- Si vous exportez des actifs de projet qui contiennent un bloc-notes, la version la plus récente du bloc-notes est incluse dans le fichier d'exportation. Si le pipeline avec le noeud Exécuter le travail de bloc-notes a été configuré pour utiliser une version de bloc-notes différente de la version la plus récente, le pipeline exporté est automatiquement reconfiguré pour utiliser la version la plus récente lors de l'importation. Cela peut produire des résultats inattendus ou nécessiter une reconfiguration après l'importation.
- Si les actifs sont autonomes dans le projet exporté, ils sont conservés lorsque vous importez un nouveau projet. Sinon, une configuration peut être requise après une importation d'actifs exportés.
Importer des actifs
Importez des actifs à partir d'un fichier ZIP contenant des actifs exportés.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Chemin de la cible d'importation | Parcourez ou recherchez les actifs à importer |
| Fichier archive à importer | Indiquez le chemin d'accès à un fichier ZIP ou à une archive |
Remarques: Après l'importation d'un fichier, les chemins et les références aux actifs importés sont mis à jour, conformément aux règles suivantes:
- Les références aux actifs du projet ou de l'espace exporté sont mises à jour dans le nouveau projet ou espace après l'importation.
- Si les actifs du projet exporté font référence à des actifs externes (inclus dans un autre projet), la référence à l'actif externe est conservée après l'importation.
- Si l'actif externe n'existe plus, le paramètre est remplacé par une valeur vide et vous devez reconfigurer la zone pour qu'elle pointe vers un actif valide.
Création de noeuds
Configurez les noeuds pour créer des actifs dans votre pipeline.
Créer une expérimentation AutoAI
Utilisez ce noeud pour entraîner une classificationAutoAI ou une expérimentation de régression et générer des pipelines de candidat modèle.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Nom de l'expérimentation AutoAI | Nom de la nouvelle expérimentation |
| Portée | Un projet ou un espace dans lequel l'expérimentation va être créée |
| Type de prévision | Type de modèle pour les données suivantes: binaire, classification ou régression |
| Colonne de prévision (libellé) | Nom de la colonne de prédiction |
| Classe positive (facultatif) | Spécifier une classe positive pour une expérimentation de classification binaire |
| Rapport de division des données d'apprentissage (facultatif) | Pourcentage de données à retirer de l'entraînement et à utiliser pour tester les pipelines (variable flottante : 0,0 - 1,0) |
| Algorithmes à inclure (facultatif) | Limiter la liste des estimateurs à utiliser (la liste dépend du type d'apprentissage) |
| Algorithmes à utiliser | Indiquez la liste des estimateurs à utiliser (la liste dépend du type d'apprentissage) |
| Métrique d'optimisation (facultatif) | Métrique utilisée pour classer les modèles |
| Spécification matérielle (facultatif) | Spécification d'une spécification matérielle pour l'expérimentation |
| Description de l'expérimentation AutoAI | Description de l'expérience |
| Balises d'expérimentation AutoAI (facultatif) | Balises permettant d'identifier l'expérimentation |
| Mode de création (facultatif) | Choisissez le mode de traitement d'un cas où le pipeline tente de créer une expérimentation et qu'il existe un nom identique. L'un des éléments suivants : ignore, fail, overwrite |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| expérimentation AutoAI | Chemin d'accès au modèle sauvegardé |
Créer une expérimentation de série temporelle AutoAI
Utilisez ce noeud pour entraîner une expérimentation de série temporelleAutoAI et générer des pipelines de candidat modèle.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Nom de l'expérimentation de série temporelle AutoAI | Nom de la nouvelle expérimentation |
| Portée | Projet, catalogue ou espace dans lequel le pipeline va être créé |
| Colonnes de prévision (libellé) | Nom d'une ou de plusieurs colonnes de prévision |
| Colonne de date/heure (facultatif) | Nom de la colonne de date / heure |
| Tirer parti des futures valeurs des fonctions de support | Choisissez "True" pour activer la prise en charge des fonctions (exogènes) afin d'améliorer la prévision. Par exemple, incluez une fonction de température pour prédire les ventes de crème glacée. |
| Fonctions de prise en charge (facultatif) | Choisir les fonctions de prise en charge et les ajouter à la liste |
| Méthode d'imputation (facultatif) | Choisissez une technique d'imputation des valeurs manquantes dans un jeu de données |
| Seuil d'imputation (facultatif) | Indiquez un seuil plus élevé pour le pourcentage de valeurs manquantes à fournir avec la méthode d'imputation spécifiée. Si le seuil est dépassé, l'expérimentation échoue. Par exemple, si vous indiquez que 10% des valeurs peuvent être imputées et que 15% des valeurs sont manquantes dans le jeu de données, l'expérimentation échoue. |
| Type de remplissage | Indiquez comment la méthode d'imputation spécifiée remplit les valeurs nulles. Choisissez de fournir une moyenne de toutes les valeurs et une médiane de toutes les valeurs, ou spécifiez une valeur de remplissage. |
| Valeur de remplissage (facultatif) | Si vous avez choisi de spécifier une valeur pour remplacer les valeurs nulles, entrez la valeur dans cette zone. |
| Jeu de données d'entraînement final | Choisissez d'entraîner les pipelines finaux uniquement avec les données d'entraînement ou avec les données d'entraînement et les données de rétention. Si vous choisissez des données d'entraînement, le bloc-notes généré inclut une cellule pour l'extraction des données restantes |
| Taille des éléments restants (facultatif) | Si vous divisez les données d'entraînement en données d'entraînement et de rétention, spécifiez un pourcentage des données d'entraînement à réserver en tant que données de rétention pour la validation des pipelines. Les données restantes ne dépassent pas un tiers des données. |
| Nombre d'essais en amont (facultatif) | Personnalisez les backtests pour effectuer une validation croisée de votre expérimentation de séries temporelles |
| Longueur de l'écart (facultatif) | Ajustez le nombre de points temporels entre le jeu de données d'apprentissage et le jeu de données de validation pour chaque test dorsal. Lorsque la valeur du paramètre est différente de zéro, les valeurs de séries temporelles de l'écart ne sont pas utilisées pour entraîner l'expérimentation ou évaluer le test en cours. |
| Fenêtre de récupération des consultations (facultatif) | Paramètre indiquant le nombre de valeurs de série temporelle précédentes utilisées pour prédire le moment présent. |
| Fenêtre Prévision (facultatif) | Plage à prévoir en fonction des données de la fenêtre de récupération des consultations. |
| Algorithmes à inclure (facultatif) | Limiter la liste des estimateurs à utiliser (la liste dépend du type d'apprentissage) |
| Pipelines à réaliser | Vous pouvez éventuellement ajuster le nombre de pipelines à créer. Plus de pipelines augmentent le temps et les ressources de formation. |
| Spécification matérielle (facultatif) | Spécification d'une spécification matérielle pour l'expérimentation |
| Description de l'expérimentation de séries temporelles AutoAI (facultatif) | Description de l'expérience |
| Balises d'expérimentation AutoAI (facultatif) | Balises permettant d'identifier l'expérimentation |
| Mode de création (facultatif) | Choisissez le mode de traitement d'un cas où le pipeline tente de créer une expérimentation et qu'il existe un nom identique. L'un des éléments suivants : ignore, fail, overwrite |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Expérimentation de séries temporelles AutoAI | Chemin d'accès au modèle sauvegardé |
Créer un déploiement de lot
Utilisez ce noeud pour créer un déploiement par lots pour un modèle d'apprentissage automatique.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Actif d'apprentissage automatique | Nom ou ID de l'actif d'apprentissage automatique à déployer |
| Nouveau nom de déploiement (facultatif) | Nom du nouveau travail avec, en option, une description et des étiquettes |
| Mode de création (facultatif) | Comment gérer un cas où le pipeline tente de créer un travail et qu'un travail du même nom existe déjà. L'un des éléments suivants : ignore, fail, overwrite |
| Nouvelle description de déploiement (facultatif) | Description du déploiement |
| Nouvelles balises de déploiement (facultatif) | Balises permettant d'identifier le déploiement |
| Spécification matérielle (facultatif) | Spécification d'une spécification matérielle pour le travail |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Nouveau déploiement | Chemin d'accès au déploiement récemment créé |
Créer un actif de données
Utilisez ce noeud pour créer un actif de données.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Fichier | Chemin d'accès au fichier dans un espace de stockage de fichiers |
| Portée cible | Chemin d'accès à l'espace cible ou au projet |
| Nom (facultatif) | Nom de la source de données avec description facultative, pays d'origine et balises |
| Description (facultatif) | Description de l'actif |
| Pays d'origine (facultatif) | Pays d'origine pour la réglementation des données |
| Etiquettes (facultatif) | Balises permettant d'identifier les actifs |
| Mode de création | Comment gérer un cas où le pipeline tente de créer un travail et qu'un travail du même nom existe déjà. L'un des éléments suivants : ignore, fail, overwrite |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Actif de données | L'actif de données nouvellement créé |
Créer un espace de déploiement
Utilisez ce noeud pour créer et configurer un espace que vous pouvez utiliser pour organiser et créer des déploiements.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Nom du nouvel espace | Nom du nouvel espace avec, en option, une description et des étiquettes |
| Nouvelles balises d'espace (facultatif) | Balises permettant d'identifier l'espace |
| CRN d'instance COS du nouvel espace | CRN de l'instance de service COS |
| Nouveau CRN d'instance WML d'espace (facultatif) | CRN de l'instance de service watsonx.ai Runtime |
| Mode de création (facultatif) | Comment gérer un cas où le pipeline tente de créer un espace et qu'il existe un nom identique. L'un des éléments suivants : ignore, fail, overwrite |
| Description de l'espace (facultatif) | Description de l'espace |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Espace | Chemin d'accès à l'espace récemment créé |
Créer un déploiement en ligne
Utilisez ce noeud pour créer un déploiement en ligne dans lequel vous pouvez soumettre des données de test directement à un noeud final d'API REST de service Web.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Actif d'apprentissage automatique | Nom ou ID de l'actif d'apprentissage automatique à déployer |
| Nouveau nom de déploiement (facultatif) | Nom du nouveau travail avec, en option, une description et des étiquettes |
| Mode de création (facultatif) | Comment gérer un cas où le pipeline tente de créer un travail et qu'un travail du même nom existe déjà. L'un des éléments suivants : ignore, fail, overwrite |
| Nouvelle description de déploiement (facultatif) | Description du déploiement |
| Nouvelles balises de déploiement (facultatif) | Balises permettant d'identifier le déploiement |
| Spécification matérielle (facultatif) | Spécification d'une spécification matérielle pour le travail |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Nouveau déploiement | Chemin d'accès au déploiement récemment créé |
Attendre
Utilisez des noeuds pour mettre en pause un pipeline jusqu'à ce qu'un actif soit disponible à l'emplacement spécifié dans le chemin.
Utilisez ce noeud pour attendre que tous les résultats des noeuds précédents du pipeline soient disponibles afin que le pipeline puisse continuer.
Ce noeud ne prend pas d'entrées et ne produit pas de sortie. Lorsque les résultats sont tous disponibles, le pipeline continue automatiquement.
Attendre tous les résultats
Utilisez ce nœud pour attendre que les nœuds précédents du pipeline soient disponibles pour que le pipeline puisse continuer. Exécutez les noeuds en aval dès que l'une des conditions en amont est remplie.
Ce noeud ne prend pas d'entrées et ne produit pas de sortie. Lorsque des résultats sont disponibles, le pipeline se poursuit automatiquement.
Attendre un quelconque résultat
Attendez qu'un actif soit créé ou mis à jour à l'emplacement spécifié dans le chemin d'accès à partir d'un travail ou d'un processus antérieur dans le pipeline. Indiquez un délai d'attente pour que la condition soit remplie. Si 00:00:00 est le délai d'attente spécifié, le flux attend indéfiniment.
Attendre le fichier
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Emplacement du fichier | Indiquez l'emplacement dans le navigateur d'actifs où réside l'actif. Utilisez le format data_asset/filename où le chemin est relatif à la racine. Le fichier doit exister et se trouver à l'emplacement que vous spécifiez, sinon le noeud échoue avec une erreur. |
| Mode d'attente | Par défaut, le mode est celui du fichier à afficher. Vous pouvez passer à l'attente de la disparition du fichier |
| Délai d'attente (facultatif) | Indiquez le délai d'attente avant de poursuivre le pipeline. Utilisez le format hh:mm:ss |
| Règle d'erreur (facultatif) | Voir Gestion des erreurs |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Valeur renvoyée | Valeur de retour du noeud |
| Statut de l'exécution | Renvoie une valeur de : Terminé, Terminé avec des avertissements, Terminé avec des erreurs, Échec ou Annulé |
| Message d'état | Message associé à l'état |
Noeuds de contrôle
Contrôlez le pipeline en ajoutant le traitement des erreurs et la logique.
Les boucles sont un noeud dans un pipeline qui fonctionne comme une boucle codée.
Les deux types de boucles sont parallèles et séquentielles.
Vous pouvez utiliser des boucles lorsque le nombre d'itérations d'une opération est dynamique. Par exemple, si vous ne connaissez pas le nombre de blocs-notes à traiter, ou si vous souhaitez choisir le nombre de blocs-notes lors de l'exécution, vous pouvez utiliser une boucle pour itérer dans la liste des blocs-notes.
Vous pouvez également utiliser une boucle pour itérer dans la sortie d'un noeud ou dans des éléments d'un tableau de données.
Boucles en parallèle
Ajoutez une construction de boucle parallèle au pipeline. Une boucle parallèle exécute les noeuds d'itération indépendamment et éventuellement simultanément.
Par exemple, pour entraîner un modèle d'apprentissage automatique avec un ensemble d'hyperparamètres afin de trouver le meilleur exécutant, vous pouvez utiliser une boucle pour itérer sur une liste d'hyperparamètres afin d'entraîner les variations de bloc-notes en parallèle. Les résultats peuvent être comparés ultérieurement dans le flux pour trouver le meilleur bloc-notes.
Paramètres d'entrée lors de l'itération des types de liste
| Paramètre | Descriptif |
|---|---|
| Entrée de liste | Le paramètre Entrée de liste contient deux zones, le type de données de la liste et le contenu de la liste sur lequel la boucle itère ou un lien standard vers l'entrée de pipeline ou la sortie de pipeline. |
| Parallélisme | Nombre maximal de tâches à exécuter simultanément. Doit être supérieur à zéro |
Paramètres d'entrée lors de l'itération des types de chaîne
| Paramètre | Descriptif |
|---|---|
| Zone de saisie | Données texte à partir de laquelle la boucle est lue |
| Séparateur | Caractère utilisé pour fractionner le texte |
| Parallélisme (facultatif) | Nombre maximal de tâches à exécuter simultanément. Doit être supérieur à zéro |
Si le type d'élément de tableau d'entrée est JSON ou tout type représenté comme tel, cette zone peut le décomposer en tant que dictionnaire. Les clés sont les clés d'élément d'origine et les valeurs sont les alias des noms de sortie.
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Pause de contrôle ID du nœud | Contient l'ID du nœud terminateur sur lequel le nœud s'est terminé, vide sinon |
| Statut de l'exécution | Informations sur l'état du travail : en attente, démarrage en cours, en cours d'exécution, terminé, annulé ou échec avec des erreurs |
| Message d'état | Informations sur l'état du travail |
Boucles dans l'ordre
Ajoutez une construction de boucle séquentielle au pipeline. Les boucles peuvent itérer sur une plage numérique, une liste ou un texte avec un délimiteur.
Un cas d'utilisation pour les boucles séquentielles est si vous souhaitez essayer une opération 3 fois avant de déterminer si une opération a échoué.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Entrée de liste | Le paramètre Entrée de liste contient deux zones, le type de données de la liste et le contenu de la liste sur lequel la boucle itère ou un lien standard vers l'entrée de pipeline ou la sortie de pipeline. |
| Zone de saisie | Données texte à partir de laquelle la boucle est lue. Indiquez un caractère pour fractionner le texte. |
| Plage | Indiquez les étapes de début, de fin et facultatives d'une plage à itérer. L'étape par défaut est 1. |
Après avoir configuré la plage itérative de la boucle, définissez un flux de sous-pipeline à l'intérieur de la boucle à exécuter jusqu'à ce que la boucle soit terminée. Par exemple, il peut appeler un bloc-notes, un script ou un autre flux par itération.
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Pause de contrôle ID du nœud | Contient l'ID du nœud terminateur sur lequel le nœud s'est terminé, vide sinon |
| Statut de l'exécution | Informations sur l'état du travail : en attente, démarrage en cours, en cours d'exécution, terminé, annulé ou échec avec des erreurs |
| Message d'état | Informations sur l'état du travail |
Terminer la boucle
Dans un flux de processus de boucle parallèle ou séquentiel, vous pouvez ajouter un noeud Arrêter le pipeline pour arrêter le processus de boucle à tout moment. Vous devez définir vos propres conditions de résiliation. Dans les nœuds, vous pouvez changer l'état de la boucle lorsqu'elle se termine en Complete ou Failure. Cela garantit que vous pouvez terminer la boucle tout en remplissant les conditions d'échec du nœud de boucle et en choisissant de poursuivre le pipeline ou d'effectuer d'autres actions.
Définir des variables utilisateur
Configurez une variable utilisateur avec une paire clé/valeur, puis ajoutez la liste des variables dynamiques pour ce noeud.
Pour plus d'informations sur la création d'une variable utilisateur, voir Configuration d'objets globaux.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Nom | Entrez le nom ou la clé de la variable |
| Type d'entrée | Choisissez le paramètre Expression ou Pipeline comme type d'entrée. |
- Pour les expressions, utilisez le générateur d'expressions intégré pour créer une variable qui résulte d'une expression personnalisée.
- Pour les paramètres de pipeline, affectez un paramètre de pipeline et utilisez la valeur de paramètre comme entrée pour la variable utilisateur.
Arrêter le pipeline
Vous pouvez initier et contrôler l'arrêt d'un pipeline à l'aide d'un noeud Terminer le pipeline à partir de la catégorie Contrôle. Lorsque le flux d'erreurs s'exécute, vous pouvez éventuellement spécifier comment gérer les travaux de bloc-notes ou d'entraînement qui ont été lancés par les noeuds du pipeline. Vous devez indiquer s'il faut attendre la fin des travaux, annuler les travaux, puis arrêter le pipeline ou tout arrêter sans annuler. Indiquez les options du nœud de pipeline Terminate.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Mode de terminaison (facultatif) | Choisissez le comportement pour le flux d'erreur |
Le mode terminateur peut être :
- Terminer l'exécution du pipeline et tous les travaux en cours d'exécution arrête tous les travaux et arrête le pipeline.
- Annuler tous les travaux en cours d'exécution, puis terminer le pipeline annule tous les travaux en cours d'exécution avant d'arrêter le pipeline.
- Terminer l'exécution du pipeline après l'exécution des travaux en cours d'exécution attend que les travaux en cours d'exécution se terminent, puis arrête le pipeline.
- Arrêter le pipeline qui est exécuté sans arrêter les travaux arrête le pipeline mais permet aux travaux en cours d'exécution de continuer.
Mettre à jour les nœuds
Utilisez des noeuds de mise à jour pour remplacer ou mettre à jour des actifs afin d'améliorer les performances. Par exemple, si vous souhaitez standardiser vos étiquettes, vous pouvez effectuer une mise à jour pour remplacer une étiquette par une autre.
Mettez à jour les détails de l'entraînement pour une expérimentationAutoAI.
Mettre à jour l'expérimentation AutoAI
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| expérimentation AutoAI | Chemin d'accès à un projet ou à un espace dans lequel réside l'expérimentation |
| Nom d'expérimentation AutoAI (facultatif) | Nom de l'expérimentation à mettre à jour avec, en option, une description et des étiquettes |
| Description de l'expérimentation AutoAI (facultatif) | Description de l'expérience |
| Balises d'expérimentation AutoAI (facultatif) | Balises permettant d'identifier l'expérimentation |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| expérimentation AutoAI | Chemin d'accès à l'expérimentation mise à jour |
Mettre à jour le déploiement de lot
Utilisez ces paramètres pour mettre à jour un déploiement par lot.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Déploiement | Chemin d'accès au déploiement à mettre à jour |
| Nouveau nom pour le déploiement (facultatif) | Nom ou ID du déploiement à mettre à jour |
| Nouvelle description du déploiement (facultatif) | Description du déploiement |
| Nouvelles balises pour le déploiement (facultatif) | Balises permettant d'identifier le déploiement |
| Actif d'apprentissage automatique | Nom ou ID de l'actif d'apprentissage automatique à déployer |
| Spécification matérielle | Mise à jour de la spécification matérielle du travail |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Déploiement | Chemin d'accès au déploiement mis à jour |
Mettre à jour l'espace de déploiement
Mettez à jour les détails d'un espace.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Espace | Chemin d'accès à l'espace existant |
| Nom d'espace (facultatif) | Mettre à jour le nom d'espace |
| Description de l'espace (facultatif) | Description de l'espace |
| Balises d'espace (facultatif) | Balises permettant d'identifier l'espace |
| Instance WML (facultatif) | Spécifiez une nouvelle instance Machine Learning |
| Instance WML | Indiquez une nouvelle instance Learning Machine. Remarque : Même si vous affectez un nom différent à une instance de l'interface utilisateur, le nom du système est Instance d'apprentissage machine. Différencier les différentes instances à l'aide du CRN de l'instance |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Espace | Chemin d'accès à l'espace mis à jour |
Mettre à jour le déploiement en ligne
Utilisez ces paramètres pour mettre à jour un déploiement en ligne (service Web).
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Déploiement | Chemin d'accès au déploiement existant |
| Nom de déploiement (facultatif) | Mettre à jour le nom de déploiement |
| Description du déploiement (facultatif) | Description du déploiement |
| Balises de déploiement (facultatif) | Balises permettant d'identifier le déploiement |
| Actif (facultatif) | Actif (ou version) d'apprentissage automatique à redéployer |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Déploiement | Chemin d'accès au déploiement mis à jour |
Supprimer les noeuds
Configurez les paramètres pour les opérations de suppression.
Supprimer
Vous pouvez supprimer :
- expérimentation AutoAI
- Déploiement par lot
- Espace de déploiement
- Déploiement en ligne
Pour chaque article, choisissez l'actif à supprimer.
Noeuds d'exécution
Utilisez ces noeuds pour entraîner une expérimentation, exécuter un script ou exécuter un flux de données.
Exécuter l'expérimentation AutoAI
Entraîne et stocke des pipelines et des modèles d'expérimentationAutoAI .
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| expérimentation AutoAI | Recherchez l'actif de pipeline ML ou obtenez l'expérimentation à partir d'un paramètre de pipeline ou de la sortie d'un noeud précédent. |
| Actif de données d'apprentissage | Parcourez ou recherchez les données pour entraîner l'expérimentation. Notez que vous pouvez fournir des données lors de l'exécution à l'aide d'un paramètre de pipeline |
| Actif de données restant (facultatif) | Vous pouvez éventuellement choisir un fichier distinct à utiliser pour les données restantes pour les performances de testingmodel |
| Nombre de modèles (facultatif) | Indiquez le nombre de modèles à sauvegarder à partir des pipelines les plus performants. La limite est de 3 modèles |
| Nom d'exécution (facultatif) | Nom de l'expérimentation avec, en option, une description et des étiquettes |
| Préfixe de nom de modèle (facultatif) | Préfixe utilisé pour nommer les modèles entraînés. La valeur par défaut est < (nom de l'expérimentation) > |
| Description de l'exécution (facultatif) | Description de la nouvelle session d'entraînement |
| Balises d'exécution (facultatif) | Balises pour la nouvelle exécution d'entraînement |
| Mode de création (facultatif) | Choisissez le mode de traitement d'un cas où le flux de pipeline tente de créer un actif et qu'un actif du même nom existe déjà. L'un des éléments suivants : ignore, fail, overwrite |
| Règle d'erreur (facultatif) | (Facultatif) Remplacer la règle d'erreur par défaut pour le noeud |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Modèles | Liste des chemins des N modèles entraînés et conservés les plus élevés (classés par métrique d'évaluation sélectionnée) |
| Meilleur modèle | Chemin d'accès au modèle gagnant (en fonction de la métrique d'évaluation sélectionnée) |
| Métriques du modèle | Une liste de mesures de modèle formées (chaque élément est un objet imbriqué avec des mesures telles que : holdout_exactitude, holdout_average_precision, ...) |
| Métrique du modèle gagnant | Métrique d'évaluation choisie du modèle gagnant |
| Métrique optimisée | Métrique utilisée pour affiner le modèle |
| Statut de l'exécution | Informations sur l'état du travail : en attente, démarrage en cours, en cours d'exécution, terminé, annulé ou échec avec des erreurs |
| Message d'état | Informations sur l'état du travail |
Exécuter le script Bash
Exécutez un script Bash en ligne pour automatiser une fonction ou un processus pour le pipeline. Vous pouvez entrer le code de script Bash manuellement ou importer le script bash à partir d'une ressource, d'un paramètre de pipeline ou de la sortie d'un autre noeud.
Vous pouvez également utiliser un script Bash pour traiter des fichiers de sortie volumineux. Par exemple, vous pouvez générer une grande liste séparée par des virgules que vous pouvez ensuite itérer à l'aide d'une boucle.
Dans l'exemple suivant, l'utilisateur a entré le code de script en ligne manuellement. Le script utilise l'outil cpdctl pour rechercher tous les blocs-notes avec une balise de variable définie et agrège les résultats dans une liste JSON. La liste peut ensuite être utilisée dans un autre noeud, comme l'exécution des blocs-notes renvoyés par la recherche.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Code de script intégré | Entrez un script Bash dans l'éditeur de code en ligne. Facultatif: Vous pouvez également sélectionner une ressource, affecter un paramètre de pipeline ou effectuer une sélection à partir d'un autre noeud. |
| Variables d'environnement (facultatif) | Spécifiez un nom de variable (la clé) et un type de données et ajoutez la nouvelle variable à la liste des variables à utiliser dans le script. |
| Type d'exécution (facultatif) | Sélectionnez soit un environnement d'exécution autonome (par défaut), soit un environnement d'exécution partagé. Utilisez un environnement d'exécution partagé pour les tâches qui nécessitent une exécution dans des pods partagés. |
| Règle d'erreur (facultatif) | (Facultatif) Remplacer la règle d'erreur par défaut pour le noeud |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Variables de sortie | Configurez une paire clé / valeur pour chaque variable personnalisée, puis cliquez sur le bouton Ajouter pour remplir la liste des variables dynamiques du noeud |
| Valeur renvoyée | Valeur de retour du noeud |
| Sortie standard | Sortie standard du script |
| Erreur standard | Message d'erreur standard du script |
| Statut de l'exécution | Informations sur l'état du travail : en attente, démarrage en cours, en cours d'exécution, terminé, annulé ou échec avec des erreurs |
| Message d'état | Message associé à l'état |
Règles pour la sortie de script Bash
La sortie d'un script Bash est souvent le résultat d'une expression calculée et peut être volumineuse. Lorsque vous examinez les propriétés d'un script avec une sortie de grande taille valide, vous pouvez prévisualiser ou télécharger la sortie dans un afficheur.
Ces règles régissent le type de sortie de grande taille valide.
- La sortie d'une expression
list_expressionest une expression calculée. Par conséquent, il s'agit d'une sortie de grande taille. - La sortie de chaîne est traitée comme une valeur littérale plutôt que comme une expression calculée. Elle doit donc respecter les limites de taille qui régissent les expressions en ligne. Par exemple, vous êtes averti lorsqu'une valeur littérale dépasse 1 Ko et que les valeurs de 2 Ko et plus entraînent une erreur.
- Vous pouvez inclure des messages d'erreur standard dans votre sortie standard (
standard_output) et les afficher, par exemple avec la fonctionGetCommandOutput.
Référencement d'une variable dans un script Bash
La façon dont vous référencez une variable dans un script varie selon que la variable a été créée en tant que variable d'entrée ou en tant que variable de sortie. Les variables de sortie sont créées en tant que fichiers et, à ce titre, elles requièrent un chemin de fichier dans leur référence. Plus précisément :
- Les variables d'entrée sont disponibles et utilisables par le nom qui leur est affecté
- Les noms de variables de sortie requièrent que
_PATHsoit ajouté au nom de variable pour indiquer que les valeurs doivent être écrites dans le fichier de sortie désigné par la variable{output_name}_PATH.
Exécuter le déploiement de lot
Configurez ce noeud pour exécuter les travaux de déploiement sélectionnés.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Déploiement | Parcourir ou rechercher le travail de déploiement |
| Actifs de données d'entrée | Indiquez les données utilisées pour le travail par lot. |
| Actif de sortie | Nom du fichier de sortie pour les résultats du travail par lot. Vous pouvez sélectionner Nom de fichier et entrer un nom de fichier personnalisé ou Actif de données et sélectionner un actif existant dans un espace. |
| Spécification matérielle (facultatif) | Rechercher une spécification matérielle à appliquer pour le travail |
| Règle d'erreur (facultatif) | (Facultatif) Remplacer la règle d'erreur par défaut pour le noeud |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Travail | Chemin d'accès au fichier contenant les résultats du travail de déploiement |
| Exécution de travail | ID du travail |
| Statut de l'exécution | Informations sur l'état du travail : en attente, démarrage en cours, en cours d'exécution, terminé, annulé ou échec avec des erreurs |
| Message d'état | Informations sur l'état du travail |
IBM DataStage est un outil d'intégration de données pour la conception, le développement et l'exécution de travaux qui déplacent et transforment des données. Exécutez un travail DataStage et utilisez la sortie dans un noeud ultérieur.
Par exemple, le flux suivant montre un noeud Exécuter DataStage qui extrait des données d'un référentiel Git . Si le travail aboutit, le pipeline exécute le noeud suivant et crée un espace de déploiement. Si le travail échoue, un courrier électronique de notification est déclenché et la boucle est arrêtée.
| Paramètre | Descriptif |
|---|---|
| Travail DataStage | Chemin d'accès au travail DataStage |
| Valeurs des paramètres locaux (facultatif) | Editez les paramètres de travail par défaut. Cette option est disponible uniquement si vous avez des paramètres locaux dans le travail. |
| Valeurs des ensembles de paramètres (facultatif) | Editez les ensembles de paramètres utilisés par ce travail. Vous pouvez choisir d'utiliser les paramètres tels qu'ils sont définis par défaut ou d'utiliser des ensembles de valeurs à partir des paramètres d'autres pipelines. |
| Environnement | Recherchez et sélectionnez l'environnement utilisé pour exécuter le travail DataStage . Attention: Laissez la zone des environnements telle qu'elle est pour utiliser l'environnement d'exécution DataStage XS par défaut. Si vous choisissez de le remplacer, indiquez un autre environnement pour l'exécution du travail. Assurez-vous que l'environnement que vous spécifiez est compatible avec la configuration matérielle afin d'éviter une erreur d'exécution.
|
| Variables d'environnement (facultatif) | Indiquez un nom de variable (la clé) et un type de données et ajoutez-les à la liste des variables à utiliser dans le travail |
| Paramètres de travail (facultatif) | Paramètre supplémentaire à transmettre au travail lors de son exécution. Indiquez une paire clé / valeur et ajoutez-la à la liste. Remarque: Si le paramètre local
DSJobInvocationId est utilisé, cette valeur est transmise en tant que nom de travail dans le tableau de bord des détails du travail. |
| Règle d'erreur (facultatif) | (Facultatif) Remplacer la règle d'erreur par défaut pour le noeud |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Travail | Chemin d'accès aux résultats du travail DataStage |
| Exécution de travail | Informations sur l'exécution du travail |
| Nom du travail | Nom du travail |
| Statut de l'exécution | Informations sur l'état du travail : en attente, démarrage en cours, en cours d'exécution, terminé, annulé ou échec avec des erreurs |
| Message d'état | Informations sur l'état du travail |
Exécuter le travail Data Refinery
Ce noeud exécute un travail Data Refinery spécifié.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Travail Data Refinery | Chemin d'accès au travail Data Refinery . |
| Environnement | Chemin de l'environnement utilisé pour exécuter le travail Attention: Laissez la zone des environnements telle qu'elle est pour utiliser l'environnement d'exécution par défaut. Si vous choisissez de le remplacer, indiquez un autre environnement pour l'exécution du travail. Assurez-vous que l'environnement que vous spécifiez est compatible avec la langue du composant et la configuration matérielle afin d'éviter une erreur d'exécution.
|
| Règle d'erreur (facultatif) | (Facultatif) Remplacer la règle d'erreur par défaut pour le noeud |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Travail | Chemin d'accès aux résultats du travail Data Refinery |
| Exécution de travail | Informations sur l'exécution du travail |
| Nom du travail | Nom du travail |
| Statut de l'exécution | Informations sur l'état du flux : en attente, démarrage en cours, en cours d'exécution, terminé, annulé ou échec avec des erreurs |
| Message d'état | Informations sur l'état du flux |
Exécuter le travail de bloc-notes
Utilisez ces options de configuration pour spécifier comment exécuter un Jupyter Notebook dans un pipeline.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Travail de bloc-notes | Chemin d'accès au travail de bloc-notes. |
| Environnement | Chemin de l'environnement utilisé pour exécuter le bloc-notes. Attention: Laissez la zone des environnements telle qu'elle est pour utiliser l'environnement par défaut. Si vous choisissez de le remplacer, indiquez un autre environnement pour l'exécution du travail. Assurez-vous que l'environnement que vous spécifiez est compatible avec le langage de bloc-notes et la configuration matérielle pour éviter une erreur d'exécution.
|
| Variables d'environnement (facultatif) | Liste des variables d'environnement utilisées pour exécuter le travail de bloc-notes |
| Règle d'erreur (facultatif) | (Facultatif) Remplacer la règle d'erreur par défaut pour le noeud |
Remarques :
- Les variables d'environnement que vous définissez dans un pipeline ne peuvent pas être utilisées pour les travaux de bloc-notes que vous exécutez en dehors des pipelines d'orchestration.
- Vous pouvez exécuter un bloc-notes à partir d'un package de code dans un package standard.
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Travail | Chemin d'accès aux résultats du travail de bloc-notes |
| Exécution de travail | Informations sur l'exécution du travail |
| Nom du travail | Nom du travail |
| Variables de sortie | Configurez une paire clé / valeur pour chaque variable personnalisée, puis cliquez sur Ajouter pour remplir la liste des variables dynamiques du noeud |
| Statut de l'exécution | Informations sur l'état de l'exécution : en attente, démarrage en cours, en cours d'exécution, terminé, annulé ou échec avec des erreurs |
| Message d'état | Informations sur l'état de l'exécution du bloc-notes |
Exécuter le composant Pipelines
Exécutez un composant de pipeline réutilisable créé à l'aide d'un script Python . Pour plus d'informations, voir Création d'un composant personnalisé.
- Si un composant de pipeline est disponible, la configuration du noeud présente une liste des composants disponibles.
- Le composant que vous choisissez spécifie l'entrée et la sortie du noeud.
- Une fois que vous avez affecté un composant à un noeud, vous ne pouvez plus le supprimer ou le modifier. Vous devez supprimer le noeud et en créer un nouveau.
Exécuter le travail de pipelines
Ajoutez un pipeline pour exécuter un travail de pipeline imbriqué dans le cadre d'un pipeline conteneur. Il s'agit d'un moyen d'ajouter des processus réutilisables à plusieurs pipelines. Vous pouvez utiliser la sortie d'un pipeline imbriqué qui est exécuté en tant qu'entrée pour un noeud dans le pipeline qui le contient.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Travail de pipelines | Sélectionnez ou entrez un chemin d'accès à un travail de pipelines existant. |
| Environnement (facultatif) | Sélectionnez l'environnement dans lequel exécuter le travail Pipelines et affectez des ressources d'environnement. Attention: Laissez la zone des environnements telle qu'elle est pour utiliser l'environnement d'exécution par défaut. Si vous choisissez de le remplacer, indiquez un autre environnement pour l'exécution du travail. Assurez-vous que l'environnement que vous spécifiez est compatible avec la langue du composant et la configuration matérielle afin d'éviter une erreur d'exécution.
|
| Nom d'exécution du travail (facultatif) | Un nom d'exécution de travail par défaut est utilisé sauf si vous le remplacez en spécifiant un nom d'exécution de travail personnalisé. Vous pouvez voir le nom de l'exécution du travail dans le tableau de bord Détails du travail . |
| Valeurs des paramètres locaux (facultatif) | Editez les paramètres de travail par défaut. Cette option est disponible uniquement si vous avez des paramètres locaux dans le travail. |
| Valeurs des ensembles de paramètres (facultatif) | Editez les ensembles de paramètres utilisés par ce travail. Vous pouvez choisir d'utiliser les paramètres tels qu'ils sont définis par défaut ou d'utiliser des ensembles de valeurs à partir des paramètres d'autres pipelines. |
| Règle d'erreur (facultatif) | (Facultatif) Remplacer la règle d'erreur par défaut pour le noeud |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Travail | Chemin d'accès aux résultats du travail de pipeline |
| Exécution de travail | Informations sur l'exécution du travail |
| Nom du travail | Nom du travail |
| Statut de l'exécution | Renvoie une valeur de : Terminé, Terminé avec des avertissements, Terminé avec des erreurs, Échec ou Annulé |
| Message d'état | Message associé à l'état |
Remarques relatives à l'exécution de travaux de pipeline imbriqués
Si vous créez un pipeline avec des pipelines imbriqués et exécutez un travail de pipeline à partir du niveau supérieur, les pipelines sont nommés et sauvegardés en tant qu'actifs de projet qui utilisent cette convention:
- Le travail de pipeline de niveau supérieur est nommé "Travail d'essai- Identificateur global unique du pipeline".
- Tous les travaux suivants sont nommés "pipeline_ pipeline guid".
Exécuter le travail SPSS Modeler
Utilisez ces options de configuration pour indiquer comment exécuter un SPSS Modeler dans un pipeline.
Paramètres d'entrée
| Paramètre | Descriptif |
|---|---|
| Travail SPSS Modeler | Sélectionnez ou entrez un chemin d'accès à un travail SPSS Modeler existant. |
| Environnement (facultatif) | Sélectionnez l'environnement dans lequel exécuter le travail SPSS Modeler et affectez des ressources d'environnement. Attention: Laissez le champ des environnements tel qu'il est pour utiliser l'environnement d'exécution SPSS Modeler par défaut. Si vous choisissez de le remplacer, indiquez un autre environnement pour l'exécution du travail. Assurez-vous que l'environnement que vous spécifiez est compatible avec la configuration matérielle afin d'éviter une erreur d'exécution.
|
| Valeurs des paramètres locaux | Editez les paramètres de travail par défaut. Cette option est disponible uniquement si vous avez des paramètres locaux dans le travail. |
| Règle d'erreur (facultatif) | (Facultatif) Remplacer la règle d'erreur par défaut pour le noeud |
Paramètres de sortie
| Paramètre | Descriptif |
|---|---|
| Travail | Chemin d'accès aux résultats du travail de pipeline |
| Exécution de travail | Informations sur l'exécution du travail |
| Nom du travail | Nom du travail |
| Statut de l'exécution | Renvoie une valeur de : Terminé, Terminé avec des avertissements, Terminé avec des erreurs, Échec ou Annulé |
| Message d'état | Message associé à l'état |
En savoir plus
Rubrique parent: Création d'un pipeline