Sources de données

Données d'entrée-sortie en ligne :

• Les données d'entrée en ligne sont converties en fichiers CSV et utilisées par le moteur.
• Les données de sortie CSV sont converties en données de sortie en ligne.
• Les données brutes encodées en Base64 sont utilisables tant en entrée qu'en sortie.

Données d'entrée-sortie par référence :

• Les données tabulaires sont chargées à partir de fichiers CSV, XLS, XLSX, de fichiers JSON ou de sources de données de base de données prises en charge par la bibliothèque de connexion WDP, converties en fichiers CSV et utilisées par le moteur.
• Les données de sortie CSV sont converties en données tabulaires et sauvegardées dans des fichiers CSV, XLS, XLSX, des fichiers JSON ou des sources de données de base de données prises en charge par la bibliothèque de connexion WDP.
• Les données brutes peuvent être chargées et sauvegardées à partir ou dans n'importe quelle source de données de fichier prise en charge par la bibliothèque de connexion WDP.
• Pas de prise en charge des fichiers compressés.
• Le paramètre variables d'environnement des travaux de déploiement n'est pas applicable.

Si vous spécifiez des références de données d'entrée/sortie programmatiquement :

• La référence de la source de données type dépend du type d'actif. Reportez-vous à la section des types de référence de source de données dans Ajout d'actifs de données à un espace de déploiement.

• Pour S3 ou Db2, les détails de connexion doivent être spécifiés dans le paramètre input_data_references.connection , dans le contenu du travail de déploiement.

• Pour S3 ou Db2, les détails d'emplacement tels que le nom de la table, le nom du compartiment ou le chemin doivent être spécifiés dans le paramètre input_data_references.location.path , dans le contenu du travail de déploiement.

• Pour data_asset, un actif géré peut être mis à jour ou créé. Pour la création, vous pouvez définir le nom et la description de l'actif créé.

• Vous pouvez utiliser un modèle dans les propriétés id ou connection. Par exemple, consultez le fragment de code suivant:

  • Pour collecter tous les CSV de sortie sous forme de données en ligne :

  "output_data": [ { "id":".*\\.csv"}]
  

  • Pour collecter la sortie des travaux dans un dossier S3 particulier :

  "output_data_references": [ {"id":".*", "type": "s3", "connection": {...}, "location": { "bucket": "do-wml", "path": "${job_id}/${attachment_name}" }}]
  

Pour plus d'informations, voir Sources de données d'entrée et Sources de données de sortie.

Rubrique parent : Détails des entrées de déploiement par lots par structure