IBM DataStage pour Cloud Pak for Data configuration de la lignée

Préparer un fichier.zip comme entrée externe

Vous pouvez fournir les flux DataStage en tant qu'entrées externes dans un fichier.zip. Le dossier doit avoir la structure suivante :

• <project_export.zip> - Un projet DataStage exporté dans un fichier.zip.
• DSParams - Un fichier qui contient les paramètres au niveau du projet ou de l'environnement, le cas échéant. Vous pouvez obtenir ce fichier dans le répertoire du projet.
• datastageParameterOverride.txt - Un fichier contenant des dérogations aux jeux de paramètres si vos travaux utilisent des jeux de paramètres.
• connection_definition/odbcConnectionDefinition.ini - Un fichier contenant des définitions de connexion pour les connexions ODBC. Les définitions des connexions ODBC ne sont pas incluses dans les exportations XML DataStage et doivent être spécifiées séparément.
• datastageComponentOverrides.csv - Un fichier avec des dérogations de lignage de composants.

Le format du fichier.zip contenant le projet DataStage exporté Lorsque vous exportez un projet DataStage, il doit avoir la structure suivante :

• assets - dossier obligatoire.
  • .METADATA - dossier obligatoire.
  • data_intg_flow.*.json - des fichiers obligatoires contenant des informations sur les flux.
  • connection.*.json - des fichiers facultatifs contenant des informations sur les connexions.
  • parameter_set.*.json - des fichiers facultatifs contenant des informations sur les jeux de paramètres.
  • job.*.json - des fichiers facultatifs contenant des informations sur les travaux.
  • job_run.*.json -des fichiers facultatifs contenant des informations sur des exécutions particulières du travail.
  • data_intg_flow - dossier obligatoire.
  • Au moins un fichier qui contient la chaîne "schemas":[{, mais qui ne se termine pas par px_executables.
• assettypes - dossier obligatoire.
• project.json - dossier requis. Il peut y avoir plusieurs instances de ce fichier à la suite de la décompression ZIP, ce qui est correct.

Le format du fichier datastageParameterOverride.txt Le fichier datastageParameterOverride.txt a le contenu suivant :

[ENVIRONMENT]
PARAM1_NAME = "param1_value"
PARAM2_NAME = "param2_value"
PARAM3_NAME = "param3_value"
[PARAMETER_SET/parameter_set_name]
param4_name  = "default_param4_value"
param5_name  = "default_param5_value"
$PARAM3_NAME = "$PROJDEF"
[VALUE_FILE/parameter_set_name/value_file1_name]
param4_name  = "some_param4_value"
param5_name  = "some_param5_value"
$PARAM3_NAME = "some_param3_value"
[VALUE_FILE/parameter_set_name/value_file2_name]
param4_name  = "other_param4_value"
param5_name  = "other_param5_value"
$PARAM3_NAME = "other_param3_value"
[JOB/job1_name]
param6_name = "param6_value"
param7_name = "param7_value"
[JOB/job2_name]
param7_name = "param8_value"

Le format du fichier connection_definition/odbcConnectionDefinition.ini Le fichier connection_definition/odbcConnectionDefinition.ini a le contenu suivant. Créez une section [Shortcut_Name] distincte pour chaque connexion.

[<Shortcut_Name>]
Type=<connection_type>
Connection_String=<connection_string>
Server_Name=<server_name>
Database_Name=<database_name>
Schema_Name=<schema_name>
User_Name=<user_name>

• Shortcut_Name : Le nom de la connexion ou du serveur de données utilisé par l'outil d'intégration de données.
• connection_type : Le type de source de données.
• chaîne_de_connexion : Une chaîne de connexion JDBC ou toute identification de la base de données telle que l'ID système (SID) ou le nom d'hôte.
• server_name : la valeur dépend du type de source de données :
  • Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (anciennement Sybase ), ou Teradata : Le nom du serveur.
  • FTP : le nom d'hôte.
  • Oracle et d'autres bases de données : La valeur est ignorée.
• database_name : la valeur dépend du type de source de données :
  • Oracle : Le nom de la base de données globale.
  • Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (anciennement Sybase ), Teradata, et d'autres bases de données : Le nom de la base de données par défaut.
  • user_name : le nom de l'utilisateur qui se connecte à la base de données.

Ajouter une nouvelle ligne à la fin des paramètres pour chaque section.

Le format du fichier datastageComponentOverrides.csv Le fichier datastageComponentOverrides.csv a le contenu suivant :

"Full path to Stage";"Input Link name";"Input Column name";"Output Link name";"Output Column name";"Edge Type (DIRECT | FILTER)";"Description (optional)"
"manual_mapping_job/Generic_3";"DSLink2";"a";"DSLink5";"b";"DIRECT";""

Le chemin vers l'étape se présente sous la forme suivante : Job/[Shared and Local containers optional]/Stage.

Télécharger le fichier.zip dans le projet

Pour utiliser le fichier.zip dans l'importation de métadonnées, vous devez l'ajouter au projet dans lequel vous créez l'importation de métadonnées.

1. Dans le projet, cliquez sur Importer des actifs.
2. Dans la section Fichier local, cliquez sur Actif de données.
3. Ajoutez le fichier.zip au projet DataStage.

Lorsque vous créez l'importation de métadonnées, vous pouvez sélectionner ce fichier à l'étape Ajouter des entrées à partir d'un fichier.

Configurer l'importation pour qu'elle n'utilise que l'entrée externe

Si vous souhaitez importer des métadonnées uniquement à partir de l'entrée externe fournie, et non directement à partir de l'instance DataStage for Cloud Pak for Data connectée, procédez comme suit :

1. Ajoutez le fichier.zip dans la section Add inputs from file et cliquez sur Next.
2. Développez la liste des phases d'importation de lignage et désactivez la phase d' extraction des transformations.