IBM DataStage für Cloud Pak for Data Abstammungskonfiguration

Eine.zip-Datei als externe Eingabe vorbereiten

Sie können DataStage Abläufe als externe Eingaben in einer.zip-Datei bereitstellen. Der Ordner muss die folgende Struktur haben:

• <project_export.zip> - Ein DataStage Projekt, das in eine.zip-Datei exportiert wurde.
• DSParams - Eine Datei, die die Parameter auf Projekt- oder Umgebungsebene enthält, falls zutreffend. Sie können diese Datei aus dem Projektverzeichnis abrufen.
• datastageParameterOverride.txt - Eine Datei mit Überschreibungen von Parametersätzen, wenn Ihre Aufträge Parametersätze verwenden.
• connection_definition/odbcConnectionDefinition.ini - Eine Datei mit Verbindungsdefinitionen für ODBC Verbindungen. Definitionen von ODBC Verbindungen sind nicht in den DataStage XML-Exporten enthalten und müssen separat angegeben werden.
• datastageComponentOverrides.csv - Eine Datei mit Überschreibungen der Komponentenreihenfolge.

Das Format der.zip-Datei mit dem exportierten DataStage Projekt Wenn Sie ein DataStage Projekt exportieren, muss es die folgende Struktur haben:

• assets - erforderlichen Ordner.
  • .METADATA - erforderlichen Ordner.
  • data_intg_flow.*.json - erforderliche Dateien, die Informationen über Bewegungen enthalten.
  • connection.*.json - optionale Dateien, die Informationen über Verbindungen enthalten.
  • parameter_set.*.json - optionale Dateien, die Informationen über Parametersätze enthalten.
  • job.*.json - optionale Dateien, die Informationen über Aufträge enthalten.
  • job_run.*.json -optionale Dateien, die Informationen über bestimmte Ausführungen des Auftrags enthalten.
  • data_intg_flow - erforderlichen Ordner.
  • Mindestens eine Datei, die die Zeichenfolge "schemas":[{ enthält, aber nicht auf px_executables endet.
• assettypes - erforderlichen Ordner.
• project.json - erforderliche Datei. Als Ergebnis der ZIP-Dekomprimierung kann es mehrere Instanzen dieser Datei geben, was korrekt ist.

Das Dateiformat datastageParameterOverride.txt Die Datei datastageParameterOverride.txt hat den folgenden Inhalt:

[ENVIRONMENT]
PARAM1_NAME = "param1_value"
PARAM2_NAME = "param2_value"
PARAM3_NAME = "param3_value"
[PARAMETER_SET/parameter_set_name]
param4_name  = "default_param4_value"
param5_name  = "default_param5_value"
$PARAM3_NAME = "$PROJDEF"
[VALUE_FILE/parameter_set_name/value_file1_name]
param4_name  = "some_param4_value"
param5_name  = "some_param5_value"
$PARAM3_NAME = "some_param3_value"
[VALUE_FILE/parameter_set_name/value_file2_name]
param4_name  = "other_param4_value"
param5_name  = "other_param5_value"
$PARAM3_NAME = "other_param3_value"
[JOB/job1_name]
param6_name = "param6_value"
param7_name = "param7_value"
[JOB/job2_name]
param7_name = "param8_value"

Das Dateiformat connection_definition/odbcConnectionDefinition.ini Die Datei connection_definition/odbcConnectionDefinition.ini hat den folgenden Inhalt. Erstellen Sie für jede Verbindung einen eigenen Abschnitt [Shortcut_Name] .

[<Shortcut_Name>]
Type=<connection_type>
Connection_String=<connection_string>
Server_Name=<server_name>
Database_Name=<database_name>
Schema_Name=<schema_name>
User_Name=<user_name>

• Verknüpfung_Name : Der Name der Verbindung oder des Datenservers, der vom Datenintegrationswerkzeug verwendet wird.
• verbindungs_typ : Der Typ der Datenquelle.
• verbindungszeichenfolge : Eine JDBC Verbindungszeichenfolge oder eine beliebige Identifikation der Datenbank wie die System-ID (SID) oder der Hostname.
• server_name : Der Wert hängt von der Art der Datenquelle ab:
  • Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (früher Sybase ), oder Teradata : Der Name des Servers.
  • FTP: Der Hostname.
  • Oracle und andere Datenbanken: Der Wert wird ignoriert.
• database_name : Der Wert hängt von der Art der Datenquelle ab:
  • Oracle : Der Name der globalen Datenbank.
  • Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (früher Sybase ), Teradata und andere Datenbanken: Der Name der Standarddatenbank.
  • user_name : Der Name des Benutzers, der sich bei der Datenbank anmeldet.

Fügen Sie am Ende der Parameter für jeden Abschnitt eine neue Zeile ein.

Das Dateiformat datastageComponentOverrides.csv Die Datei datastageComponentOverrides.csv hat den folgenden Inhalt:

"Full path to Stage";"Input Link name";"Input Column name";"Output Link name";"Output Column name";"Edge Type (DIRECT | FILTER)";"Description (optional)"
"manual_mapping_job/Generic_3";"DSLink2";"a";"DSLink5";"b";"DIRECT";""

Der Pfad zur Stufe hat das Format Job/[Shared and Local containers optional]/Stage.

Laden Sie die.zip-Datei in das Projekt hoch

Um die.zip-Datei für den Metadatenimport zu verwenden, müssen Sie sie dem Projekt hinzufügen, in dem Sie den Metadatenimport erstellen.

1. Klicken Sie im Projekt auf Assets importieren.
2. Klicken Sie im Abschnitt Lokale Datei auf Datenbestand.
3. Fügen Sie die.zip-Datei mit dem Projekt DataStage hinzu.

Wenn Sie den Metadatenimport erstellen, können Sie diese Datei im Schritt Eingaben aus Datei hinzufügen auswählen.

Konfigurieren Sie den Import so, dass nur der externe Eingang verwendet wird

Wenn Sie Metadaten nur von dem bereitgestellten externen Eingang und nicht direkt von der angeschlossenen Instanz DataStage für Cloud Pak for Data importieren möchten, führen Sie die folgenden Schritte aus:

1. Fügen Sie die.zip-Datei im Abschnitt Eingaben aus Datei hinzufügen hinzu und klicken Sie auf Weiter.
2. Erweitern Sie die Liste der Lineage-Importphasen, und deaktivieren Sie die Extraktionsphase Transformationen.