Fehlerbehebung für IBM DataStage

Im Teradata -Connector, der auf den ANSI-Transaktionsmodus gesetzt ist, kann die Vorbereitungs-SQL-Anweisung nach der SQL-Anweisung statt vor ausgeführt werden, wodurch der Job fehlschlägt.

Problemumgehung:Fügen Sie nach jeder Vorbereitungs-SQL-Anweisung eine Commitanweisung hinzu.

Wenn der Befehl mailx in einer Vorjob-oder Nachjobsubroutine verwendet wird, müssen Sie die SMTP-Serverinformationen angeben. Andernfalls wird die Ausführung an sendmail weitergeleitet und schlägt fehl.

Wenn Sie andere Eigenschaften eingeben (z. B. für Tabellen oder Schemata) und die Standardoption DataStage -Eigenschaften verwenden ausgewählt ist und dann die Option DataStage -Eigenschaften verwendenabwählen, werden die Eigenschaften nicht beibehalten.

Problemumgehung: Wählen Sie die Standardeigenschaften DataStage verwenden ab, wenn Sie sie nicht verwenden möchten, bevor Sie andere Eigenschaften eingeben. Wählen Sie andernfalls die Eigenschaften erneut aus.

Wenn die integrierte CEL-Funktion ds.getUserStatus auf einem Ziel ausgeführt wird, das sich nicht in derselben Pipeline befindet, schlägt sie fehl und kann den Benutzerstatus nicht abrufen. Verwenden Sie stattdessen die dsjob -CLI in Ihrem Knoten "Run Bash script".

Ein Beispiel dafür, wie dies umgeschrieben werden kann, finden Sie unter dem Befehl dsjob , der von DSGetUserStatus() verwendet wird, in den Beispielen für die Ersetzung von Routinen unter DataStage.

Ein Job mit einem Connector, der eine große Excel-Datei verarbeitet, kann mit folgendem Fehler fehlschlagen:

"CDICO9999E: Internal error occurred: IO error: The Excel file is too large. (error code: DATA_IO_ERROR)" 

Versuchen Sie, die Größe des Heapspeichers zu erhöhen. Die Eigenschaftsoption für die Größe des Heapspeichers befindet sich im Abschnitt Weitere Eigenschaften der Registerkarte Stage des Connectors.

Bei der Verwendung des Asset-Browsers zum Durchsuchen von Datenbanktabellen können Probleme auftreten, wenn die ausgewählte Tabelle eine Spalte mit Sonderzeichen wie ., $oder #enthält und Sie diese Tabelle einem DataStage -Ablauf hinzufügen. DataStage unterstützt keine Spaltennamen, die Sonderzeichen enthalten. DataStage -Abläufe, die auf Spalten mit Namen verweisen, die diese Sonderzeichen enthalten, funktionieren nicht.

Um dieses Problem zu umgehen, erstellen Sie eine Sicht für die Datenbanktabelle und definieren Sie den Spaltennamen in der Ansicht neu. Beispiel:

create view view1 as select column1$ as column1, column2# as column2 ... from table

Wenn Sie dann den Asset-Browser verwenden, suchen Sie die Ansicht und fügen Sie sie zum DataStage-Ablauf hinzu.

Der Asset-Browser liest die ersten 1000 Datensätze und leitet das Schema ab, z. B. Spaltenname, Länge, Datentyp und nullfähig, basierend auf diesen ersten 1000 Datensätzen in den Dateien in IBM Cloud Object Storage, Amazon S3, Google Cloud Storage, Azure File Storage, Azure Blob Storage oder dem Azure Data Lake-Service. Beispiel: Der Asset-Browser kann eine Spalte als ganze Zahl angeben, basierend auf dem, was in den ersten 1000 Datensätzen erkannt wird. Spätere Datensätze in der Datei zeigen jedoch möglicherweise, dass diese Spalte als varchar -Datentyp behandelt werden sollte. In ähnlicher Weise kann der Asset-Browser eine Spalte als varchar(20) ableiten, obwohl spätere Datensätze zeigen, dass die Spalte varchar(100) sein sollte.

Error: CDICO9999E: Internal error occurred: Illegal 
state error: INTEGER(32,false) can only annotate INT32.

Abhilfe: Sie müssen unterstützte Datentypen verwenden.

Dieser Fehler kann auftreten, wenn Sie das Upgrade von Cloud Pak for Data von 5.0.0 auf 5.0.1 durchführen. Das Upgrade schlägt bei neuen Upgrade-Aufgaben für die Remote-Instanzen fehl.

Beim Kompilieren von Abläufen, die die Transformatorstufe enthalten, kann eine Zeitüberschreitung auftreten.

-c -O -fPIC -Wno-deprecated -m64 -mtune=generic -mcmodel=small

-c -O0 -fPIC -Wno-deprecated -m64 -mtune=generic -mcmodel=small

Wenn Sie eine Tabelle in einer MySQL -Datenbank erstellen, ohne einen Primärschlüssel in der Spalte WHERE anzugeben, und dann versuchen, einen Job auszuführen, der diese Tabelle mit dem Schreibmodus Update für das Ziel verwendet, kann der Job fehlschlagen.

Lösung: Geben Sie im Feld Schlüsselspaltennamen einen Primärschlüsselnamen an. Wenn die Tabelle groß ist und keine Primärspalte hat, können Sie eine separate Spalte mit Werten für die automatische Erhöhung erstellen, die als Primärschlüssel verwendet wird.

Wenn Sie einen Job ausführen, der Daten aus einer FTP-Datenquelle verwendet, wird das Ausgangsverzeichnis oder das Anmeldeverzeichnis dem angegebenen Pfad vorangestellt. Diese Aktion erfolgt unabhängig davon, ob Sie einen absoluten Pfad (mit einem führenden Schrägstrich) oder einen relativen Pfad (ohne führenden Schrägstrich) angeben. Wenn Sie beispielsweise das Verzeichnis als /tmp/SampleData.txtangeben, wird der Pfad in /home/username/tmp/SampleData.txtaufgelöst.

Problemumgehung:Bearbeiten Sie den Dateinamen im FTP-Connector. Geben Sie den absoluten Pfad zur Quellen-oder Zieldatei an.

Jobs können mit dem Fehler "Der Connector konnte keine Verbindung zur Db2 -Datenbank herstellen" fehlschlagen.

Problemumgehung: Rufen Sie die Verbindungseigenschaften auf und legen Sie die Eigenschaft Optionen auf connectTimeout=0fest.

Wenn Ihr Flow Quellendaten aus SAP ODataenthält, schlägt der Flow möglicherweise fehl, wenn Sie den Flow durch manuelles Hinzufügen von Spalten erstellt haben, die nicht der SAP -Namenskonvention entsprechen.

Problemumgehung:Aktualisieren Sie den Ablauf, indem Sie die Spalten im Asset-Browser hinzufügen oder die Spalten entsprechend der SAP -Namenskonvention umbenennen. Die SAP -Namenskonvention folgt der SAP -Objekthierarchie mit zwei Unterstreichungszeichen (__) als Trennzeichen. Wenn zum Beispiel die Spalte PurchaseOrder zu KaufBestellNote gehört, dann sollte der Spaltenname als PurchaseOrderNote__PurchaseOrder angegeben werden.

Wenn Ihre Daten aus Apache Hive Version 2.0 oder früher stammen und Ihr DataStage -Flow UPDATE-oder DELETE-Anweisungen ausführt, schlägt der Job möglicherweise fehl. Stellen Sie sicher, dass die Zieltabelle gemäß den Hive -Transaktionsanforderungen erstellt wurde und dass der Apache Hive -Server für die Unterstützung von ACID-Operationen konfiguriert ist.

Die Mindestgruppe von Parametern (in der Datei hive-site.xml konfiguriert), die Sie für ACID-Tabellen in Apache Hive aktivieren müssen, ist:

hive.support.concurrency = true
hive.enforce.bucketing = true (not required as of Hive 2.0)
hive.exec.dynamic.partition.mode = nonstrict
hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

hive.compactor.initiator.on = true
hive.compactor.worker.threads = <a positive number>

Weitere Informationen finden Sie unter Hive Transaktionen.

Wenn Sie ein SSL-Zertifikat in der Verbindung zu IBM Db2 for DataStage verwenden und die Verbindung mit dem Fehler "Protokollspezifischer Fehlercode 414" fehlschlägt, verwenden Sie die folgende Problemumgehung:

1. Ermitteln Sie das Stammzertifikat auf dem Db2 -Server. Mit diesem Befehl können Sie die Zertifikatskette anzeigen:

   openssl s_client -connect <hostname>:<port> -showcerts

2. Stellen Sie sicher, dass das Zertifikat dasselbe Subjekt und denselben Aussteller hat.
3. Geben Sie auf der Seite Verbindung erstellen: IBM IBM Db2 für DataStage das Stammzertifikat in das Feld SSL-Zertifikat (arm) ein.

Wenn die Eigenschaft Authentifizierungsmethode auf Serviceberechtigungsnachweise (vollständiges JSON-Snippet) gesetzt ist, dürfen Sie das Feld Serviceberechtigungsnachweise nicht parametrisieren. Wenn für dieses Feld ein Parameter angegeben wird, wird der Fluss nicht kompiliert.

Der PostgreSQL verbindung kann mit einem Timeout-Fehler fehlschlagen, wenn eine große Tabelle (über 100.000 Zeilen) als Quelle verwendet wird. Versuchen Sie, einen höheren Zeitlimitwert für die Umgebungsvariable APT_RECORD_TIMEOUT festzulegen, um diesen Fehler zu beheben. Siehe Verwalten von Umgebungsvariablen in DataStage.

Wenn Sie den HTTP verwenden, um eine Datei herunterzuladen und dann dieselbe Datei in IBM Cloud Object Storage oder eine Datenbank hochzuladen, kann der Auftrag fehlschlagen, wenn sich das Schema der Datei im Laufe der Zeit ändert.

Problemumgehung: Erstellen Sie die Phase erneut.