Identification et résolution des problèmes IBM DataStage

Sur le connecteur Teradata défini sur le mode de transaction ANSI, l'instruction SQL Before peut s'exécuter après l'instruction SQL au lieu de l'exécuter avant, ce qui entraîne l'échec du travail.

Solution palliative: Ajoutez une instruction de validation après chaque instruction SQL Before.

Si la commande mailx est utilisée dans une sous-routine avant-travail ou après-travail, vous devez fournir les informations du serveur SMTP, sinon l'exécution sera réenvoyée à sendmail et échouera.

Si vous entrez d'autres propriétés (par exemple pour les tables ou les schémas) avec l'option par défaut Utiliser les propriétés DataStage sélectionnée, puis désélectionnez Utiliser les propriétés DataStage, les propriétés ne sont pas conservées.

Solution palliative: Désélectionnez la valeur par défaut Utiliser les propriétés DataStage si vous n'avez pas l'intention de les utiliser avant d'entrer d'autres propriétés. Sinon, sélectionnez à nouveau les propriétés.

Lorsque la fonction CEL intégrée ds.getUserStatus est exécutée sur une cible qui ne se trouve pas dans le même pipeline, elle échoue et ne peut pas extraire le statut de l'utilisateur. Utilisez l'interface de ligne de commande dsjob dans votre noeud de script Run Bash à la place.

Pour un exemple de réécriture, voir la commande dsjob utilisée par DSGetUserStatus() dans les exemples de remplacement de routine dans DataStage.

Un travail avec un connecteur qui traite un fichier Excel volumineux peut échouer avec cette erreur:

"CDICO9999E: Internal error occurred: IO error: The Excel file is too large. (error code: DATA_IO_ERROR)" 

Essayez d'augmenter la taille de segment de mémoire. L'option Propriétés de taille de segment de mémoire se trouve dans la section Autres propriétés de l'onglet Etape du connecteur.

Vous pouvez rencontrer des problèmes lorsque vous utilisez le navigateur d'actifs pour parcourir les tables de base de données si la table sélectionnée contient une colonne avec des caractères spéciaux tels que ., $ou #et que vous ajoutez cette table à un flux DataStage . DataStage ne prend pas en charge les noms de colonne qui contiennent des caractères spéciaux. Les flux DataStage qui font référence à des colonnes dont les noms incluent ces caractères spéciaux ne fonctionneront pas.

Pour contourner ce problème, créez une vue sur la table de base de données et redéfinissez le nom de la colonne dans la vue. Par exemple :

create view view1 as select column1$ as column1, column2# as column2 ... from table

Ensuite, lorsque vous utilisez le navigateur d'actifs, recherchez la vue et ajoutez-la au flux DataStage.

Le navigateur de ressources lit les 1000 premiers enregistrements et infère le schéma, comme le nom de colonne, la longueur, le type de données et l'acceptabilité des valeurs NULL, en fonction de ces 1000 premiers enregistrements des fichiers dans IBM Cloud Object Storage, Amazon S3, Google Cloud Storage, Azure File Storage, Azure Blob Storage ou le service Azure Data Lake. Par exemple, le navigateur d'actifs peut identifier une colonne sous la forme d'un entier en fonction de ce qui est détecté dans les 1000 premiers enregistrements. Toutefois, les enregistrements ultérieurs du fichier peuvent indiquer que cette colonne doit être traitée comme un type de données varchar . De même, le navigateur d'actifs peut inférer une colonne en tant que varchar(20) , même si des enregistrements ultérieurs indiquent que la colonne doit être varchar(100).

Error: CDICO9999E: Internal error occurred: Illegal 
state error: INTEGER(32,false) can only annotate INT32.

Contournement: Vous devez utiliser les types de données pris en charge.

Vous pouvez rencontrer cette erreur lors de la mise à niveau de Cloud Pak for Data de 5.0.0 vers 5.0.1 La mise à niveau échoue dans les nouvelles tâches de mise à niveau pour les instances distantes.

Un dépassement de délai peut se produire lors de la compilation des flux qui contiennent l'étage de transformation.

-c -O -fPIC -Wno-deprecated -m64 -mtune=generic -mcmodel=small

-c -O0 -fPIC -Wno-deprecated -m64 -mtune=generic -mcmodel=small

Si vous créez une table dans une base de données MySQL sans spécifier de clé primaire dans la colonne WHERE, puis que vous tentez d'exécuter un travail qui utilise cette table avec le mode d'écriture Mise à jour pour la cible, le travail risque d'échouer.

Solution: Indiquez un nom de clé primaire dans la zone Noms de colonne de clé . Si la table est volumineuse et qu'elle ne comporte pas de colonne primaire, vous pouvez créer une colonne distincte avec des valeurs d'auto-incrémentation à utiliser comme clé primaire.

Lorsque vous exécutez un travail qui utilise des données provenant d'une source de données FTP, le répertoire de base ou de connexion est ajouté en préfixe au chemin que vous avez spécifié. Cette action se produit indépendamment du fait que vous spécifiez un chemin absolu (avec une barre oblique de début) ou un chemin relatif (sans barre oblique de début). Par exemple, si vous indiquez le répertoire /tmp/SampleData.txt, le chemin est résolu en /home/username/tmp/SampleData.txt.

Solution palliative: éditez le nom de fichier dans le connecteur FTP. Indiquez le chemin d'accès absolu au fichier source ou cible.

Les travaux peuvent échouer avec l'erreur "Le connecteur n'a pas pu établir de connexion à la base de données Db2 ".

Solution palliative: Accédez aux propriétés de connexion et définissez la propriété Options sur connectTimeout=0.

Si votre flux inclut des données source provenant de SAP OData, le flux risque d'échouer si vous avez créé le flux en ajoutant manuellement des colonnes qui ne respectent pas la convention de dénomination SAP .

Solution palliative: Mettez à jour le flux en ajoutant ou en ajoutant les colonnes avec le navigateur Actif ou en renommant les colonnes conformément à la convention de dénomination SAP . La convention de dénomination SAP suit la hiérarchie d'objets SAP avec deux caractères de soulignement (__) comme séparateur. Par exemple, si la colonne PurchaseOrder appartient à Note de commande d'achat, le nom de la colonne doit être spécifié comme PurchaseOrderNote__PurchaseOrder.

Si vos données proviennent d' Apache Hive version 2.0 ou antérieure et que votre flux DataStage exécute des instructions UPDATE ou DELETE, le travail risque d'échouer. Assurez-vous que la table cible a été créée conformément aux exigences des transactions Hive et que le serveur Apache Hive est configuré pour prendre en charge les opérations ACID.

L'ensemble minimal de paramètres (configurés dans le fichier hive-site.xml ) que vous devez activer pour les tables ACID dans Apache Hive est le suivant:

hive.support.concurrency = true
hive.enforce.bucketing = true (not required as of Hive 2.0)
hive.exec.dynamic.partition.mode = nonstrict
hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

hive.compactor.initiator.on = true
hive.compactor.worker.threads = <a positive number>

Pour plus d'informations, se référer à Hive Transactions.

Si vous utilisez un certificat SSL dans la connexion IBM Db2 for DataStage et que la connexion échoue avec une erreur "Protocol specific error code 414", utilisez la solution suivante:

1. Identifiez le certificat racine sur le serveur Db2 . Vous pouvez utiliser cette commande pour afficher la chaîne de certificats:

   openssl s_client -connect <hostname>:<port> -showcerts

2. Assurez-vous que le certificat a le même sujet et le même émetteur.
3. Dans la page Créer une connexion: IBM IBM Db2 for DataStage , entrez le certificat racine dans la zone Certificat SSL (arm) .

Lorsque la propriété Méthode d'authentification est définie sur Données d'identification du service (fragment JSON complet), ne paramétrez pas la zone Données d'identification du service . Si un paramètre est fourni pour ce champ, le flux ne sera pas compilé.

Le PostgreSQL connecteur peut échouer avec une erreur de délai d'attente lorsqu'une grande table (plus de 100 000 lignes) est utilisée comme source. Pour corriger cette erreur, essayez de définir une valeur de délai d'attente plus élevée pour la variable d'environnement APT_RECORD_TIMEOUT. Voir Gestion des variables d'environnement dans DataStage.

Lorsque vous utilisez le connecteur HTTP pour télécharger un fichier, puis charger ce même fichier dans IBM Cloud Object Storage ou une base de données, si le schéma du fichier change au fil du temps, le travail risque d'échouer.

Solution palliative: recréez l'étape.