Risoluzione dei problemi IBM DataStage

Sul connettore Teradata impostato sulla modalità di transazione ANSI, l'istruzione Before SQL può essere eseguita dopo l'istruzione SQL invece che prima, causando l'esito negativo del job.

Soluzione temporanea: aggiungere un'istruzione commit dopo ogni istruzione Before SQL.

Se il comando mailx viene utilizzato in una sottoroutine pre - lavoro o post - lavoro, è necessario fornire le informazioni sul server SMTP altrimenti l'esecuzione verrà inoltrata a sendmail e avrà esito negativo.

Se si immettono altre proprietà (ad esempio per tabelle o schemi) con l'opzione predefinita Utilizza proprietà DataStage selezionata e si deseleziona Utilizza proprietà DataStage, le proprietà non vengono conservate.

Soluzione temporanea: deselezionare le proprietà predefinite Utilizza DataStage se si desidera non utilizzarle prima di immettere altre proprietà. Altrimenti, riselezionare le proprietà.

Quando la funzione CEL integrata ds.getUserStatus viene eseguita su una destinazione che non è all'interno della stessa pipeline, ha esito negativo e non può recuperare lo stato utente. Utilizza invece la CLI dsjob nel tuo nodo Esegui script Bash.

Per un esempio di riscrittura, si veda il comando dsjob utilizzato da DSGetUserStatus() in Esempi di sostituzione di routine in DataStage.

Un job con un connettore che sta elaborando un file Excel di grandi dimensioni potrebbe non riuscire con questo errore:

"CDICO9999E: Internal error occurred: IO error: The Excel file is too large. (error code: DATA_IO_ERROR)" 

Provare ad incrementare la dimensione heap. L'opzione Proprietà dimensione heap si trova nella sezione Altre proprietà della scheda Stage del connettore.

Potrebbero verificarsi dei problemi quando si utilizza il Browser degli asset per sfogliare le tabelle del database se la tabella selezionata contiene una colonna con caratteri speciali come ., $o #e si aggiunge tale tabella in un flusso DataStage . DataStage non supporta i nomi colonna che contengono caratteri speciali. DataStage flussi che fanno riferimento a colonne con nomi che includono questi caratteri speciali non funzioneranno.

Per risolvere questo problema, creare una vista sulla tabella del database e ridefinire il nome della colonna nella vista. Ad esempio:

create view view1 as select column1$ as column1, column2# as column2 ... from table

Quindi, quando si utilizza il browser Asset, individuare la vista e aggiungerla al flusso DataStage .

L'Asset Browser leggerà i primi 1000 record e dedurrà lo schema, come il nome della colonna, la lunghezza, il tipo di dati e il nullable, in base a questi primi 1000 record nei file in IBM Cloud Object Storage, Amazon S3, Google Cloud Storage, Azure File Storage, Azure Blob Storage, o il servizio Azure Data Lake. Ad esempio, il Browser asset potrebbe identificare una colonna come un numero intero in base a quanto rilevato nei primi 1000 record, tuttavia, i record successivi nel file potrebbero mostrare che questa colonna deve essere trattata come tipo di dati varchar . Allo stesso modo, il Browser asset potrebbe dedurre una colonna come varchar(20) anche se i record successivi mostrano che la colonna deve essere varchar(100).

Error: CDICO9999E: Internal error occurred: Illegal 
state error: INTEGER(32,false) can only annotate INT32.

Risoluzione: È necessario utilizzare i tipi di dati supportati.

È possibile che si verifichi questo errore durante l'esecuzione dell'aggiornamento di Cloud Pak for Data da 5.0.0 a 5.0.1 L'aggiornamento non riesce nelle nuove attività di aggiornamento per le istanze remote.

È possibile che si verifichi un timeout durante la compilazione dei flussi che contengono lo stadio trasformatore.

-c -O -fPIC -Wno-deprecated -m64 -mtune=generic -mcmodel=small

-c -O0 -fPIC -Wno-deprecated -m64 -mtune=generic -mcmodel=small

Se si crea una tabella in un database MySQL senza specificare una chiave primaria nella colonna WHERE e si tenta di eseguire un job che utilizza tale tabella con la modalità di scrittura Aggiorna per la destinazione, il job potrebbe non riuscire.

Soluzione: specificare un nome chiave primaria nel campo Nomi colonna chiave . Se la tabella è grande e non ha una colonna primaria, è possibile creare una colonna separata con valori di incremento automatico da utilizzare come chiave primaria.

Quando si esegue un lavoro che utilizza dati da un'origine dati FTP, la directory home o di login viene anteposto al percorso specificato. Questa azione si verifica indipendentemente se si specifica un percorso assoluto (con una barra iniziale) o un percorso relativo (senza una barra iniziale). Ad esempio, se si specifica la directory come /tmp/SampleData.txt, il percorso si risolve in /home/username/tmp/SampleData.txt.

Soluzione temporanea: modificare il Nome file nel connettore FTP. Specificare il percorso assoluto del file di origine o di destinazione.

I lavori potrebbero non riuscire con l'errore "Il connettore non è stato in grado di stabilire una connessione al database Db2 ".

Soluzione temporanea: passare alle proprietà di connessione e impostare la proprietà Opzioni su connectTimeout=0.

Se il tuo flusso include i dati di origine da SAP OData, il flusso potrebbe non riuscire se hai creato il flusso aggiungendo manualmente le colonne che non seguono la convenzione di denominazione SAP .

Soluzione temporanea: aggiornare il flusso aggiungendo o aggiungendo le colonne con il browser Asset o ridenominando le colonne in base alla convenzione di denominazione SAP . La convenzione di denominazione SAP segue la gerarchia di oggetti SAP con due caratteri di sottolineatura (__) come separatore. Ad esempio, se la colonna PurchaseOrder appartiene a Ordine d'acquistoNota, il nome della colonna deve essere specificato come PurchaseOrderNote__PurchaseOrder.

Se i dati provengono da Apache Hive versione 2.0 o precedente e il flusso DataStage esegue le istruzioni UPDATE o DELETE, il lavoro potrebbe non riuscire. Assicurarsi che la tabella di destinazione sia stata creata in base ai requisiti delle transazioni Hive e che il server Apache Hive sia configurato per supportare le operazioni ACID.

La serie minima di parametri (configurati nel file hive-site.xml ) che è necessario abilitare per le tabelle ACID in Apache Hive è:

hive.support.concurrency = true
hive.enforce.bucketing = true (not required as of Hive 2.0)
hive.exec.dynamic.partition.mode = nonstrict
hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

hive.compactor.initiator.on = true
hive.compactor.worker.threads = <a positive number>

Per ulteriori informazioni, consultare Hive Transactions.

Se si utilizza un certificato SSL nella connessione IBM Db2 per DataStage e la connessione ha esito negativo con un errore "Codice di errore specifico del protocollo 414", utilizzare questa soluzione temporanea:

1. Identificare il certificato root sul server Db2 . È possibile utilizzare questo comando per visualizzare la catena di certificati:

   openssl s_client -connect <hostname>:<port> -showcerts

2. Verificare che il certificato abbia lo stesso oggetto e emittente.
3. Nella pagina Crea connessione: IBM IBM Db2 per DataStage , immettere il certificato root nel campo Certificato SSL (arm) .

Quando la proprietà Metodo di autenticazione viene impostata sulle credenziali del servizio (frammento JSON completo), non parametrizzare il campo Credenziali del servizio . Se viene fornito un parametro per quel campo, il flusso non verrà compilato.

Il PostgreSQL connettore potrebbe non funzionare con un errore di timeout quando si utilizza una tabella di grandi dimensioni (oltre 100.000 righe) come sorgente. Per correggere questo errore, provare ad impostare un valore di timeout superiore per la variabile di ambiente APT_RECORD_TIMEOUT. Vedere Gestione delle variabili d'ambiente in DataStage.

Quando si usa il connettore HTTP per scaricare un file e poi caricare lo stesso file in IBM Cloud Object Storage o in un database, se lo schema del file cambia nel tempo, il lavoro potrebbe fallire.

Soluzione temporanea: creare nuovamente la fase.