Gestión de variables de entorno en DataStage

Nivel de proyecto

Nivel de flujo de DataStage

interfaz de línea de mandatos (CLI)

cpdctl dsjob run --job "TestSimpleJavaWriteJSON.DataStage job" --project Project2021 --wait 300 --param FILE_NAME=/ds-storage/output/MySales5k.json --env "\$CC_MSG_LEVEL"="1"

Para obtener más información, consulte Herramientas de línea de mandatos deDataStage.

Modificar reglas

Variables de entorno definidas por defecto

La siguiente lista contiene variables de entorno que están definidas por defecto.

APT_OLD_BOUNDED_LENGTH

• Cloud Pak for Data setting: APT_OLD_BOUNDED_LENGHT = true
• Cloud Pak for Data comportamiento: Se ha cambiado la forma en que PX maneja internamente las cadenas de longitud limitada y los campos sin procesar, pasando de tratar los campos como de longitud variable a longitud fija. Esto se hizo para mejorar el rendimiento del procesamiento de registros. Se establece en true para leer conjuntos de datos escritos en el antiguo formato de longitud variable.
• Configuración de comportamiento por defecto tradicional (11.7): APT_OLD_BOUNDED_LENGTH = false
• Comportamiento con la configuración Tradicional (11.7): No se pueden leer conjuntos de datos escritos en formato antiguo de longitud variable.

APT_THREAD_SAFE_FAST_ALLOC

• Cloud Pak for Data setting: APT_THREAD_SAFE_FAST_ALLOC = threadsafe
• Cloud Pak for Data comportamiento: La cadena de valores especifica el modo de roscado para los asignadores rápidos, que se utilizan para asignar objetos de uso común, como cadenas: 'threadsafe'. Las instancias de los asignadores rápidos se mantendrán dentro del almacenamiento específico de subprocesos.
• Configuración de comportamiento por defecto tradicional (11.7): APT_ THREAD_SAFE_FAST_ALLOC = legacy (o) false
• Comportamiento con la configuración Tradicional (11.7): Las instancias del asignador rápido se comparten entre hilos.

APT_DONT_ALLOW_DOUBLE_TSORT_COMBINE

• Cloud Pak for Data setting: APT_DONT_ALLOW_DOUBLE_TSORT_COMBINE = true
• Cloud Pak for Data comportamiento: Por defecto, el controlador de operadores combinados fusiona tantos operadores tsort como sea posible. Se define como true para que el operador combinado no fusione más de un operador tsort si el operador combinado va seguido de una etapa join en el flujo descendente. Esto se añade para evitar escenarios colgantes que implican etapas tsort-join.
• Configuración de comportamiento por defecto tradicional (11.7): APT_ DONT_ALLOW_DOUBLE_TSORT_COMBINE = false
• Comportamiento con la configuración Tradicional (11.7): El controlador de operadores combinados combina tantos operadores tsort como sea posible.

APT_SCRATCH_RESERVE_MB

• Cloud Pak for Data setting: APT_SCRATCH_RESERVE_MB = 10
• Cloud Pak for Data comportamiento: Operadores como sort o buffer usan disco scratch. Si hay un mínimo de espacio libre disponible en el disco scratch, éste se utiliza para crear archivos scratch. Si el espacio libre es inferior a los MB mínimos, se utiliza el siguiente disco de memoria virtual que cumpla los criterios de espacio libre mínimo. Se aplica cuando se definen varios discos de memoria virtual en APT_CONFIG_FILE.
• Configuración de comportamiento por defecto tradicional (11.7): APT_SCRATCH_RESERVE_MB = false
• Comportamiento con la configuración Tradicional (11.7): Se utiliza un espacio de reserva predeterminado de 2GB.

APT_DISABLE_JOBMON_SCHEMA_STRING

• Cloud Pak for Data setting: APT_DISABLE_JOBMON_SCHEMA_STRING = true
• Cloud Pak for Data comportamiento: Desactiva el envío de información de esquema en los mensajes linkstats al monitor de trabajos.
• Configuración de comportamiento por defecto tradicional (11.7): APT_DISABLE_JOBMON_SCHEMA_STRING = false
• Comportamiento con la configuración Tradicional (11.7): Envía información del esquema en linkstats. Actualmente Cloud Pak for Data no procesa la cadena de esquema de linkstats. La información del esquema puede desactivarse.

APT_DS_COMPRESSION

• Cloud Pak for Data setting: APT_DS_COMPRESSION = true
• Cloud Pak for Data comportamiento: La variable habilita la compresión para conjuntos de datos.
• Configuración de comportamiento por defecto tradicional (11.7): APT_DS_COMPRESSION = false
• Comportamiento con la configuración Tradicional (11.7): Los conjuntos de datos no se comprimen.

APT_IMPORT_FORCE_QUOTE_DELIM

• Cloud Pak for Data setting: APT_IMPORT_FORCE_QUOTE_DELIM = true
• Cloud Pak for Data comportamiento: Por defecto, la importación de campos entrecomillados busca un carácter de apertura y cierre de comillas. Si los datos del campo contienen el carácter de comilla, se asume incorrectamente que este carácter es el carácter de cierre de comilla. Esta variable de entorno hace que import sólo reconozca las comillas de cierre seguidas del carácter delimitador del campo. Este cambio permite que el campo contenga caracteres de comillas incrustados y se importe correctamente.
• Configuración de comportamiento por defecto tradicional (11.7): APT_IMPORT_FORCE_QUOTE_DELIM = false
• Comportamiento con la configuración Tradicional (11.7): La importación en campos con caracteres de comillas incrustados no importará el registro. Por defecto, se lanza una advertencia y se rechazan los registros.

APT_TSORT_SCRATCH_COMPRESSION

• Cloud Pak for Data setting: APT_TSORT_SCRATCH_COMPRESSION = true
• Cloud Pak for Data comportamiento: Los archivos scratch de Tsort se escriben en el disco en modo comprimido debido a la necesidad de ahorro de espacio.
• Configuración de comportamiento por defecto tradicional (11.7): APT_TSORT_SCRATCH_COMPRESSION = false
• Comportamiento con la configuración Tradicional (11.7): Los archivos scratch Tsort se escriben en disco sin compresión.

APT_DOWNGRADED_MESSAGES

• Cloud Pak for Data setting: APT_DOWNGRADED_MESSAGES = "Recogido JAVA_TOOL_OPTIONS:"
• Cloud Pak for Datacomportamiento: Convierte la gravedad de los mensajes de error o advertencia de orchestrate de salida en Informativa para el mensaje con la cadena "Recogió JAVA_TOOL_OPTIONS:".
• Configuración de comportamiento por defecto tradicional (11.7): APT_DOWNGRADED_MESSAGES = false
• Comportamiento con la configuración Tradicional (11.7): No se degradan los mensajes. Sin embargo, el usuario puede anularla con nuevos valores. El formato de esta variable es una lista de mensajes de error o advertencia completos o parciales que necesitan cambiar su gravedad para informar sin parte de marca de tiempo. Cada mensaje está separado por una cadena única - #?#.
• Ejemplo: APT_DOWNGRADED_MESSAGES = READ no se admite en el estado standby#?#IPv6 no se admite actualmente.

APT_IMPEXP_INFER_EOL_RECORD_DELIM

• Cloud Pak for Data setting: APT_IMPEXP_INFER_EOL_RECORD_DELIM = true
• Cloud Pak for Data comportamiento: La capa de importación de archivos secuenciales busca delimitadores de registro EOL de Windows cuando se establecen delimitadores de registro EOL de Unix, y permiten que el archivo se importe correctamente.
• Configuración de comportamiento por defecto tradicional (11.7): APT_IMPEXP_INFER_EOL_RECORD_DELIM = false
• Comportamiento con la configuración Tradicional (11.7): La capa de importación de archivos secuenciales sólo busca el delimitador de registro EOL establecido en las propiedades de importación.