Migración y construcción de flujos de conducto para DataStage
Los pasos y limitaciones siguientes se aplican a los flujos y trabajos de secuencia migrados que se construyen directamente con el lienzo de interconexión.
Flujos migrados
Para obtener más información sobre cada componente, consulte Componentes de canalización para DataStage.
- Esperar un archivo
- Vuelva a seleccionar o configure manualmente la vía de acceso del archivo. Como nodo ayudante para el bucle cruzado, el valor de tiempo de espera predeterminado es 23:59:59. Actualice manualmente el valor o establézcalo en 00:00:00 para que no haya tiempo de espera.
- Esperar a todos
- Sustituye la condición Secuenciador (todos) y anidada.
- Esperar a cualquiera
- Sustituye Sequencer (cualquiera).
- Finalizar interconexión
- Sustituye a Terminator.
- Bucle en secuencia
- Sustituye el bucle de inicio/finalización.
- Ejecutar trabajo de DataStage
- Sustituye a la actividad Job para los trabajos paralelos.
- Ejecutar trabajo de canalizaciones
- Sustituye a la actividad Trabajo para los trabajos de secuencia. Para obtener información, consulte la tarea Ejecutar pipelines.
- Ejecutar script Bash
- Debe sustituir las comillas simples alrededor de las variables de entorno por comillas dobles para que no se traten como literales de serie.
- Establecer variables de usuario
- Sustituye la variable de usuario. Las variables de usuario se definen a nivel global. Para obtener más información, consulte Configuración de objetos globales para Orchestration Pipelines.
- Manejo de errores
- Sustituye el manejador de excepciones.
- Problemas generales de interconexión
- Las funciones no soportadas devuelven "1" o "no soportadas".
- Cuando se accede a nodos externos dentro de un manejador de bucles o excepciones, la migración añade un nodo Establecer variables de usuario adicional.
Cuando la interconexión principal tiene un nodo de manejador de excepciones o cuando un nodo de bucle tiene enlaces que apuntan a la interconexión principal, la migración crea nodos adicionales y un parámetro local,
MigrationTempFolder. Se crea un nodo de script Ejecutar Bash dentro del manejador de bucles o excepciones. Este nodo crea un archivo de enlace bajo la vía de acceso montada que se proporciona enMigrationTempFolder, que debe incluir un/al final. Fuera del manejador de bucle o excepción, se crea un nodo Esperar archivo que espera a que se cree el archivo de enlace. Si la ruta montada es incorrecta, el nodo esperará 24 horas. Otro nodo de script Ejecutar Bash suprime el archivo de enlace posteriormente.- Cuando se selecciona Manejar automáticamente las actividades que fallan , todos los nodos de ejecución migrados se establecerán en Anomalía en error de interconexión, a menos que se haya definido una condición en un enlace para cuando se genere un error. Si se ha definido una condición o no se ha definido Manejar automáticamente las actividades que fallan , los nodos se establecerán en Continuar interconexión en caso de error.
- Durante la migración, todos los trabajos paralelos y secuenciales junto con todas sus dependencias deben incluirse en el archivo ISX. Si un trabajo de secuencia depende de otro trabajo de secuencia, pero el trabajo de secuencia dependiente no está incluido en el archivo ISX migrado, la migración marca el trabajo dependiente como nodo Ejecutar DataStage en lugar de nodo Ejecutar trabajo de canalización. Además, la migración crea nodos adicionales para cualquier parámetro que falte.
- Si la opción Añadir puntos de comprobación para que la secuencia se pueda reiniciar en caso de fallo se establece en un nivel de trabajo de secuencia, el trabajo migra con el método de almacenamiento en caché Habilitar almacenamiento en caché para nodos específicos en el panel de propiedades de nodo. En la sección de uso de la caché, la migración también establece la opción Usar caché cuando se cumplan todas las condiciones seleccionadas como opción predeterminada en la que se establecen tanto Reintentar desde una ejecución anterior fallida como La versión de la tubería no ha cambiado desde la ejecución anterior. Si no activa la ejecución de puntos de comprobación para su trabajo a nivel de nodo, la migración crea una caché de datos en el nodo seleccionado. Para obtener más información sobre las memorias caché de los nodos, consulte Gestionar la configuración predeterminada.
- Para compartir la salida de rutina a través de diferentes subcanales, el nodo de actividad de rutina migra como un nodo de script Run Bash más un nodo de variables de usuario Set. El nodo Run Bash genera un script de marcador de posición que se puede actualizar.
- Si un flujo contiene referencias a los parámetros o conjuntos de parámetros que faltan, la migración crea un nodo de script Bash adicional antes del nodo que hace referencia a los parámetros que faltan, y muestra un mensaje de error (
unbound_reference_warning) en una importación de flujo. El nombre del nodo insertado comienza pornode. El nodo de script Bash genera un script de marcador de posición y añade los parámetros que faltan como salida del nodo. El nodo con la referencia de parámetro que falta se actualiza entonces para llamar a la salida del nodo de script Bash.
Establecer y obtener estado de usuario
Para establecer el estado del usuario en un trabajo DataStage, puede llamar a la función incorporada SetUserStatus desde el generador de expresiones en la etapa Transformer. Cuando se va a Triggers en el Transformador y se llama a SetUserStatus, no se puede utilizar en derivaciones de columnas de entrada.
Para obtener el estado en una canalización que llama al trabajo DataStage con un nodo de trabajo Ejecutar DataStage, puede utilizar la función incorporada ds.GetUserStatus(tasks.<node name>) con el nombre del nodo de trabajo Run DataStage. También puede acceder a él en los resultados del trabajo con tasks. < nombre nodo > .user_status. Para establecer el estado de usuario en un conducto, debe añadirlo como una variable con el nodo Establecer variables de usuario y seleccionar Hacer que el valor de variable de usuario esté disponible como resultado de un conducto, lo que lo convierte en un parámetro de salida al que pueden acceder otras interconexiones. Otra interconexión puede utilizar un nodo Ejecutar trabajo de interconexión para llamar a la interconexión que establece el estado de usuario y, a continuación, obtener el estado de usuario utilizando tasks. < nombre de nodo >.results.output_parameters. < nombre de parámetro de estado de usuario >.
Si SetUserStatus se llama en una canalización hija, migración crea una variable de usuario global llamada user_status y selecciona la opción Hacer que el valor de la variable de usuario esté disponible como resultado de la canalización. En la canalización padre, también sustituye la expresión que obtiene el estado de la canalización hija, .$UserStatus, por tasks.results.output_parameters.user_status.
Flujos construidos
- Ejecutar trabajo de DataStage
- La variable de entorno
DSJobRunEnvironmentNameespecifica el entorno de ejecución para DataStage trabajos. Puede agregar la variable de entornoDSJobRunEnvironmentNameal nodo de trabajo Ejecutar DataStage para anular el entorno de ejecución predeterminado que se establece a nivel de proyecto o de trabajo para una ejecución específica. - Ejecutar script Bash
- Las sentencias echo deben utilizar comillas dobles para acceder al valor de una variable. Por ejemplo,
echo "variablename"sustituirá "variablename" por el valor de la variable.echo 'variablename'sólo hará eco del nombre de la variable.