Componentes que componen un trabajo de DataStage
- Un flujo de DataStage
- Un entorno de ejecución
- Parámetros del trabajo
- Conjuntos de parámetros
Relaciones laborales
Los flujos de DataStage pueden tener una relación de uno a muchos con trabajos de DataStage . Puede utilizar un flujo de DataStage para crear varios trabajos.
Trabajos de varias instancias
Todos los trabajos de DataStage se pueden instanciar varias veces, lo que da como resultado varias ejecuciones de trabajos o invocaciones del mismo trabajo no modificado. No es necesario que espere a que un trabajo termine de enviar una nueva solicitud de ejecución de trabajo para ese trabajo. Puede enviar una nueva solicitud de ejecución de trabajo a través de la API REST, la línea de mandatos (cpdctl) o el panel de instrumentos Trabajos. También puede utilizar varias invocaciones del mismo trabajo para procesar distintos conjuntos de datos estableciendo distintos parámetros para cada ejecución. Cada ejecución de trabajo de DataStage tiene un ID de ejecución de trabajo.
El desarrollador que diseña el trabajo es responsable de asegurarse de que varias ejecuciones de trabajo no entren en conflicto entre sí. Por ejemplo, distintas invocaciones que se ejecutan simultáneamente pueden escribir en la misma tabla. Varias ejecuciones de un trabajo también pueden afectar negativamente al rendimiento del trabajo.
Puede establecer un valor DSJobInvocationId para que aparezca como "Nombre" de la ejecución del trabajo en el panel Trabajos, de modo que pueda encontrar una ejecución de trabajo concreta por su nombre. Puedes definir el DSJobInvocationId creando un parámetro o variable de entorno. Puede establecer el DSJobInvocationId desde un pipeline o cuando inicie el DataStage trabajo (con la línea de comandos, por ejemplo).
Puede especificar opcionalmente un nombre de ejecución de trabajo al ejecutar un flujo de canalización o un trabajo de canalización y ver las diferentes ejecuciones de trabajo en el panel Detalles del trabajo. De lo contrario, también puede asignar un parámetro local DSJobInvocationId
a un nodo Ejecutar trabajo de canalización o a un nodo Ejecutar DataStage (este último no está disponible para watsonx). Si se establecen tanto el parámetro DSJobInvocationId
como el nombre de ejecución de trabajo del nodo, se utilizará DSJobInvocationId
. Si no se establece ninguno, se utiliza el valor por defecto "ejecución de trabajo".
No es necesario crear el DSJobInvocationId para crear un trabajo multiinstancia.
Migrado DataStage los trabajos paralelos y secuenciales importan DSJobInvocationId como parámetro.
Las instancias de trabajo de DataStage que se invocan por separado son diferentes de las instancias que se generan al ejecutar un trabajo particionado entre varios procesadores. El particionamiento y la recopilación incorporados manejan la situación en la que varios procesos desean leer o escribir en el mismo origen de datos para trabajos particionados.
Creación de un trabajo desde el lienzo de diseño de DataStage
Para crear un DataStage trabajo directamente en DataStage, debe crear el trabajo desde DataStage el lienzo de diseño dentro de un DataStage flujo.
- Abra un flujo de DataStage .
- Opcional: pulse el icono Valores en la barra de herramientas para abrir la página Valores y especificar valores para el trabajo.
- Pulse Compilar para compilar el flujo de DataStage .
- Pulse Ejecutar para ejecutar el flujo de DataStage .
Se crea un trabajo y se ejecuta automáticamente. Una vez finalizada la ejecución, se lista en el separador Trabajos del proyecto en el que se encuentra el flujo de DataStage .
Creación de un trabajo a partir del nivel de proyecto
Puede crear un trabajo desde la pestaña Activos del proyecto.
- Seleccione un flujo de DataStage en la lista del separador Activos del proyecto. Elija Crear trabajo en el icono de menú con las listas de opciones
al final de la fila de la tabla.
- Defina los detalles del trabajo especificando un nombre y una descripción (opcional).
- Especifique los valores que desea para el trabajo.
- En la página Planificar , opcionalmente puede añadir una planificación única o repetitiva.
Si define un día y hora de inicio sin seleccionar Repetir, el trabajo se ejecutará exactamente una vez en el día y la hora especificados. Si define una fecha y hora de inicio y selecciona Repetir, el trabajo se ejecutará por primera vez en la indicación de fecha y hora que se indica en la sección Repetir.
No puede cambiar el huso horario; la planificación utiliza el valor de huso horario del navegador web. Si excluye ciertos días de la semana, el trabajo podría no funcionar como se espera. La razón puede deberse a una discrepancia entre el huso horario del usuario que crea la planificación y el huso horario del nodo de cálculo en el que se ejecuta el trabajo.
- Opcionalmente, está establecido para ver notificaciones del trabajo. Puede seleccionar el tipo de alertas que se han de recibir.
- Revise los valores del trabajo. A continuación, cree el trabajo y ejecútelo inmediatamente, o cree el trabajo y ejecútelo más tarde.
Crear un trabajo desde el programa de utilidad cpdctl dsjob de línea de mandatos
Puede crear un trabajo de DataStage utilizando un flujo de DataStage existente con el programa de utilidad de línea de mandatos cpdctl dsjob, cpdctl dsjob create-job
.
cpdctl dsjob create-job --project DataStageProjectName --flow DataStageFlowName \
--description "This is a test job created from command line" \
--schedule-start 2022-11-07 \
--schedule-end 2022-12-08 \
--repeat hourly
Ejecución de trabajos
Para ejecutar un trabajo manualmente, puede hacer clic en el icono de ejecución de la barra de herramientas en el DataStage lienzo de diseño. Puede iniciar un trabajo planificado basándose en la planificación y bajo demanda.
También puede ejecutar un trabajo manualmente pulsando el icono de ejecución en la barra de herramientas cuando esté viendo los detalles del trabajo para un trabajo determinado. Los trabajos se pueden planificar o se pueden ejecutar a petición. Además, los trabajos se pueden ejecutar utilizando la API o el programa de utilidad de línea de mandatos.
Gestión de trabajos
- Pulse el icono Editar filtros para filtrar por distintos criterios, como tipo de activo y planificación.
- Pulse el menú desplegable Trabajos situado junto al campo de búsqueda de trabajos para filtrar por criterios tales como trabajos con ejecuciones activas, ejecuciones activas, trabajos con ejecuciones finalizadas y ejecuciones finalizadas.
- Especifique información en el campo de búsqueda para buscar trabajos específicos.
Visualización de detalles de ejecución de trabajo y métricas de ejecución
Pulse un nombre de trabajo en la lista de trabajos para revisar la información de ejecución y los detalles. La página de detalles del trabajo también muestra el nombre de ejecución si se estableció mediante el parámetro DSJobInvocationId.
Puede seleccionar una ejecución determinada para un trabajo y revisar los detalles de la ejecución. Los detalles de ejecución incluyen la duración, las horas de inicio y finalización, el usuario que ha iniciado la ejecución, el trabajo asociado, el nombre de ejecución y el flujo de DataStage asociado. Se listan los valores y los valores de parámetro de tiempo de ejecución. También se muestra el registro de ejecución del trabajo para las ejecuciones. La indicación de fecha y hora que se muestra en el registro es la de la instancia del servidor px-runtime. No se convierte al entorno local del usuario mientras examina el registro.
Pulse Ejecutar métricas en los detalles de ejecución para ver las métricas de ejecución del trabajo. Ver un resumen de métricas para el flujo global o buscar enlaces y etapas específicos. Puede filtrar las métricas de ejecución en función del estado (en curso, anómalo o completado).
También puede acceder a las métricas de ejecución desde un flujo pulsando el botón Ejecutar métricas en la barra de herramientas del lienzo. Pulse un enlace o etapa de la lista de métricas para mover el foco al mismo en el lienzo.