Un flujo de DataStage® consta de etapas que están enlazadas entre sí, que describen el flujo de datos de un origen de datos a un destino de datos. Una etapa describe un origen de datos, un paso de proceso o un sistema de destino. La etapa también define la lógica de proceso que mueve los datos desde los enlaces de entrada a los enlaces de salida.
Funciones de etapa
Una etapa normalmente tiene al menos una entrada de datos o una salida de datos. Sin embargo, algunas etapas pueden aceptar más de una entrada de datos, y una salida en más de una etapa. La tabla siguiente lista las etapas disponibles y proporciona detalles sobre sus funciones:
Etapa | Icono | Función |
---|---|---|
Aggregator | Clasifica datos de entrada en grupos, calcula totales y otras funciones de resumen para cada grupo y lo pasa a otra etapa de trabajo. | |
Bloom Filter | Busca claves entrantes en relación con valores anteriores. | |
Change Apply | Aplica operaciones de cambio codificadas a un conjunto de datos anterior basado en un conjunto de datos modificado. Los conjuntos de datos anteriores y posteriores proceden de la etapa Capturar cambio. | |
Change Capture | Compara dos conjuntos de datos y crea un registro de las diferencias. | |
Checksum | Genera un valor de suma de comprobación a partir de las columnas especificadas en una fila y añade la suma de comprobación a la fila. | |
Column Export | Exporta datos de un número de columnas de distintos tipos de datos a una sola columna de tipos de datos ustring, string o binary. | |
Column Generator | Añade columnas a los datos de entrada y genera datos falsos para estas columnas para cada fila de datos procesada. | |
Column Import | Esta etapa importa datos de una sola columna y genera la salida para una o varias columnas. | |
Combine Records | Combina registros en los que determinados valores de columna de clave son idénticos en vectores de subregistros. | |
Compare | Realiza una comparación de columnas por columna de registros en dos conjuntos de datos de entrada preseleccionados. | |
Compress | Utiliza el programa de utilidad compress o GZIP de UNIX para comprimir un conjunto de datos. Convierte un conjunto de datos de una secuencia de registros en una secuencia de datos binarios sin formato. | |
Copy | Copia un único conjunto de datos de entrada en numerosos conjuntos de datos de salida. | |
Decode | Descodifica un conjunto de datos utilizando un mandato de descodificación UNIX que proporcione. | |
Difference | Realiza una comparación registro por registro de dos conjuntos de datos de entrada, que son distintas versiones del mismo conjunto de datos. | |
Distributed Transaction | Ejecuta transacciones en varios orígenes de datos. | |
Encode | Codifica un conjunto de datos utilizando un mandato de codificación UNIX que proporcione. | |
Expand | Utiliza el programa de utilidad uncompress o GZIP de UNIX para expandir un conjunto de datos. Vuelve a convertir un conjunto de datos previamente comprimido en una secuencia de registros a partir de una secuencia de datos binarios sin formato. | |
External Filter | Permite especificar un mandato de UNIX que actúa como un filtro sobre los datos que se están procesando. | |
Filter | Transfiere, sin modificar, los registros del conjunto de datos de entrada que satisfacen los requisitos que especifique y filtra todos los demás registros. | |
Funnel | Copia múltiples conjuntos de datos de entrada en un único conjunto de datos de salida. | |
Generic | Incorpora un operador de Orchestrate ® en su trabajo. | |
Head | Selecciona el primer N registro de cada partición de un conjunto de datos de entrada y copia los registros seleccionados en un conjunto de datos de salida. | |
Join | Realiza operaciones de unión en dos o varios conjuntos de datos de entrada en la etapa y, a continuación, genera el conjunto de datos resultante. | |
Lookup | Se utiliza para realizar operaciones de búsqueda en un conjunto de datos leído en la memoria desde cualquier otra etapa de trabajo paralelo que pueda emitir datos o que esté suministrada por una de las etapas de base de datos que soportan enlaces de salida de referencia. También puede realizar una búsqueda en una tabla de búsqueda contenida en una etapa Conjunto de archivos de búsqueda. | |
Make Subrecords | Combina los vectores especificados de un conjunto de datos de entrada en un vector de subregistros cuyas columnas tienen los nombres y tipos de datos de los vectores originales. | |
Make Vector | Combina las columnas especificadas de un registro de datos de entrada en un vector de columnas. | |
Merge | Combina un conjunto de datos maestro con uno o varios conjuntos de datos de actualización ordenados. | |
Modify | Altera el esquema del registro de su conjunto de datos de entrada. | |
Peek | Imprime valores de columna de registro en el registro de trabajo o en un enlace de salida independiente a medida que la etapa copia registros de sus datos de entrada establecidos en uno o más conjuntos de datos de salida. | |
Pivot Enterprise | La etapa Pivot Enterprise es una etapa de proceso que gira los datos horizontal y verticalmente. El giro horizontal correlaciona un conjunto de columnas en una fila de entrada con una sola columna en varias filas de salida. El giro vertical correlaciona un conjunto de filas en los datos de entrada con columnas de salida individuales o múltiples. |
|
Promote Subrecords | Promociona las columnas de un subregistro de entrada a columnas de nivel superior. | |
Remove Duplicates | Toma un único conjunto de datos ordenado como entrada, elimina todos los registros duplicados y graba los resultados en un conjunto de datos de salida. | |
Row Generator | Genera un conjunto de datos de simulación que se ajustan a los metadatos especificados. | |
Sample | Muestrea un conjunto de datos de entrada. | |
Slowly Changing Dimension (SCD) | Funciona en el contexto de una base de datos de esquema en estrella para almacenar y gestionar datos actuales e históricos a lo largo del tiempo. | |
Sort | Ordena columnas de entrada. | |
Split Subrecord | Separa un campo de subregistro de entrada en un conjunto de columnas de vector de nivel superior. | |
Split Vector | Promociona los elementos de un vector de longitud fija a un conjunto de columnas de nivel superior denominadas de forma parecida. | |
Surrogate Key Generator stage | Genera columnas de claves sucedáneas y mantiene el origen de clave. | |
Switch | Toma un único conjunto de datos como entrada y asigna cada registro de entrada a un conjunto de datos de salida basado en el valor de un campo de selector. | |
Tail | Selecciona los últimos N registros de cada partición de un conjunto de datos de entrada y copia los registros seleccionados en un conjunto de datos de salida. | |
Transformer | Maneja datos extraídos, realiza las conversiones necesarias y pasa datos a otra etapa activa o a una etapa que graba datos en una base de datos o archivo de destino. | |
Wave Generator | Supervisa una secuencia de datos e inserta marcadores de fin de ola donde sea necesario. | |
Web Service | Accede a operaciones de servicio web dentro de un flujo o trabajo de DataStage . | |
Write Range Map | Graba datos en un mapa de rango. La etapa puede tener un único enlace de entrada. |
Vea esta serie de vídeos para ver cómo utilizar las etapas más comunes.