Etapa embudo en DataStage

La etapa Canalización copia varios conjuntos de datos de entrada en un único conjunto de datos de salida. Puede utilizar esta operación para combinar conjuntos de datos separados en un único conjunto de datos grande.

La etapa Canalización es una etapa de proceso. Puede tener un número cualquiera de enlaces de entrada y un único enlace de salida.

La etapa Canalización puede operar con tres modalidades:

• Canalización continua combina los registros de los datos de entrada en un orden no garantizado. Utiliza un registro de cada enlace de entrada sucesivamente. Si no hay datos disponibles en un enlace de entrada, la etapa pasa al siguiente enlace en lugar de esperar.
• Canalización ordenada combina los registros de entrada en el orden definido por el valor o los valores de una o varias columnas de clave, y el orden de los registros de salida viene determinado por estas claves de ordenación.
• Secuencia copia todos los registros del primer conjunto de datos de entrada en el conjunto de datos de salida, a continuación, todos los registros del segundo conjunto de datos de entrada, y así sucesivamente.

Para todos los métodos, los metadatos de todos los conjuntos de datos de entrada deben ser idénticos.

El método de embudo de ordenación tiene algunos requisitos particulares sobre sus datos de entrada. Todos los conjuntos de datos de entrada deben clasificarse por las mismas columnas de clave que se van a utilizar en la operación de canalización.

Normalmente, todos los conjuntos de datos de entrada de una operación de canalización de ordenación se particionan con hash antes de ordenarse. El particionamiento de hash garantiza que todos los registros con los mismos valores de columna de clave estén en la misma partición y se procesen en el mismo nodo. Si la ordenación y el particionamiento se realizan en fases diferentes antes de la etapa Canalización, este particionamiento debe conservarse.

La operación sortfunnel permite establecer una clave primaria y varias claves secundarias. La etapa Canalización primero examina la clave primaria en cada registro de entrada. Para varios registros con el mismo valor de clave primaria, examina las claves secundarias para determinar el orden de registros que generará.

El editor de etapas tiene tres separadores:

• Etapa. Siempre está presente y se utiliza para especificar información general sobre la etapa.
• Entrada. Aquí es donde se especifican los detalles sobre los conjuntos de datos que se están uniendo.
• Salida. Aquí es donde se especifican los detalles sobre los datos unidos que se están generando desde la etapa.

Vea el siguiente vídeo para ver un ejemplo de cómo trabajar con la etapa Funnel de DataStage® .

Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.

Pestaña Entrada

La sección Columnas especifica las definiciones de columna de los datos de entrada. La sección Avanzado permite cambiar los valores de almacenamiento intermedio predeterminados para el enlace de entrada.

Pestaña Salida

La sección Columnas especifica las definiciones de columna de los datos. La sección de columna Correlaciones de entrada de columna que aparece al pulsar Editar en la sección de columnas permite especificar la relación entre las columnas de entrada en la etapa Canalización y las columnas de salida. La sección Avanzado permite cambiar los valores de almacenamiento intermedio predeterminados de los enlaces de salida.

Salida de correlación

La lista desplegable muestra los enlaces de salida. Son de solo lectura y no se pueden modificar en esta pestaña. Es un requisito de la etapa Canalización que todos los enlaces de entrada tengan metadatos idénticos, por lo que sólo se muestra un conjunto de definiciones de columna.

La sección de columna Correlaciones de entrada de columna que aparece al pulsar Editar en la sección de columnas permite especificar la relación entre las columnas de entrada en la etapa Canalización y las columnas de salida.