Fusionar etapa en DataStage

La etapa Fusión une las tablas basándose en los valores de las columnas de clave. Puede tener un número cualquiera de enlaces de entrada, un solo enlace de salida y el mismo número de enlaces de rechazo que de enlaces de entrada de actualización.

Las tres etapas difieren principalmente en la memoria que utilizan, el tratamiento de filas con claves no coincidentes y en sus requisitos de entrada de datos (por ejemplo, si está ordenada).

La etapa Fusión combina un conjunto de datos maestros con uno o varios conjuntos de datos de actualización. Las columnas de los registros de los conjuntos de datos maestro y de actualización se fusionan, de forma que el registro de salida contiene todas las columnas del registro maestro más las columnas adicionales de cada registro de actualización que sean necesarias. Un registro maestro y un registro de actualización solo se fusionan si ambos tienen los mismos valores para las columnas de clave de fusión especificadas. Las columnas de clave de fusión son una o varias columnas que existen en los registros maestro y de actualización.

Los conjuntos de datos de entrada en la etapa Fusión deben estar particionados por clave y ordenados. Esto garantiza que las filas con los mismos valores de columna de clave estén en la misma partición y las procese el mismo nodo. También minimiza los requisitos de memoria porque es necesario que haya menos filas en la memoria al mismo tiempo. La elección del método de particionamiento automático garantiza que se realicen el particionamiento y la ordenación. Si la ordenación y el particionamiento se llevan a cabo en etapas separadas antes de la etapa Fusión, IBM® DataStage® en modalidad de partición automática detectará esto y no reparticionará (de forma alternativa, podría especificar explícitamente el método de particionamiento Igual).

Como parte del preprocesamiento de datos para la etapa Fusión, también debe eliminar los registros duplicados del conjunto de datos maestros. Si tiene más de un conjunto de datos de actualización, debe eliminar los registros duplicados de los conjuntos de datos de actualización. Consulte Etapa Eliminar duplicados (DataStage) para obtener información sobre la etapa Eliminar duplicados.

A diferencia de las etapas Unión y Búsqueda, la etapa Fusión permite especificar varios enlaces de rechazo. Puede direccionar las filas de enlace de actualización que no coincidan con ninguna fila maestra por un enlace de rechazo que sea específico de dicho enlace. Debe tener el mismo número de enlaces de rechazo que enlaces de actualización. La sección Orden de enlaces de la pestaña Etapa permite especificar qué enlaces de actualización envían filas rechazadas a qué enlaces de rechazo. También puede especificar si desea descartar las filas maestras no coincidentes o bien enviarlas al enlace de datos de salida.

El editor de etapas tiene tres separadores:

• Etapa. Siempre está presente y se utiliza para especificar información general sobre la etapa.
• Entrada. Aquí es donde se especifican los detalles sobre los conjuntos de datos que se están fusionando.
• Salida. Aquí es donde se especifican los detalles sobre los datos fusionados que se generan desde la etapa y sobre los enlaces de rechazo.