Cambio lento del escenario Dimensión en DataStage
La etapa SCD (Slowly Changing Dimension) es una etapa de proceso que funciona en el contexto de la base de datos de esquema de estrella. La etapa SCD tiene un único enlace de entrada, un único enlace de salida, un enlace de referencia de dimensión y un enlace de actualización de dimensión.
La etapa SCD lee los datos de origen en el enlace de entrada, realiza una búsqueda de la tabla de dimensiones en el enlace de referencia y escribe los datos en el enlace de salida. El enlace de salida puede pasar datos a otra etapa SCD, a un tipo de diferente de etapa de proceso o a una tabla de hechos. El enlace de actualización de dimensión es un enlace de salida separado que transporta los cambios a la dimensión. Puede realizar estos pasos en un trabajo individual o en una serie de trabajos, en función del número de dimensiones de su base de datos y sus requisitos de rendimiento.
Las etapas SCD admiten tanto el procesamiento SCD Tipo 1 como SCD Tipo 2:
- SCD Tipo 1
- Sobrescribe un atributo en una tabla de dimensiones.
- SCD Tipo 2
- Añade una fila a una tabla de dimensiones.
Cada etapa SCD procesa una única dimensión y realiza búsquedas mediante una técnica de comparación de igualdades. Si la dimensión es una tabla de base de datos, la etapa lee la base de datos para construir una tabla de consulta en memoria. Si se encuentra una coincidencia, la etapa SCD actualiza las filas de la tabla de dimensiones para reflejar los datos modificados. Si no se encuentra ninguna coincidencia, la etapa crea una nueva fila en la tabla de dimensiones. Todas las columnas necesarias para crear una nueva fila de dimensión deben estar presentes en los datos de origen.
Los datos de entrada a las etapas del SCD deben representar con exactitud el orden en que se produjeron los acontecimientos. Puede que necesite preclasificar los datos de entrada por un número de secuencia o un campo de fecha. Si un trabajo tiene varias etapas SCD, debe asegurarse de que el orden de clasificación de los datos de entrada es correcto para cada etapa.
Si la etapa SCD se ejecuta en paralelo, los datos de entrada deben estar divididos en hash por clave. La partición Hash permite que todos los registros con la misma clave de negocio sean tratados por el mismo proceso. La etapa SCD divide la tabla de dimensiones entre los procesos mediante la creación de una tabla de consulta independiente para cada proceso.