OpenLineage configuración del linaje
Para importar metadatos de linaje desde OpenLineage, cree una conexión, una definición de fuente de datos y un trabajo de importación de metadatos.
Para importar metadatos de linaje para OpenLineage,, siga estos pasos:
- Crear una definición de fuente de datos.
- Crear una conexión con la fuente de datos en un proyecto.
- Crear una importación de metadatos.
Creación de una definición de fuente de datos
Crear una definición de fuente de datos. Seleccione OpenLineage como tipo de fuente de datos.
Crear una conexión con OpenLineage
Crear una conexión con la fuente de datos en un proyecto. Para más detalles sobre la conexión, consulte OpenLineage connection.
Creación de una importación de metadatos
Crear una importación de metadatos. Más información sobre las opciones específicas de la fuente de datos OpenLineage :
Listas de inclusión y exclusión
Puede incluir o excluir activos utilizando espacios de nombres de trabajo en sucesos de OpenLineage. La entrada completa se evalúa como una expresión regular. Valores de ejemplo:
myPrestoApp1Namespace: todos los eventos con espacio de nombres de trabajomyPrestoApp1Namespace.mySparkApp[1-5]Namespace: todos los eventos con espacio de nombre de trabajo que empiece pormySparkApp1Namespacey termine con un dígito entre 1 y 5.
Entradas externas
Puede añadir eventos de OpenLineage como entradas externas. El fichero puede tener la siguiente estructura:
<event_file_name>.json
Más información
Tema principal: Conectores compatibles para la importación de linajes