Para acceder a sus datos en OpenLineage, cree un activo de conexión para ello.
OpenLineage es un marco abierto que puede utilizarse para recopilar y analizar el linaje de datos.
Crear una conexión con OpenLineage
Para crear el activo de conexión, necesita los siguientes datos de conexión:
- Nombre de host o dirección IP
- Número de puerto
Elija el método para crear una conexión basada en el lugar en el que se encuentra en la plataforma
- En un proyecto
- Haga clic en Activos > Nuevo activo > Conectar a una fuente de datos. Consulte Adición de una conexión a un proyecto.
- En un catálogo
- Pulse Añadir al catálogo > Conexión. Consulte Adición de un activo de conexión a un catálogo.
- En el catálogo de activos de la plataforma
- Pulse Nueva conexión. Consulte Adición de conexiones de plataforma.
Paso siguiente: Añadir activos de datos desde la conexión
Dónde puede utilizar esta conexión
Puede utilizar la conexión OpenLineage en los siguientes espacios de trabajo y herramientas:
Proyectos
- Metadata import (IBM Knowledge Catalog)
Catálogos
- Platform assets catalog
- Otros catálogosIBM Knowledge Catalog)
Linaje de datos
- Metadata import (lineage)IBM Knowledge Catalog e IBM Manta Data Lineage)
Configuración de la importación de metadatos de linaje para OpenLineage
Al crear una importación de metadatos para la conexión OpenLineage, puede establecer opciones específicas para esta fuente de datos y definir el alcance de los datos para los que se genera el linaje. Para obtener más información sobre la importación de metadatos, consulte Diseño de importaciones de metadatos.
Para importar metadatos de linaje para OpenLineage, siga estos pasos:
- Crear una definición de fuente de datos. Seleccione OpenLineage como tipo de fuente de datos.
- Crear una conexión con la fuente de datos en un proyecto.
- Crear una importación de metadatos. Más información sobre las opciones específicas de la fuente de datos OpenLineage:
- Al definir un ámbito, puede analizar toda la fuente de datos o utilizar las opciones de inclusión y exclusión para definir los espacios de nombres de trabajos exactos que desea analizar. Véase Listas de inclusión y exclusión.
- Opcionalmente, puede proporcionar una entrada externa. Añada este archivo en el campo Añadir entradas desde archivo. El archivo debe tener una estructura compatible. Véase Entradas externas.
Listas de inclusión y exclusión
Puede incluir o excluir activos utilizando espacios de nombres de trabajos en los eventos de OpenLineage. Toda la entrada se evalúa como una expresión regular. Valores de ejemplo:
- '
myPrestoApp1Namespace: todos los eventos con namespace de trabajo 'myPrestoApp1Namespace. mySparkApp[1-5]Namespace: todos los eventos con espacio de nombre de trabajo que comienza con 'mySparkApp1Namespacey termina con un dígito entre 1 y 5.
Entradas externas
Puede añadir eventos de OpenLineage como entradas externas. El fichero puede tener la siguiente estructura:
<event_file_name>.json
Tema principal: Conexiones soportadas