Microsoft Azure Configuración del linaje de Databricks

Modalidad de conexión

Puede conectarse a Microsoft Azure Databricks utilizando uno de los siguientes modos de conexión:

• Conexión directa
• Conexión remota con un agente de Manta. Cuando un agente esté configurado, selecciónelo en la lista. Para obtener más información, consulte Configuración de agentes para la importación de metadatos de linaje.

Listas de inclusión y exclusión

Puede incluir o excluir activos hasta el nivel de esquema. Proporcione catálogos y esquemas en el formato catálogo/esquema. Cada parte se evalúa como una expresión regular. Los activos que se añadan posteriormente en la fuente de datos también se incluirán o excluirán si cumplen las condiciones especificadas en las listas. Valores de ejemplo:

• myCatalog/: todos los esquemas en myCatalog,
• myCatalog/.*: todos los esquemas en myCatalog,
• myCatalog3/mySchema1: mySchema1 de myCatalog3,
• myCatalog4/mySchema[1-5]: cualquier esquema en mi myCatalog4 con un nombre que empiece por mySchema y termine con un dígito entre 1 y 5

Entradas externas

Si utilizas archivos dll externos de Microsoft Azure Databricks, puedes añadirlos en un archivo.zip como entrada externa. Puede organizar la estructura del archivo.zip como la carpeta dll con subcarpetas o archivos que representen la estructura del espacio de trabajo. El archivo.zip puede tener la siguiente estructura:

<dll>
    <catalog_name_folder>
      <schema_name_folder>
        <tables>
          <table_name.sql>
        <views>
          <view_name.sql>

Opciones avanzadas de importación

Mostrar el linaje de la tabla

Generar bordes entre tablas para las que no se ha encontrado la información de linaje a nivel de columna.