Snowflake configuración del linaje
Para importar metadatos de linaje desde Snowflake, cree una conexión, una definición de fuente de datos y un trabajo de importación de metadatos.
Para importar metadatos de linaje para Snowflake, siga estos pasos:
- Crear una definición de fuente de datos.
- Crear una conexión con la fuente de datos en un proyecto.
- Crear una importación de metadatos.
Creación de una definición de fuente de datos
Crear una definición de fuente de datos. Seleccione Snowflake como tipo de fuente de datos.
Crear una conexión con Snowflake
Crear una conexión con la fuente de datos en un proyecto. Para más detalles sobre la conexión, consulte Snowflake connection.
Creación de una importación de metadatos
Crear una importación de metadatos. Más información sobre las opciones específicas de la fuente de datos Snowflake :
Listas de inclusión y exclusión
Puede incluir o excluir activos hasta el nivel de esquema. Proporcione bases de datos y esquemas en el formato base de datos/esquema. Cada parte se evalúa como una expresión regular. Los activos que se añadan posteriormente en la fuente de datos también se incluirán o excluirán si cumplen las condiciones especificadas en las listas. Valores de ejemplo:
myDB/
: todos los esquemas de la base de datosmyDB
.myDB2/.*
: todos los esquemas de la base de datosmyDB2
.myDB3/mySchema1
:mySchema1
esquema de la base de datosmyDB3
.myDB4/mySchema[1-5]
: cualquier esquema de mi base de datosmyDB4
con un nombre que empiece pormySchema
y termine con un dígito entre 1 y 5.
Entradas externas
Si utiliza scripts SQL externos de Snowflake, puede añadirlos en un archivo.zip como entrada externa. Puede organizar la estructura de un archivo .zip como subcarpetas que representen bases de datos y esquemas. Una vez analizados los scripts, se añaden a las bases de datos correspondientes del catálogo o proyecto seleccionado. El archivo.zip puede tener la siguiente estructura:
<database_name>
<schema_name>
<script_name.sql>
<database_name>
<script_name.sql>
<script_name.sql>
replace.csv
El archivo replace.csv
contiene sustituciones de marcadores de posición para las secuencias de comandos que se añaden en el archivo.zip. Para obtener más información sobre el formato, consulte Sustitución de marcadores de posición.
Opciones avanzadas de importación
- Extracción de etapas de tabla
- Puede añadir una expresión regular para enumerar las etapas de la tabla de las que desea que se extraigan los archivos por etapas. Utilice un nombre completamente cualificado y especifique cada segmento entre comillas dobles. Deje el campo vacío si no desea extraer archivos por etapas de ninguna etapa de la tabla. Valor de ejemplo:
\\\"mydb\\\"\\.\\\"schema1\\\"\\.\\\".*\\\"|\\\"mydb\\\"\\.\\\"myschema\\\"\\.\\\"abc.*\\\
- Extracción de la lógica de transformación
- Puede habilitar la creación de descripciones de lógica de transformación a partir de código SQL en scripts SQL.
Más información
Tema principal: Conectores compatibles para la importación de linajes