Go back to the English version of the documentationOpenLineage 连接
OpenLineage 连接
Last updated: 2024年12月13日
要访问 "OpenLineage,中的数据，请为其创建一个连接资产。
OpenLineage是一个开放式框架，可用于收集和分析数据脉络。
创建与OpenLineage的连接
要创建连接资产，需要以下连接详细信息：
- 主机名或 IP 地址
- 端口号
根据您在平台中的位置选择创建连接的方法
- 在项目中
- 单击资产 > 新资产 > 连接到数据源。 请参阅将连接添加到项目。
- 在目录中
- 单击添加到目录 > 连接。 请参阅将连接资产添加到目录中。
- 在平台资产目录中
- 单击新建连接。 请参阅添加平台连接。
下一步：从连接添加数据资产
- 请参阅通过项目中的连接添加数据。
- 请参阅从目录中的连接添加数据。
您可以在何处使用此连接
您可以在以下工作区和工具中使用OpenLineage连接：
项目
- Metadata import (IBM Knowledge Catalog)
目录
- Platform assets catalog
- 其他目录IBM Knowledge Catalog
数据沿袭
- Metadata import (lineage)IBM Knowledge Catalog和IBM Manta Data Lineage
为OpenLineage配置世系元数据导入
为OpenLineage连接创建元数据导入时，可以设置该数据源的特定选项，并定义生成行式的数据范围。 有关元数据导入的详细信息，请参阅设计元数据导入。
要为 "OpenLineage,导入世系元数据，请完成以下步骤：
- 创建数据源定义。 选择OpenLineage作为数据源类型。
- 在项目中创建与数据源的连接。
- 创建元数据导入。 了解OpenLineage数据源专用选项的更多信息：
包含和排除列表
您可以在OpenLineage事件中使用任务命名空间来包含或排除资产。 整个输入将作为正则表达式进行评估。 示例值：
myPrestoApp1Namespace：带有工作命名空间的所有事件 "myPrestoApp1Namespace.mySparkApp[1-5]Namespace：工作名称空间以 "mySparkApp1Namespace开头并以 1 到 5 之间的数字结尾的所有事件。
外部输入
您可以将 OpenLineage 事件添加为外部输入。 文件结构如下
<event_file_name>.json
父主题： 支持的连接