資料の 英語版 に戻るOpenLineage接続
OpenLineage接続
最終更新: 2024年12月13日
OpenLineage,でデータにアクセスするには、接続アセットを作成します。
OpenLineageは、データ系統の収集と分析に使用できるオープンなフレームワークである。
OpenLineageへの接続を作成する
接続アセットを作成するには、以下の接続詳細が必要です:
- ホスト名または IP アドレス
- ポート番号
プラットフォーム内の場所に基づいて接続を作成する方法を選択してください
- プロジェクト内
- 資産] > [新規資産] > [データソースに接続 ] をクリックします。 プロジェクトへの接続の追加を参照してください。
- カタログ
- 「カタログに追加」>「接続」をクリックしてください。 接続アセットをカタログに追加する」を参照してください。
- Platform assets catalog
- 新規接続をクリックしてください。 プラットフォーム接続の追加を参照。
次のステップ: 接続からデータ資産を追加する
- プロジェクトでの接続からのデータの追加を参照してください。
- カタログ内の接続からのデータの追加を参照してください。
この接続を使用できる場所
OpenLineage接続は、以下のワークスペースやツールで使用できます:
プロジェクト
- Metadata import (IBM Knowledge Catalog)
カタログ
- Platform assets catalog
- その他のカタログIBM Knowledge Catalog)
データ・リネージュ
- Metadata import (lineage))IBM Knowledge CatalogおよびIBM Manta Data Lineage)
OpenLineage用のリネージメタデータインポートの設定
OpenLineage接続のメタデータ・インポートを作成する際に、このデータ・ソースに固有のオプションを設定し、リネージを生成するデータの範囲を定義することができます。 メタデータ・インポートの詳細については、メタデータ・インポートの設計を参照してください。
OpenLineage,のリネージメタデータをインポートするには、以下の手順を実行します:
- データソース定義を作成する。 データ・ソース・タイプとしてOpenLineageを選択します。
- プロジェクトのデータ・ソースへの接続を作成する。
- メタデータのインポートを作成する。 OpenLineageデータソース固有のオプションについては、こちらをご覧ください:
- スコープを定義する際、データ・ソース全体を分析することも、include および exclude オプションを使用して分析するジョブ・ネームスペースを正確に定義することもできます。 インクルード・リストと除外リストを参照。
- オプションで、外部入力を提供することもできる。 Add inputs from fileフィールドでこのファイルを追加する。 ファイルはサポートされている構造でなければならない。 外部入力を参照。
インクルードリストと除外リスト
OpenLineageイベントでジョブネームスペースを使用することで、アセットを含めたり除外したりできます。 入力全体が正規表現として評価される。 値の例:
myPrestoApp1Namespace
: ジョブの名前空間を持つすべてのイベント 'myPrestoApp1Namespace
.mySparkApp[1-5]Namespace
: 'mySparkApp1Namespace
で始まり、1〜5の数字で終わるジョブネームスペースを持つすべてのイベント。
外部入力
OpenLineageイベントを外部入力として追加できます。 ファイルは以下のような構造になっている:
<event_file_name>.json
親トピック: サポートされた接続