0 / 0
資料の 英語版 に戻る
OpenLineage接続
最終更新: 2024年12月13日
OpenLineage接続

OpenLineage,でデータにアクセスするには、接続アセットを作成します。

OpenLineageは、データ系統の収集と分析に使用できるオープンなフレームワークである。

OpenLineageへの接続を作成する

接続アセットを作成するには、以下の接続詳細が必要です:

  • ホスト名または IP アドレス
  • ポート番号

プラットフォーム内の場所に基づいて接続を作成する方法を選択してください

プロジェクト内
資産] > [新規資産] > [データソースに接続 ] をクリックします。 プロジェクトへの接続の追加を参照してください。

カタログ
「カタログに追加」>「接続」をクリックしてください。 接続アセットをカタログに追加する」を参照してください。

Platform assets catalog
新規接続をクリックしてください。 プラットフォーム接続の追加を参照。

次のステップ: 接続からデータ資産を追加する

この接続を使用できる場所

OpenLineage接続は、以下のワークスペースやツールで使用できます:

プロジェクト

  • Metadata import (IBM Knowledge Catalog)

カタログ

  • Platform assets catalog
  • その他のカタログIBM Knowledge Catalog)

データ・リネージュ

  • Metadata import (lineage))IBM Knowledge CatalogおよびIBM Manta Data Lineage)

OpenLineage用のリネージメタデータインポートの設定

OpenLineage接続のメタデータ・インポートを作成する際に、このデータ・ソースに固有のオプションを設定し、リネージを生成するデータの範囲を定義することができます。 メタデータ・インポートの詳細については、メタデータ・インポートの設計を参照してください。

OpenLineage,のリネージメタデータをインポートするには、以下の手順を実行します:

  1. データソース定義を作成する。 データ・ソース・タイプとしてOpenLineageを選択します。
  2. プロジェクトのデータ・ソースへの接続を作成する
  3. メタデータのインポートを作成する。 OpenLineageデータソース固有のオプションについては、こちらをご覧ください:
    • スコープを定義する際、データ・ソース全体を分析することも、include および exclude オプションを使用して分析するジョブ・ネームスペースを正確に定義することもできます。 インクルード・リストと除外リストを参照。
    • オプションで、外部入力を提供することもできる。 Add inputs from fileフィールドでこのファイルを追加する。 ファイルはサポートされている構造でなければならない。 外部入力を参照。

インクルードリストと除外リスト

OpenLineageイベントでジョブネームスペースを使用することで、アセットを含めたり除外したりできます。 入力全体が正規表現として評価される。 値の例:

  • myPrestoApp1Namespace: ジョブの名前空間を持つすべてのイベント 'myPrestoApp1Namespace.
  • mySparkApp[1-5]Namespace: 'mySparkApp1Namespaceで始まり、1〜5の数字で終わるジョブネームスペースを持つすべてのイベント。

外部入力

OpenLineageイベントを外部入力として追加できます。 ファイルは以下のような構造になっている:

<event_file_name>.json

親トピック: サポートされた接続

生成 AI の検索と回答
これらの回答は、製品資料の内容に基づいて、 watsonx.ai のラージ言語モデルによって生成されます。 詳細