IBM DataStage Cloud Pak for Data リネージュ設定用
Cloud Pak for Data 用に IBM DataStage からリネージュインポートするには、接続、 データ・ソース定義、およびジョブ作成する。
IBM DataStage Cloud Pak for Data のリネージュメタデータをインポートするには、以下の手順を実行する:
データ・ソース定義作成
データ・ソース定義作成. データ・ソース・タイプとして IBM DataStage for Cloud Pak for Data を選択する。
DataStage。 Cloud Pak for Data
プロジェクトのデータ・ソースへの接続を作成する。 接続の詳細については、 DataStage for Cloud Pak for Data 接続を参照のこと。
- Cloud Pak for Data の DataStage に接続するには、ユーザー名とパスワードを入力する。
- Cloud Pak for Data as a Service の DataStage に接続するには、API キーを入力してください。 お持ちでない場合は、ナビゲーションメニューから「 Administration(管理)」>「Access(IAM)」>「Manage identities(アイデンティティの管理)」>「API keys(APIキー) 」を選択し、新しいAPIキーを作成してください。 接続の詳細でトークンの値を使用します。
- DataStage for Cloud Pak for Data インスタンスが、メタデータ インポートジョブ作成するプロジェクトと同じクラスタ上にない場合は、証明書を指定します。
メタデータ・インポートの作成
メタデータのインポートを作成する。 DataStage for Cloud Pak for Data データソースに固有のオプションについては、こちらをご覧ください:
インクルードリストと除外リスト
フロー・レベルまで資産を含めることも除外することもできます。 データベースとスキーマをプロジェクト/フロー形式で提供する。 各部品は正規表現として評価されます。 データ・ソースに後から追加された資産も、リストで指定された条件に一致すれば、含まれます/除外されます。 値の例:
myProject/
myProject
プロジェクト内のすべてのフロー。myProject3/myFlow1
myProject3
プロジェクトからの フロー。myFlow1
外部入力
オプションで、.zipファイルの形で外部入力を提供することもできる。 Add inputs from file フィールドでこのファイルを追加する。 定義された抽出データの範囲に加えて外部入力を追加することも、外部入力からのデータのみをインポートすることもできます。 外部入力を追加するには、以下の手順を実行します:
外部入力として.zipファイルを用意する
外部入力として DataStage のフローを.zip ファイルで提供することができます。 フォルダは以下の構造でなければならない:
<project_export.zip>
-.zip ファイルにエクスポートされた DataStage プロジェクト。DSParams
- 該当する場合は、プロジェクトまたは環境レベルのパラメータを含むファイル。 このファイルはプロジェクト・ディレクトリから入手できる。datastageParameterOverride.txt
- ジョブがパラメータ・セットを使用する場合、パラメータ・セット・オーバーライドを含むファイル。connection_definition/odbcConnectionDefinition.ini
- ODBC の接続定義ファイル。 ODBC 接続の定義は、 DataStage XML エクスポートには含まれないため、別途指定する必要がある。datastageComponentOverrides.csv
- リネージュ Overridesを含むファイル。
エクスポートされた DataStage プロジェクトの.zip ファイルの形式 DataStage プロジェクトをエクスポートする場合、以下の構造でなければなりません:
assets
- フォルダが必要です。.METADATA
- フォルダが必要です。data_intg_flow.*.json
- フローに関する情報を含む必須ファイル。connection.*.json
- 接続に関する情報を含むオプションのファイル。parameter_set.*.json
- パラメータ・セットに関する情報を含むオプションのファイル。job.*.json
- ジョブに関する情報を含むオプションのファイル。job_run.*.json
- ジョブ特定の実行に関する情報を含むオプションのファイル。data_intg_flow
- フォルダが必要です。- 文字列
"schemas":[{
を含むが、px_executables
で終わらないファイルが少なくとも1つある。
assettypes
- フォルダが必要です。project.json
- 必須ファイル。 ZIP解凍の結果、このファイルが複数存在する可能性があるが、それは正しい。
datastageParameterOverride.txt
ファイル形式 datastageParameterOverride.txt
ファイルの内容は以下の通り:
[ENVIRONMENT]
PARAM1_NAME = "param1_value"
PARAM2_NAME = "param2_value"
PARAM3_NAME = "param3_value"
[PARAMETER_SET/parameter_set_name]
param4_name = "default_param4_value"
param5_name = "default_param5_value"
$PARAM3_NAME = "$PROJDEF"
[VALUE_FILE/parameter_set_name/value_file1_name]
param4_name = "some_param4_value"
param5_name = "some_param5_value"
$PARAM3_NAME = "some_param3_value"
[VALUE_FILE/parameter_set_name/value_file2_name]
param4_name = "other_param4_value"
param5_name = "other_param5_value"
$PARAM3_NAME = "other_param3_value"
[JOB/job1_name]
param6_name = "param6_value"
param7_name = "param7_value"
[JOB/job2_name]
param7_name = "param8_value"
connection_definition/odbcConnectionDefinition.ini
ファイル形式 connection_definition/odbcConnectionDefinition.ini
ファイルの内容は以下の通り。 各接続ごとに別々の [Shortcut_Name]
セクションを作成する。
[<Shortcut_Name>]
Type=<connection_type>
Connection_String=<connection_string>
Server_Name=<server_name>
Database_Name=<database_name>
Schema_Name=<schema_name>
User_Name=<user_name>
- ショートカット名 :データ統合ツールが使用する接続またはデータ・サーバの名前。
- connection_type :データ・ソースのタイプ。
- connection_string : JDBC 接続文字列、またはシステム ID (SID) やホスト名などデータベースを識別するもの。
- server_name :値はデータ・ソースのタイプによって異なる:
- Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (以前は Sybase )、または Teradata :サーバー名。
- FTP:ホスト名。
- Oracle などのデータベースで使用される:この値は無視される。
- database_name : 値はデータ・ソースのタイプによって異なる:
- Oracle :グローバルデータベース名。
- Db2 Microsoft SQL Server、、 (旧 )、、その他のデータベース:デフォルトのデータベース名。 Netezza Performance Server SAP ASE Sybase Teradata
- user_name : データベースにログインするユーザーの名前。
各セクションのパラメーターの最後に新しい行を追加する。
datastageComponentOverrides.csv
ファイル形式 datastageComponentOverrides.csv
ファイルの内容は以下の通り:
"Full path to Stage";"Input Link name";"Input Column name";"Output Link name";"Output Column name";"Edge Type (DIRECT | FILTER)";"Description (optional)"
"manual_mapping_job/Generic_3";"DSLink2";"a";"DSLink5";"b";"DIRECT";""
ステージへのパスは、 Job/[Shared and Local containers optional]/Stage
.
zipファイルをプロジェクトにアップロードする
メタデータのインポートで.zipファイルを使用するには、メタデータのインポートを作成するプロジェクトに追加する必要があります。
- プロジェクトで、 輸入資産 をクリックする。
- ローカルファイル セクションで、 データ資産 をクリックする。
- .zipファイルを DataStage プロジェクトに追加する。
メタデータのインポートを作成すると、 ファイルから入力を追加するステップでこのファイルを選択できるようになります。
外部入力のみを使用するようにインポートを設定する
接続されている DataStage for Cloud Pak for Data インスタンスから直接ではなく、提供された外部入力からのみメタデータをインポートしたい場合は、以下の手順を実行します:
- Add inputs from file セクションに.zipファイルを追加し、 Nextをクリックします。
- リネージュ リストを展開し、 変換抽出 フェーズを無効にする。
拡張インポート・オプション
- ジョブの実行の分析
- ジョブ実行を分析するかどうかを指定します。
- 以降のジョブの実行の分析
- ランを分析する日付を指定する。 値が空の場合、すべてのランが分析される。 例)
1970/01/01 00:00:00.000
. - ジョブを個別に分析
- 他の実行が関連付けられている場合でも、 ジョブ個別に分析するかどうかを指定します。
- ジョブを含めないフローの分析
- ジョブを含まないフローを分析するかどうかを指定する。
- Oracleプロキシー・ユーザー認証
- Oracle プロキシ・ユーザー認証を使用できます。
\"USERNAME[SCHEMA_OWNER]\"
フォーマットの Oracle ユーザー名を\"SCHEMA_OWNER\"
フォーマットに変更するには、値をtrue
に設定します。 その他の場合は、false
に設定してください。 - 値ファイル
- パラメータ・セットで使用する値ファイルの名前を、優先順位の高い順に指定する。 例えば、
DEV1,TEST,PROD
などです。
もっと見る
親トピック リネージュサポートされているコネクタ