データ統合チュートリアル: データの統合

このタスクをプレビューするには、 02:40から始まるビデオをご覧ください。

住宅ローン申請者と住宅ローン申請データ・セットを結合する基本的な DataStage フローから開始し、その結果をプロジェクト内の CSV ファイルに出力します。 DataStage フローを実行するには、以下の手順を実行します。

1. 「データ統合」 プロジェクトで開始します。 プロジェクトを開いていない場合は、以下の手順を実行します。

   1. Cloud Pak for Data のナビゲーション・メニュー から、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。

   2. 「データ統合」 プロジェクトを開きます。

2. 「アセット」 タブをクリックして、プロジェクト内のすべてのアセットを表示します。

3. 「フロー」> DataStage フロー」をクリックします。

   ヒント: DataStage フローが表示されない場合は、前に戻ってサービス・インスタンスを表示し、正常にプロビジョンされた DataStage インスタンスを確認してください。 必要なサービスのプロビジョンを参照してください。

4. リスト内の 「データ統合」 フローをクリックして開きます。 このフローは、 Db2 Warehouseに保管されている 「住宅ローン申請者」 表と 「住宅ローン申請者」 表を結合し、カリフォルニア州のレコードにデータをフィルタリングし、出力として CSV 形式の順次ファイルを作成します。

5. ツールバーの 「ズームイン」 アイコン および 「ズームアウト」 アイコン をクリックして、キャンバスの優先ビューを設定します。

6. MORTGAGE_APPLICATIONS_1 ノードをダブルクリックして設定を表示します。

   1. プロパティー セクションを展開します。

   2. スクロールダウンしてから、 「データのプレビュー」をクリックします。 このデータ・セットには、住宅ローン・アプリケーションで収集された情報が含まれています。

   3. 「閉じる」をクリックします。

7. MORTGAGE_APPLICANTS_1 ノードをダブルクリックして設定を表示します。

   1. プロパティー セクションを展開します。

   2. スクロールダウンして、 データのプレビューをクリックしてください。 このデータ・セットには、ローン申請者に関する情報が含まれています。

   3. オプション: データを視覚化します。

      1. 「グラフ」 パネルをクリックします。

      2. 「視覚化する列」 リストで、 「状態」を選択します。

      3. 「データの視覚化 (Visualize data)」 をクリックして、状態別のデータの分布を示す円グラフを表示します。

      4. 同じデータをツリー・マップ・グラフで表示するには、 「ツリー・マップ」 アイコンをクリックします。

   4. 「閉じる」をクリックします。

8. Join_on_ID ノードをダブルクリックして設定を表示します。

   1. プロパティー セクションを展開します。

   2. 結合キーは ID 列であることに注意してください。
      

   3. 設定を閉じるには、 「キャンセル」 をクリックします。

9. ツールバーの 「ログ」 アイコン をクリックすると、フローの進行状況を確認できます。

10. コンパイルをクリックし、次に 実行をクリックしてください。 あるいは、 「実行」 をクリックしてコンパイルし、 DataStage フローを実行することもできます。 実行が完了するまで約 1 分かかります。

11. ログを表示します。 フロー内の各ステップの合計行数と合計行数/秒を使用して、フィルターが予期したとおりに動作していることを視覚的に確認できます。

12. 実行が正常に完了したら、ナビゲーション・トレールで 「データ統合」 をクリックしてプロジェクトに戻ります。
    

13. 「アセット」 タブで、 「データ」>「データ・アセット」をクリックします。

14. MORTGAGE_INTEREST_RATES.CSV ファイルを開きます。 このファイルには、住宅ローン申請者と住宅ローン申請者の両方のデータ・セットの列が含まれていることが分かります。

住宅ローン申請者とアプリケーション・データに参加したので、 DataStage フローを編集して以下を行うことができます。

• タスク 2: Join ステージのキー列を指定します。
• タスク 3: PostgreSQL データベースからクレジット・スコア・データを追加します。
• タスク 4: Join ステージを追加して、クレジット・スコア・データを申請者データおよびアプリケーション・データと結合します。
• タスク 5: 合計負債を計算するために Transformer ステージを追加します。
• タスク 6: MongoDB データベースから金利データを追加します。
• タスク 7: 申請者のクレジット・スコアおよびゴールデン・バンクの日次金利範囲に基づいて金利をルックアップする Lookup ステージを追加します。

このタスクをプレビューするには、 04:33から始まるビデオをご覧ください。

キー列を識別することは、その列に固有値が含まれていることを DataStage に示します。 Join_on_ID ノードは、結合キーの ID 列を使用して、住宅ローン申込者と住宅ローン申込者のデータ・セットを結合します。 次のフェーズでは、結果のデータ・セットをクレジット・スコア・データと結合します。 後で、フィルタリングされた結果のデータをクレジット・スコア・データ・セットと結合します。 2 番目の結合では、結合キーとして EMAIL_ADDRESS 列が使用されます。 このタスクでは、 DataStage フローを編集して、結果データ・セットがクレジット・スコア・データと結合されるときに、結果データ・セットのキー列として EMAIL_ADDRESS 列を指定します。

以下のアニメーション表示イメージは、2 つの結合ノードの説明の代わりにビジュアル表示を提供します。 イメージをクリックすると、より大きなイメージが表示されます。

結合ノードの設定を変更するには、以下の手順を実行します。

1. ナビゲーション・トレールで 「データ統合」 をクリックして、プロジェクトに戻ります。
   

2. 「資産」 タブで、 「フロー」> DataStage フロー」をクリックします。

3. 「データ統合」 フローを開きます。

4. Join_on_ID ノードをダブルクリックして設定を編集します。

5. 出力 タブをクリックし、 カラム セクションを展開して、結合されたデータ・セット内の列のリストを表示します。

6. 「編集」 をクリックします。

7. EMAIL_ADDRESS 列名には、 キーを選択してください。

8. 適用して戻る をクリックして、 Join_on_ID ノード設定に戻ります。

9. 保存 をクリックして、 Join_on_ID ノード設定を保存します。

このタスクをプレビューするには、 05:14から始まるビデオをご覧ください。

以下のステップに従って、 PostgreSQL データベースに保管されているクレジット・スコア・データを DataStage フローに追加します。

1. ノード・パレットで、 コネクター セクションを展開します。

2. 「資産ブラウザー」 コネクターをキャンバスの MORTGAGE_APPLICANTS_1 ノードの横にドラッグします。

3. 「接続」> Data Fabric 「試用版」- Databases for PostgreSQL >「BANKING> CREDIT_SCORE」を選択して、資産を見つけます。

   注: チェック・ボックスの代わりに接続名またはスキーマ名をクリックして、接続とスキーマを展開します。

   

4. 「プレビュー」 アイコンをクリックして、各応募者のクレジット・スコア・データをプレビューします。

5. 追加 をクリックします。

このタスクをプレビューするには、 05:46から始まるビデオをご覧ください。

以下のステップに従って、別の Join ステージを追加し、フィルタリングされた住宅ローン・アプリケーションおよび住宅ローン申請者の結合データを DataStage フロー内のクレジット・スコア・データと結合します。

1. ノード・パレットで、 Stages セクションを展開します。

2. Join ステージをキャンバスにドラッグし、 Filter_State_Code ノードと Sequential_file_1 ノードの間のリンク・ラインにノードをドロップします。

3. CREDIT_SCORE_1 コネクターの上にカーソルを移動すると、矢印が表示されます。 矢印を Join ステージに接続します。

4. CREDIT_SCORE_1 ノードをダブルクリックして設定を編集します。

   1. 出力 タブをクリックし、 カラム セクションを展開して、結合されたデータ・セット内の列のリストを表示します。

   2. 「編集」 をクリックします。

   3. EMAIL_ADDRESS および CREDIT_SCORE 列名の場合は、 キーを選択してください。

   4. 適用して戻る をクリックして、 CREDIT_SCORE_1 ノード設定に戻ります。

   5. 保存 をクリックして、 CREDIT_SCORE_1 ノード設定を保存します。

5. Join_1 ノードをダブルクリックして設定を編集します。

   1. プロパティー セクションを展開します。

   2. 「鍵の追加」をクリックします。

      1. 再度 キーの追加 をクリックしてください。

      2. 使用可能なキーのリストから 「EMAIL_ADDRESS」 を選択します。

      3. 「適用」をクリックします。

   3. 適用して戻る をクリックして、 Join_1 ノード設定に戻ります。

   4. Join_1 ノード名を Join_on_emailに変更します。

   5. 保存 をクリックして、 Join_1 ノード設定を保存します。

このタスクをプレビューするには、 07:00から始まるビデオをご覧ください。

以下のステップに従って、LOAN_AMOUNT 列とCREDITCARD_済列を合計して新しい列を作成する Transformer ステージを追加します。

1. 「ステージ」 セクションで、 Transformer ステージをキャンバスにドラッグし、 Join_on_email ノードと Sequential_file_1 ノードの間のリンク行にノードをドロップします。

2. Transformer ノードをダブルクリックして設定を編集します。

3. 「出力」 タブをクリックします。

   1. 列の追加をクリックしてください。

   2. 列のリストをスクロールダウンして、新しい列を確認します。

   3. 列に TOTAL_DEBTという名前を付けます。

   4. 行の 「出力仕様」 列の 「編集」 アイコンをクリックします。

   5. 「導出」 列の 「計算器」 アイコンをクリックして、式ビルダーを開きます。

   6. LOAN_AMOUNTを検索し、列名をダブルクリックして式に追加します。 リンク番号は列名に付加されることに注意してください。

   7. 正符号 +を入力します。

   8. CREDITCARD_DEBTを検索してから、列名をダブルクリックして式に追加します。 リンク番号は列名に付加されることに注意してください。

   9. 最後の式が Link_5.LOAN_AMOUNT + Link_5.CREDITCARD_DEBTであることを確認します。

      注: リンク番号が異なる場合があります。

   10. 適用して戻る をクリックして、 トランスフォーマー ページに戻ります。

   11. CREDIT_SCORE 列名として 「キー」を選択します。

4. 保存して戻る をクリックして、キャンバスに戻ります。

このタスクをプレビューするには、 07:49から始まるビデオをご覧ください。

以下のステップに従って、データ資産コネクターを MongoDB データベースに追加することで、金利をフローに含めます。

1. ノード・パレットで、 コネクター セクションを展開します。

2. アセット・ブラウザー コネクターを CREDIT_SCORE_1 ノードの横のキャンバスにドラッグします。

3. 「接続」> Data Fabric 「試用版-Mongo DB」>「DOCUMENT」>「DS_INTEREST_RATES」を選択して、資産を見つけます。

4. 「プレビュー」 アイコンをクリックして、各クレジット・スコア範囲の金利をプレビューします。
   
   STARTING_LIMIT 列と ENDING_LIMIT 列の値を使用して、申請者のクレジット・スコアに基づいて適切な利率を調べることができます。 ID 列は不要であるため、次のステップでその列を削除します。

5. 追加 をクリックします。

このタスクをプレビューするには、 08:35から始まるビデオをご覧ください。

各応募者のクレジット・スコアに基づいて、適切な利率を調べる必要があります。 以下のステップに従って Lookup ステージを追加し、各金利のクレジット・スコア制限の開始と終了の範囲を指定します。

1. 「ステージ」 セクションで、 Lookup ステージをキャンバスにドラッグし、 Transformer_1 ノードと Sequential_file_1 ノードの間のリンク・ラインにノードをドロップします。

2. DS_INTEREST_RATES_1 コネクターを Lookup_1 ステージに接続します。

3. DS_INTEREST_RATES_1 ノードをダブルクリックして設定を編集します。

4. 「出力」 タブをクリックします。

   1. カラム セクションを展開し、 編集をクリックしてください。

   2. _ID 列を選択してください。

   3. 「削除」 アイコンをクリックして、 _ID 列を削除します。

   4. 適用して戻る をクリックして、 DS_INTEREST_RATES_1 ノード設定に戻ります。

   5. 保存 をクリックして、 DS_INTEREST_RATES_1 ノードに対する変更を保存します。

5. Lookup_1 ノードをダブルクリックして設定を編集します。

6. プロパティー セクションを展開します。

   1. 列に範囲を適用 フィールドには、 CREDIT_SCOREを選択してください。 「参照リンク」、 「演算子」、および 「範囲列」 の各フィールドが表示されます。

   2. 参照リンクの場合は、 Link_9を選択してください。

      注: リンク番号が異なる場合があります。

   3. 最初の 「演算子」で、 < =を選択します。

   4. 最初の 範囲列の場合は、 ENDING_LIMITを選択してください。

   5. 2 番目の 「演算子」で、 「> =」を選択します。

   6. 2 番目の 範囲列の場合は、 STARTING_LIMITを選択してください。

7. 「出力」 タブをクリックします。

   1. カラム セクションを展開し、 編集をクリックしてください。

   2. STARTING_LIMIT 列と ENDING_LIMIT 列を選択します。

   3. これらの不要な STARTING_LIMIT 列および ENDING_LIMIT 列を削除するには、 「削除」 アイコンをクリックします。

   4. 適用して戻る をクリックして、 Lookup_1 ノード設定に戻ります。

   5. 保存 をクリックして、 Lookup_1 ノードに対する変更を保存します。

このタスクをプレビューするには、 09:56から始まるビデオをご覧ください。

以下のステップに従って順次ファイル・ノードを編集し、最終出力ファイルをデータ資産としてプロジェクトに作成してから、 DataStage フローをコンパイルして実行します。

1. Sequential_file_1 ノードをダブルクリックして設定を編集します。

2. 入力 タブをクリックしてください。

3. プロパティー セクションを展開します。

4. 「ターゲット・ファイル」では、ファイル名として MORTGAGE_APPLICANTS_INTEREST_RATES.CSV をコピー・アンド・ペーストします。

5. データ資産の作成を選択してください。

6. 「最初の行は列名」 フィールドで、 「True」を選択します。

7. 保存 をクリックします。

8. 「実行」 をクリックすると、 DataStage フローがコンパイルされて実行されます。 ジョブが完了するまで約 1 分かかります。

9. ツールバーの 「ログ」 をクリックして、フローの進行状況を監視します。 実行中に警告が表示され、フローが正常に実行されたことが表示されるのは正常です。

このタスクをプレビューするには、 10:28から始まるビデオをご覧ください。

ゴールデン・バンクの他のデータ・エンジニアやビジネス・アナリストは、住宅ローン金利にアクセスする必要があります。 IBM Knowledge Catalog ライト・プランでは、2 つのカタログを作成できます。 既にカタログがある場合は、このステップをスキップしてください。 それ以外の場合は、以下のステップを実行して、利率データ・セットを公開できるカタログを作成します。

1. Cloud Pak for Data のナビゲーション・メニュー で、 「カタログ」>「すべてのカタログを表示」を選択します。

2. 「カタログ」 ページに 「住宅ローン承認カタログ」 が表示されている場合は、 「タスク 10: 出力を表示してカタログに公開」にスキップします。 それ以外の場合は、以下の手順に従って新規カタログを作成します。

3. カタログの作成をクリックしてください。

4. 「名前」に、表示されているとおりにカタログ名をコピー・アンド・ペーストします。先頭または末尾にスペースは使用しません。

   Mortgage Approval Catalog
   

5. 「データ保護ルールの適用 (Enforce data protection rules)」を選択し、選択内容を確認して、他のフィールドのデフォルトを受け入れます。

6. 「作成」 をクリックします。

このタスクをプレビューするには、 10:57から始まるビデオをご覧ください。

以下のステップに従って、プロジェクト内の出力ファイルを表示し、それをカタログに公開します。

1. Cloud Pak for Data のナビゲーション・メニュー から、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。

2. 「データ統合」 プロジェクトを開きます。

3. 「アセット」 タブで、 「データ」>「データ・アセット」をクリックします。

4. MORTGAGE_APPLICANTS_INTEREST_RATES.CSV ファイルを開きます。

5. スクロールすると、統合データ・セット内のすべての列が表示され、各データ項目の終わりに金利が表示されます。

6. ナビゲーション・トレールで 「データ統合」 をクリックして、プロジェクトに戻ります。

7. 資産 タブで、 MORTGAGE_APPLICANTS_INTEREST_RATES.CSV ファイルの行の末尾にある オーバーフロー メニューをクリックし、 カタログに公開を選択します。

   1. リストから 「住宅ローン承認カタログ」 (またはカタログ名) を選択し、 「次へ」をクリックします。

   2. 「公開後にカタログに移動」のオプションを選択し、 「次へ」をクリックします。

   3. アセットを確認し、 「公開」をクリックします。

8. カタログで、 Mortgageを検索します。

9. MORTGAGE_APPLICANTS_INTEREST_RATES.CSV ファイルを開きます。

10. 資産 タブをクリックして、データを表示します。