Data Refinery での GUI 操作

動画のトランスクリプト

1. 「列タイプの変換」操作では、最初の列がストリングから整数に自動的に変換されます。 他の 3 つの列のデータ・タイプを変更します。
2. ヨーロッパの列のデータ・タイプをストリングから 10 進数に変更するには、列を選択してから、「列タイプの変換」操作ステップを編集します。
3. ヨーロッパの列のデータ・タイプをストリングから 10 進数に変更するには、列を選択してから、「列タイプの変換」操作ステップを編集します。
4. 「10 進数」を選択します。
5. 列ではコンマ区切り文字が使用されるため、小数点記号として「コンマ (,)」を選択します。
6. 次の列 DATETIME を選択します。 タイム・スタンプとフォーマットを選択します。
7. 「Apply」をクリックします。
8. 列は、整数、10 進数、日付、およびタイム・スタンプの各データ・タイプになりました。「ステップ」パネルの「列タイプの変換」ステップが更新されました。

動画のトランスクリプト

1. 「列の値を欠損値に変換」操作は、指定された列の値と一致する場合、または指定された値と一致する場合に、選択された列の値を欠損値に変換します。
2. 欠損値は、SQL NULL (値のないフィールド) と同等です。 これは、ゼロ値またはスペースを含む値とは異なります。
3. データが欠損値としてより適切に表現されると考えられる場合は、「列の値を欠損値に変換」操作を使用できます。 例えば、「欠損値の置換」操作または「フィルター」操作で欠損値を使用する場合などです。
4. 「列の値を欠損値に変換」操作を使用して、一致した値に基づいて値を欠損値に変更します。
5. DESC 列には、値が CANCELLED ORDER の行が多数あることに注意してください。 CANCELLED ORDER ストリングを欠損値に変換します。
6. 「列の値を欠損値に変換」操作は、CLEANSE カテゴリーの下にあります。
7. 欠損値で置き換えるストリングを入力します。
8. 以前は CANCELLED ORDER であった値は、今は欠損値です。

動画のトランスクリプト

1. 「日付または時刻値の抽出」操作は、日付またはタイム・スタンプのデータ・タイプである列から、日付または時刻値の選択された部分を抽出します。
2. DATE 列はストリング・データ・タイプです。 まず、「列タイプの変換」操作を使用して、日付データ・タイプに変換します。
3. DATE 列のメニューから「列タイプの変換」操作を選択します。 日付を選択します。
4. 日付形式を選択します。
5. DATE 列が日付データ・タイプになりました。
6. ISO 日付形式は、ストリング・データ・タイプが日付データ・タイプに変換されたときに使用されます。 例えば、ストリング 01/08/2018 は日付 2018-01-08 に変換されました。
7. ここで、日付の年の部分を新しい列に抽出できます。
8. 「日付または時刻値の抽出」操作は、CLEANSE カテゴリーの下にあります。
9. 抽出する日付の部分として「年」を選択し、新しい列名として「YEAR」を入力します。
10. DATE 列の年の部分は、新しい列 YEAR にあります。
11. 「ステップ」パネルには、「日付または時刻値の抽出」操作が表示されます。

動画のトランスクリプト

1. 「フィルター」操作を使用して、選択した列で行をフィルターに掛けます。 1 回の「フィルター」操作で複数の条件を適用できます。
2. 正規表現を使用して、「Emp ID」列のストリングが 8 で始まる行を除き、すべての行をフィルターで除外します。
3. 2 つの州の省略形で行をフィルタリングします。
4. 「Apply」をクリックします。 表には、Emp ID が 8 で始まり、State が AR または TX である行のみが表示されます。
5. 行は、AR および PA によってフィルタリングされるようになりました。 「ステップ」パネルの「フィルター」ステップが更新されます。

動画のトランスクリプト

1. データ資産から列を素早く削除するには、「列の削除」操作を使用します。
2. 列を削除する最も簡単な方法は、列のメニューから削除することです。
3. 削除された列の名前は、「ステップ」パネルにあります。
4. 別の列を削除してください。
5. 削除された列の名前は、「ステップ」パネルにあります。

動画のトランスクリプト

1. 「重複の削除」操作は、重複する列値を持つ行を削除します。
2. データ・セットには 43 行あります。 APPLYCODE 列の行の多くに重複値があります。 データ・セットを削減して、APPLYCODE 列の各値が 1 回だけ出現する行にします。
3. APPLYCODE 列のメニューから「重複の除去」操作を選択します。
4. 「重複の除去」操作は、重複値の各オカレンスを除去します。 これで、データ・セットは 4 行になります。

動画のトランスクリプト

1. 「空の行を削除」操作は、選択された列の値がブランクまたは欠落している行を削除します。
2. 欠損値は、SQL NULL (値のないフィールド) と同等です。 これは、ゼロ値またはスペースを含む値とは異なります。
3. データ・セットには 43 行あります。 TRACK 列の行の多くに欠損値があります。 データ・セットを、TRACK 列に値がある行に削減する必要があります。
4. TRACK 列のメニューから「空の行の削除」操作を選択します。
5. 「空の行を削除」操作は、TRACK 列にブランクまたは欠損値がある各行を削除します。 データ・セットは現在 21 行です。

動画のトランスクリプト

1. 「欠損値の置換」操作は、列の欠損値を、指定された値、または同じ行の指定された列の値に置き換えます。
2. STATE 列には、空の値を持つ行が多数あります。 これらの空の値をストリングに置き換えます。
3. 「欠損値の置換」操作は、CLEANSE カテゴリーの下にあります。
4. State 列の場合は、欠損値をストリング「不完全」に置き換えます。
5. これで、欠損値の値が「不完全」になります。
6. 「ステップ」パネルには、「欠損値の置換」操作が表示されます。

動画のトランスクリプト

1. 「サブストリングの置換」操作は、サブストリングを指定したテキストに置き換えます。
2. DECLINE 列には、ストリング BANC を含む多数の行があります。 このストリングを BANK に置き換えます。
3. 「サブストリングの置換」操作は、CLEANSE カテゴリーの下にあります。
4. 置換するストリングと置換ストリングを入力します。
5. ストリング BANK の出現箇所はすべて BANK に置き換えられました。
6. 「ステップ」パネルには、「サブストリングの置換」操作が表示されます。

動画のトランスクリプト

1. 「置換」操作は、選択された列のデータをランダムな文字列で置換することにより、機密情報を覆い隠されます。
2. 列内のデータを置換する最も簡単な方法は、列のメニューから「置換」を選択することです。
3. 「置換」操作が「ステップ」パネルに表示されます。
4. 別の列の値を置換します。
5. 2 番目の「置換」操作が「ステップ」パネルに表示されます。

動画のトランスクリプト

1. 「計算」操作は、別の列または指定された値を使用して、加算または減算などの計算を実行します。
2. 開始する列を選択します。
3. 使用可能な計算
4. 次に、加算計算の 2 番目の列を選択します。
5. 変更を適用します。
6. ID 列が更新され、「ステップ」パネルに完了した操作が表示されます。
7. 列のメニューから操作にアクセスすることもできます。
8. 今回は、2 つの数値の間にあることを選択します。 範囲を指定し、結果の新しい列を作成します。
9. 新しい列がテーブルに表示され、新しい計算操作が「ステップ」パネルに表示されます。
10. 今度は、「等しい」を選択して 2 つの列を比較し、結果の新しい列を作成します。
11. 新しい列がテーブルに表示され、新しい計算操作が「ステップ」パネルに表示されます。

動画のトランスクリプト

1. 「集計」操作は、1 つ以上の列の値に集計計算を適用します。 集約ごとに新しい列が作成されます
2. 使用可能な集計は、データが数値データかストリング・データかによって異なります。
3. 使用可能な演算子は、列のデータ・タイプによって異なります。 数値データに使用可能な演算子。
4. UniqueCarrier テキスト列を選択すると、ストリング・データに使用可能な演算子を表示できます。
5. UniqueCarrier 列にある固有値の数を数えます。 この集計は、データ・セット内の航空会社の数を示します。
6. 新しい航空会社列には 22 社の航空会社があります。 その他の列は削除されます。
7. 「ステップ」パネルに「集計」操作が表示されます。
8. まず最初に、数値データの集計を表示します。
9. 到着遅延の平均 (平均値) を表示します。
10. すべての到着遅延の平均値は、新しい MeanArrDelay 列にあります。 その他の列は削除されます。
11. グループの特性を定義する別の列によって集計列をグループ化することもできます。
12. 航空会社による平均到着遅延を確認できるように、「グループ化」を選択して「集計」ステップを編集します。
13. UniqueCarrier 列で結果をグループ化します。
14. 平均到着遅延は、航空会社別にグループ化されるようになりました。
15. 「ステップ」パネルには、「集計」操作が表示されます。

動画のトランスクリプト

1. 「連結」操作は、複数の列の値を連結します。
2. 「連結」操作は ORGANIZE カテゴリーの下にあります。
3. 連結する列を選択します。
4. 連結された値の間に使用する区切り文字を選択します。
5. 連結値の列の名前を入力します。
6. 新しい列は、データ・セットの右端の列として表示することも、元の列の横に表示することもできます。
7. 元の列を保持し、変更を適用します。
8. 新しい DATE 列には、他の 3 つの列の値をセミコロン区切り文字で連結した値が表示されます。
9. 「ステップ」パネルに「連結」操作が表示されます。
10. DATE 列はストリング・データ・タイプです。 「列タイプの変換」操作を使用して、「日付」データ・タイプに変換します。
11. DATE 列のメニューから「列タイプの変換」操作を選択します。 日付を選択します。
12. 日付形式を選択し、結果の新しい列を作成します。
13. 新しい列を元の列の隣に配置し、変更を適用します。
14. 新しい列には、変換後の日付形式が表示されます。
15. 「列タイプの変換」操作が「ステップ」パネルに表示されます。
16. ISO 日付形式は、ストリング・データ・タイプが日付データ・タイプに変換されたときに使用されます。 例えば、ストリング 2004; 2; 3 は日付 2004-02-03 に変換されました。

動画のトランスクリプト

1. 条件に基づいて列の値を置換するには、「条件付き置換」操作を使用します。
2. まず、CODE ストリング列のデータを置き換える条件を指定し、結果の新しい列を作成します。
3. ストリング・データに使用可能な条件演算子。
4. 1 番目の条件を追加 - CONDITION 1: CODE が値 C に等しい場合に COMPLETE に置き換えます。
5. 2 番目の条件を追加 - CONDITION 2: CODE が値 I に等しい場合に INCOMPLETE に置き換えます。
6. 条件を満たさない値を処理する方法を指定します。 ここでは、空ストリングを示すために 2 つの二重引用符を入力します。
7. 結果の新しい列を作成します。
8. 新しい列 STATUS には、CODE 列からの条件付き置換が表示されます。
9. 「ステップ」パネルに「条件付き置換」操作が表示されます。
10. 次に、INPUT 整数列のデータを置き換える条件を指定し、結果の新しい列を作成します。
11. 数値データに使用できる条件演算子。
12. 1 番目の条件を追加します - CONDITION 1: INPUT が値 3 以下の場合に値 LOW に置き換えます。
13. 2 番目の条件を追加します - CONDITION 2: INPUT が値 4、5、6 である場合に値 MED に置き換えます。
14. 3 番目の条件を追加します - CONDITION 3: INPUT が値 7 以上の場合に値 HIGH に置き換えます。
15. 条件を満たさない値を処理する方法を指定します。
16. 結果の新しい列を作成します。
17. 新しい列 RATING には、INPUT 列からの条件付き置換が表示されます。
18. 「ステップ」パネルに「条件付き置換」操作が表示されます。

動画のトランスクリプト

1. customers.csv データ・セットには会社の顧客に関する情報が含まれ、sales.csv データ・セットには会社の営業担当員に関する情報が含まれます。
2. データ・セットは SALESREP_ID 列を共有します。
3. customers.csv データ・セットが Data Refinery で開いています。
4. 「結合」操作では、SALESREP_ID 列の値の比較に基づいて、これら 2 つのデータ・セットのデータを結合できます。
5. 内部結合を実行して、他のデータ・セットと一致する各データ・セットの行のみを返します。
6. カスタム接尾部を追加して、両方のデータ・セットに存在する列に追加し、その列のソース・データ・セットを表示することができます。
7. customers.csv データ・セットと結合する sales.csv データ・セットを選択します。
8. 結合キーの場合には, 列名の入力を開始して, フィルタリングされたリストを表示してください。 SALESREP_ID 列は、2 つのデータ・セットをリンクします。
9. 次に、含める列を選択します。 重複する列には、接尾部が付加されて表示されます。
10. ここで、変更を適用します。
11. 「ステップ」パネルに「結合」操作が表示されます。
12. これで、データ・セットは customers.csv データ・セットおよび sales.csv データ・セットの列でエンリッチされます。

動画のトランスクリプト

1. 列の名前を素早く変更するには、「列の名前変更」操作を使用します。
2. 列の名前を変更する最も速い方法は、テーブル内の列の名前を編集することです。
3. 名前を編集し、キーボードで Enter キーを押します。
4. 「列の名前変更」ステップには、古い名前と新しい名前が表示されます。
5. ここで、別の列の名前を変更します。
6. 「ステップ」パネルには、列の名前が BANKS から DOGS に変更されたことが示されています。
7. ここで、最後の列の名前を変更します。
8. 「ステップ」パネルには、RATIOS 列が BIRDS に名前変更されたことが示されます。

動画のトランスクリプト

1. 「サンプル」操作は、データのサブセットを生成します。
2. 大量のデータがあり、プロトタイピングを高速化するために代表的なサンプルを処理する場合は、「サンプル」操作を使用します。
3. 「サンプル」操作は ORGANIZE カテゴリーに含まれています。
4. 2 つの方法のいずれかを選択して、サンプルを作成します。
5. ランダム・サンプルを使用すると、各行には、サンプル・データに含まれる等しい確率があります。
6. ランダム・サンプルは、行数またはデータのパーセンテージで選択できます。
7. 層化されたサンプルは、ランダム・サンプルに基づいて作成されます。 ランダム・サンプルの場合と同様に、サンプルのデータ量 (行またはパーセント) を指定します。
8. 階層化されたサンプルを使用して、データをストラータと呼ばれる 1 つ以上のサブグループに分割します。 次に、各サブグループからのカスタマイズ・データを含む 1 つのランダム・サンプルを生成します
9. 「方法」で「自動」を選択した場合は、ストラータの列を 1 つ選択します。
10. 「手動」を選択した場合は、1 つ以上のストラータを指定し、ストラータごとに、各ストラータの行を定義するフィルター条件を指定します。
11. この航空会社のデータ例では、2 つのストラータを作成します。 1 つのストラータは、出力の 50% がニューヨーク市に目的地空港を持つことを定義し、2 つ目のストラータは残りの 50% が指定された飛行距離を持つことを定義します。
12. 「このストラータの詳細を指定」ボックスに、この最初のストラータで指定する条件を表すサンプルのパーセントを入力します。 ストラータ・パーセントの合計は 100% でなければなりません。
13. ストリング・データに使用可能な演算子。
14. サンプルの 50% には、ニューヨーク市に目的地空港があります。
15. 最初のストラータを保存するには、「保存」をクリックします。
16. Strata0 として識別される最初のストラータには、1 つの条件があります。 このストラータでは、サンプルの 50% が条件を満たす必要があります。
17. 「このストラータの詳細を指定」ボックスに、2 番目のストラータで指定する条件を表すサンプルのパーセントを入力します。
18. 数値データに使用可能な演算子。
19. サンプルの 50% は、500 を超える距離のフライトに使用されます。
20. 「保存」をクリックして、2 番目のストラータを保存します。
21. Strata1 として識別される 2 番目のストラータには、1 つの条件があります。 このストラータでは、サンプルの 50% が条件を満たす必要があります。
22. 複数のストラータを使用する場合、「サンプル」操作では、そのストラータに対して OR 条件を持つ「フィルター」操作が内部的に適用されます。 データ、条件、およびサンプルのサイズによっては、複数の条件を持つ 1 つのストラータを使用した場合の結果が、複数のストラータを使用した場合と異なる場合があります。
23. 他の Data Refinery 操作とは異なり、「サンプル」操作では、Data Refinery フローのジョブを作成して実行した後にのみ、データ・セットが変更されます。
24. 「ステップ」パネルに「サンプル」ステップが表示されます。
25. データ・セットが 10000 行を超えています。
26. Data Refinery フローのジョブを保存して作成します。
27. 新規資産ファイルが、Data Refinery フローの出力用のプロジェクトに追加されます。
28. 出力ファイルを表示します。
29. Dest 列にはニューヨーク市の空港が 10 行 (サンプルの 50%) ありますが、距離列には 500 を超える値を持つ 17 行があります。
30. これらの結果は、ストラータが OR 条件で適用され、ニューヨーク市の空港を含む Dest でフィルタリングされた行の距離が 500 を超える最初のストラータで指定された条件のデータが重複していたためです。
31. Data Refinery の出力ファイルに、削減されたサイズが表示されます。

動画のトランスクリプト

1. 選択した列の行をソートすることにより、データ・セット内のすべての行を素早くソートします。
2. 列をソートする最も速い方法は、列のメニューからソートすることです。
3. 行は昇順または降順にソートできます。
4. 昇順にソートします。
5. テーブル内のすべての行の順序は、最初の列の「ソート」操作によって更新されます。
6. 「ステップ」パネルに「ソート」操作が表示されます。
7. 降順にソートします。
8. テーブル内のすべての行の順序は、2 番目の列の「ソート」操作によって変更されます。
9. 2 番目の「ソート」操作が「ステップ」パネルに表示されます。
10. 昇順にソートします。
11. テーブル内のすべての行の順序は、3 番目の列の「ソート」操作によって変更されます。
12. 3 番目の「ソート」操作が「ステップ」パネルに表示されます。

動画のトランスクリプト

1. 「列の分割」操作は、非英数字、テキスト、パターン、または位置に基づいて、1 つの列を 2 つ以上の列に分割します。
2. まず、YMD 列を YEAR 列、MONTH 列、および DAY 列に分割します。
3. 「列の分割」操作は ORGANIZE カテゴリーに含まれています。
4. 最初に、分割する YMD 列を選択します。
5. タブには、列を分割する方法を示す 4 つの選択肢があります。
6. DEFAULT は、列の値に含まれる非英数字を使用して列を分割します。
7. TEXT では、文字を選択するか、テキストを入力して列を分割します。
8. PATTERN には、R 構文に基づく正規表現を入力して、列を分割する場所を決定します。
9. POSITION では、列を分割する位置を指定します。
10. YMD 列を非英数字のアスタリスク (*) で分割するため、「DEFAULT」タブを選択します。
11. YMD 列を 3 つの新しい列 (YEAR、MONTH、および DAY) に分割します。
12. 3 つの新しい列、YEAR、MONTH、および DAY がデータ・セットに追加されます。
13. 「列の分割」操作が「ステップ」パネルに表示されます。
14. 次に、FLIGHT 列を 2 つの列に分割します。1 つは航空会社コード用、もう 1 つはフライト番号用です。 航空会社コードは 2 文字であるため、列を位置ごとに分割できます。
15. 「POSITION」タブをクリックし、「位置」ボックスに 2 を入力します。
16. FLIGHT 列を、AIRLINE と FLTMBR の 2 つの新しい列に分割します。
17. 2 つの新しい列 AIRLINE と FLIGHTNBR がデータ・セットに追加されます。
18. 「列の分割」操作が「ステップ」パネルに表示されます。

動画のトランスクリプト

1. 「ユニオン」操作は、同じスキーマを共用する 2 つのデータ・セットからの行を結合します。
2. このデータ・セットには、4 つの列と 6 つの行があります。 データ・タイプは左から右で、ストリング、ストリング、10 進数、ストリングです。
3. データ・セットが Data Refinery にロードされると、AUTOMATIC 「列タイプの変換」操作により、PRICE 列が 10 進数データ・タイプに自動的に変換されます。
4. 2 番目のデータ・セットの列は、このデータ・セットのデータ・タイプと互換性がなければなりません。
5. 現行データ・セットと結合するデータ・セットを選択します。
6. 新規データ・セットをプレビューすると、そのデータ・セットにも 4 つの列があることが分かります。 ただし、PRICE 列はストリング・データ・タイプです。
7. 「ユニオン」操作を適用する前に、AUTOMATIC 「列タイプの変換」ステップを削除して、PRICE 列が新規データ・セットの PRICE 列と同じデータ・タイプ (ストリング) になるようにする必要があります。
8. PRICE 列がストリング・データになりました。
9. ここで、「ユニオン」操作を繰り返します。
10. 新規データ・セットが現行データ・セットに追加されます。 データ・セットは 12 行に増やされます。
11. 「ステップ」パネルに「ユニオン」操作が表示されます。
12. 次に、異なる数の列を持つデータ・セットを追加します。 一致する列は、引き続き互換性のあるデータ・タイプでなければなりません。
13. 現行データ・セットと結合するデータ・セットを選択します。
14. 新規データ・セットをプレビューすると、元のデータ・セットより 1 列多いことが分かります。 5 番目の列は TYPE です。
15. 「異なる列数を許可し、重複値を許可する」を選択します。
16. 「ユニオン」操作を適用します。
17. 新規データ・セットが現行データ・セットに追加されます。 データ・セットは 18 行に増やされます。
18. 追加の列 TYPE がデータ・セットに追加されます。
19. 「ステップ」パネルに「ユニオン」操作が表示されます。

動画のトランスクリプト

1. 「ストップワードの削除」操作は、英語の一般的な単語をデータ・セットから削除します。 通常、ストップワードは、テキスト分析アルゴリズムおよびテキスト分析モデルにとってセマンティック的な価値はほとんどありません。 ストップワードを削除して、データ・ボリュームを削減し、データ品質を向上させます。
2. 「ストップワードの削除」操作は、単語 a、an、and、are、as、at、be、but、by、for、from、if、in、into、is、it、no、not、of、on、or、such、that、the、their、then、there、these、they、this、to、was、will、with を削除します。
3. 「ストップワードの削除」操作は、NATURAL LANGUAGE カテゴリーの下にあります。
4. STRING 列を選択します。
5. ストップワードを削除するには、「適用」をクリックします。
6. ストップワードは STRING 列から削除されます。
7. 「ストップワードの削除」操作が「ステップ」パネルに表示されます。

動画のトランスクリプト

1. 「トークン化」操作は、英語のテキストを単語、文、段落、行、文字、または正規表現に分割します。
2. 「トークン化」操作は、NATURAL LANGUAGE カテゴリーの下にあります。
3. STRING 列を選択します。
4. 使用可能なトークン化オプション。
5. WORDS という名前の新しい列を作成します。
6. 「トークン化」操作は、STRING 列から単語を取得し、単語ごとに行を持つ新しい列 WORDS を作成しました。
7. 「ステップ」パネルに「トークン化」操作が表示されます。