VYČISTIT

Převést typ sloupce
Když otevřete soubor v Data Refinery, operace Převést typ sloupce se automaticky použije jako první krok, pokud zjistí v datech neřetězcové datové typy. Datové typy jsou automaticky převedeny na odvozené datové typy. Chcete-li změnit automatický převod pro vybraný sloupec, klepněte na nabídku přetečení () pro daný krok a vyberte volbu Upravit. Stejně jako u jiných operací můžete krok vrátit zpět. Operace Převést typ sloupce se znovu použije při každém otevření souboru v Data Refinery. Automatický převod se použije podle potřeby pouze pro souborové zdroje dat. (netýká se zdroje dat z databázového připojení.)

Chcete-li potvrdit, na jaký datový typ byla data jednotlivých sloupců převedena, klepněte na volbu Upravit v nabídce přetečení () a zobrazte datové typy. Informace zahrnují formát dat data nebo časového razítka.

Pokud jsou data převedena na datový typ Integer nebo Decimal, můžete určit desetinný symbol a symbol seskupení tisíců pro všechny použitelné sloupce. Řetězce převedené na datový typ Decimal používají tečku pro desetinný symbol a čárku pro symbol seskupení tisíců. Případně můžete vybrat čárku pro desetinný symbol a tečku nebo vlastní symbol pro symbol seskupení tisíců. Desetinný symbol a symbol seskupení tisíců nemohou být stejné.

Zdrojová data se čtou zleva doprava, dokud není nalezen koncový znak nebo nerozpoznaný znak. Pokud například převádíte řetězcová data 12,834 na Decimal a neurčíte, co dělat s čárkou (,), data budou oříznuta na 12. Podobně, pokud mají zdrojová data více teček (.) a vyberete tečku pro desetinný symbol, první tečka se použije jako desetinný oddělovač a číslice za druhou tečkou se oříznou. Zdrojový řetězec 1.834.230,000 se převede na hodnotu 1.834.

Operace Převést typ sloupce automaticky převede tyto formáty data a časového razítka:

• Datum: ymd, ydm
• Časové razítko: ymdHMS, ymdHM, ydmHMS, ydmHM

Řetězce data a časového razítka musí pro rok používat čtyři číslice.

Operaci Převést typ sloupce můžete použít ručně, chcete-li změnit datový typ sloupce v libovolném bodě toku Data Refinery . Můžete vytvořit nový sloupec, který bude obsahovat výsledek této operace, nebo můžete přepsat existující sloupec.

Rada: Datový typ sloupce určuje operace, které můžete použít. Změna datového typu může ovlivnit, které operace jsou pro daný sloupec relevantní.

• Video: Operace 'Převést typ sloupce'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace typu sloupce Convert automaticky převedou první sloupec z typu String na typ Integer. Změňme datové typy ostatních tří sloupců.
  2. Chcete-li změnit datový typ evropského sloupce z řetězce na desetinný, vyberte sloupec a poté upravte krok operace Převést typ sloupce.
  3. Chcete-li změnit datový typ evropského sloupce z řetězce na desetinný, vyberte sloupec a poté upravte krok operace Převést typ sloupce.
  4. Vyberte desetinné číslo.
  5. Sloupec používá oddělovač čárky, takže jako desetinný symbol vyberte znak čárky (,).
  6. Vyberte další sloupec DATETIME. Vyberte časové razítko a formát.
  7. Klepněte na tlačítko Použít.
  8. Sloupce jsou nyní typu Integer, Decimal, Date a Timestamp. Krok typu sloupce Convert na panelu Kroky je aktualizován.

Převést hodnotu sloupce na chybějící
Převést hodnoty ve vybraném sloupci na chybějící hodnoty, pokud odpovídají hodnotám v určeném sloupci nebo se shodují se zadanou hodnotou.

• Video: Operace 'Převést hodnotu sloupce na chybějící'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace Převést hodnotu sloupce na chybějící hodnotu převede hodnoty ve vybraném sloupci na chybějící hodnoty, pokud se shodují s hodnotami v určeném sloupci nebo pokud se shodují se zadanou hodnotou.
  2. Chybějící hodnota je ekvivalentní hodnotě SQL NULL, což je pole bez hodnoty. Liší se od nulové hodnoty nebo hodnoty, která obsahuje mezery.
  3. Hodnotu sloupce Convert můžete použít na chybějící operaci, když se domníváte, že data budou lépe reprezentována jako chybějící hodnoty. Například, chcete-li použít chybějící hodnoty v operaci Nahradit chybějící hodnoty nebo v operaci Filtrovat.
  4. Použijme hodnotu sloupce Convert na chybějící operaci pro změnu hodnot na chybějící na základě odpovídající hodnoty.
  5. Všimněte si, že sloupec DESC má mnoho řádků s hodnotou ZRUŠENO POŘADÍ. Převeďte řetězce ZRUŠENO POŘADÍ na chybějící hodnoty.
  6. Hodnota sloupce Převést na chybějící operaci je v kategorii CLEANSE.
  7. Zadejte řetězec, který má být nahrazen chybějícími hodnotami.
  8. Hodnoty, které byly dříve ZRUŠENO POŘADÍ, nyní postrádají hodnoty.

Hodnota data nebo času extrakce
Extrahovat vybranou část hodnoty data nebo času ze sloupce s datovým typem datum nebo časové razítko.

• Video: Operace 'Extrahovat hodnotu data nebo času'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace extrakce hodnoty data nebo času extrahuje vybranou část hodnoty data nebo času ze sloupce, který je datovým typem data nebo časového razítka.
  2. Sloupec DATE je datový typ String. Nejprve použijme operaci Převést typ sloupce k jeho převedení na datový typ Date.
  3. Z nabídky sloupce DATE vyberte operaci Převést typ sloupce. Vyberte datum.
  4. Vyberte formát data.
  5. Sloupec DATE je nyní datový typ data.
  6. Formát ISO Date se používá při převodu datového typu String na datový typ Date. Například řetězec 01/08/2018 byl převeden na datum 2018-01-08.
  7. Nyní můžeme extrahovat rok část data do nového sloupce.
  8. Operace hodnoty data nebo času extrakce je v kategorii CLEANSE.
  9. Vyberte rok pro část data, která se má extrahovat, a zadejte rok pro název nového sloupce.
  10. Část roku sloupce DATE je v novém sloupci, YEAR.
  11. Panel Kroky zobrazuje operaci hodnoty data nebo času extrakce.

Filtrovat
Filtrovat řádky podle vybraných sloupců. Zachovat řádky s vybranými hodnotami sloupců; odfiltrovat všechny ostatní řádky.

Pro tyto operátory řetězce Filtr neuzavírejte hodnotu do uvozovek. Pokud hodnota obsahuje uvozovky, použijte znak lomítka. Například: \"text\":

• Obsahuje
• Neobsahuje
• začíná znaky
• Nezačíná na
• Ukončit pomocí
• Nekončí na

Folowing jsou operátory pro číselné, řetězcové a logické (logické) a sloupce data a časového razítka:

• Video: Operace filtrování

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Pomocí operace Filtrovat můžete filtrovat řádky podle vybraných sloupců. V jedné operaci filtru můžete použít více podmínek.
  2. Použijte regulární výraz k odfiltrování všech řádků kromě těch, kde řetězec ve sloupci Emp ID začíná na 8.
  3. Filtrovat řádky podle dvou zkratek stavů.
  4. Klepněte na tlačítko Použít. V tabulce jsou pouze řádky, kde Emp ID začíná 8 a State je AR nebo TX.
  5. Řádky jsou nyní filtrovány podle AR a PA. Krok filtru na panelu Kroky se aktualizuje.

Odebrat sloupec
Odebrat vybraný sloupec.

• Video: Operace 'Odstranit sloupec'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Pomocí operace Odebrat sloupec rychle odeberte sloupec z datového aktiva.
  2. Nejrychlejší způsob odebrání sloupce je z nabídky sloupce.
  3. Název odebraného sloupce je na panelu Kroky.
  4. Odeberte jiný sloupec.
  5. Název odebraného sloupce je na panelu Kroky.

Odebrat duplikáty
Odebrat řádky s duplicitními hodnotami sloupců.

• Video: Operace 'Odstranit duplikáty'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace Odebrat duplikáty odebere řádky, které mají duplicitní hodnoty sloupců.
  2. Datová sada má 43 řádků. Mnoho řádků ve sloupci APPLYCODE má duplicitní hodnoty. Chceme snížit datovou sadu na řádky, kde se každá hodnota ve sloupci APPLYCODE vyskytuje pouze jednou.
  3. Vyberte operaci Odebrat duplikáty z nabídky sloupce APPLYCODE.
  4. Operace Odebrat duplikáty odebrala každý výskyt duplicitní hodnoty počínaje horním řádkem. Datová sada je nyní 4 řádky.

Odebrat prázdné řádky
Odebrat řádky, které mají pro vybraný sloupec prázdnou nebo chybějící hodnotu.

• Video: Operace 'Odstranit prázdné řádky'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace Odebrat prázdné řádky odebere řádky, které mají prázdnou nebo chybějící hodnotu pro vybraný sloupec.
  2. Chybějící hodnota je ekvivalentní hodnotě SQL NULL, což je pole bez hodnoty. Liší se od nulové hodnoty nebo hodnoty, která obsahuje mezery.
  3. Datová sada má 43 řádků. V mnoha řádcích ve sloupci TRACK chybí hodnoty. Chceme redukovat datovou sadu na řádky, které mají hodnotu ve sloupci TRACK.
  4. Z nabídky sloupce TRACK vyberte operaci Odebrat prázdné řádky.
  5. Operace Odebrat prázdné řádky odebrala každý řádek, který měl ve sloupci TRACK prázdnou nebo chybějící hodnotu. Datová sada je nyní 21 řádků.

Nahradit chybějící hodnoty
Nahradí chybějící hodnoty ve sloupci určenou hodnotou nebo hodnotou ze zadaného sloupce ve stejném řádku.

• Video: Operace 'Nahradit chybějící hodnoty'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace Nahradit chybějící hodnoty nahradí chybějící hodnoty ve sloupci určenou hodnotou nebo hodnotou ze zadaného sloupce ve stejném řádku.
  2. Sloupec STATE obsahuje mnoho řádků s prázdnými hodnotami. Tyto prázdné hodnoty chceme nahradit řetězcem.
  3. Operace Nahradit chybějící hodnoty je v kategorii CLEANSE.
  4. Ve sloupci Stav nahraďte chybějící hodnoty řetězcem Neúplné.
  5. Chybějící hodnoty nyní mají hodnotu Neúplné.
  6. Na panelu Kroky se zobrazí operace Nahradit chybějící hodnoty.

Nahradit podřetězec
Nahradí určený podřetězec zadaným textem.

• Video: Operace 'Nahradit podřetězec'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace nahrazení podřetězce nahradí podřetězec textem, který zadáte.
  2. Sloupec DECLINE obsahuje mnoho řádků, které obsahují řetězec BANC. Chceme nahradit tento řetězec BANK.
  3. Operace nahrazení podřetězce je v kategorii CLEANSE.
  4. Zadejte řetězec, který se má nahradit, a řetězec náhrady.
  5. Všechny výskyty řetězce BANC byly nahrazeny BANK.
  6. Na panelu Kroky se zobrazí operace nahrazení podřetězce.

Nahradit
Zpozorovat citlivé informace z pohledu nahrazením náhodného řetězce znaků skutečnými daty ve vybraném sloupci.

• Video: Náhradní operace

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace nahrazení zakrývá citlivé informace nahrazením náhodného řetězce znaků pro data ve vybraném sloupci.
  2. Nejrychlejší způsob, jak nahradit data ve sloupci, je vybrat volbu Nahradit z nabídky sloupce.
  3. Operace nahrazení se zobrazí na panelu Kroky.
  4. Nahraďte hodnoty v jiném sloupci.
  5. Druhá operace nahrazení se zobrazí na panelu Kroky.

SPOLEČNOST

Vypočítat
Provést výpočet s jiným sloupcem nebo se zadanou hodnotou. Jedná se o tyto operátory:

• Sčítání
• Odbor
• Mocnina
• Je mezi dvěma čísly
• Rovná se
• Je větší než
• je větší nebo rovno
• Je menší než
• je menší nebo rovno
• Nerovná se
• Zbytek
• Násobení
• Odčítání

• Video: Vypočítat operaci

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace Vypočítat provede výpočet, například sčítání nebo odečítání, s jiným sloupcem nebo s určenou hodnotou.
  2. Vyberte sloupec, který má začít.
  3. Dostupné výpočty
  4. Nyní vyberte druhý sloupec pro výpočet sčítání.
  5. A použít změnu.
  6. Sloupec ID je aktualizován a panel Kroky zobrazuje dokončenou operaci.
  7. K operacím můžete přistupovat také z nabídky sloupce.
  8. Tentokrát vyberte možnost Je mezi dvěma čísly. Zadejte rozsah a vytvořte nový sloupec pro výsledky.
  9. Nový sloupec se zobrazí v tabulce a nová operace výpočtu se zobrazí na panelu Kroky.
  10. Tentokrát vyberte možnost Je rovno pro porovnání dvou sloupců a vytvořte nový sloupec pro výsledky.
  11. Nový sloupec se zobrazí v tabulce a nová operace výpočtu se zobrazí na panelu Kroky.

Uspořádat

Agregace
Použít výpočty souhrnu na hodnoty jednoho nebo více sloupců. Každá agregace vytvoří nový sloupec. Volitelně vyberte volbu Seskupit podle sloupců , chcete-li seskupit nový sloupec podle jiného sloupce, který definuje charakteristiku skupiny, například oddělení nebo ID. Můžete seskupit podle více sloupců. V jedné operaci můžete kombinovat více agregací.

Dostupné operace agregace závisí na datovém typu.

Číselná data:

• Počet jedinečných hodnot
• Minimální
• Maximální
• Součet
• Směrodatná odchylka
• Střední

Řetězcová data:

• Kombinovat hodnoty řádků
• Počet jedinečných hodnot

• Video: Operace agregace

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace agregace použije výpočty souhrnu na hodnoty jednoho nebo více sloupců. Každá agregace vytvoří nový sloupec.
  2. Dostupné agregace závisí na tom, zda jsou data číselná nebo řetězcová.
  3. Dostupné operátory závisí na datovém typu sloupce. Dostupné operátory pro číselná data.
  4. S vybraným textovým sloupcem UniqueCarrier uvidíte dostupné operátory pro řetězcová data.
  5. Spočítáme počet jedinečných hodnot ve sloupci UniqueCarrier . Tato agregace ukáže, kolik leteckých společností je v datové sadě.
  6. V novém sloupci Airlines máme 22 leteckých společností. Ostatní sloupce jsou odstraněny.
  7. Operace agregace se zobrazí na panelu Kroky.
  8. Začněme od začátku, abychom zobrazili agregaci číselných dat.
  9. Zobrazit průměrnou (střední hodnotu) prodlev při příjezdu.
  10. Průměrná hodnota všech prodlev při příjezdu je v novém sloupci MeanArrprodleva. Ostatní sloupce jsou odstraněny.
  11. Agregovaný sloupec můžete také seskupit podle jiného sloupce, který definuje charakteristiku skupiny.
  12. Pojďme upravit krok agregace přidáním skupiny výběrem, takže můžeme vidět průměr zpoždění příjezdu letecké společnosti.
  13. Výsledky seskupte podle sloupce UniqueCarrier .
  14. Průměrné zpoždění při příletu jsou nyní seskupeny podle leteckých společností.
  15. Na panelu Kroky se zobrazí operace agregace.

Zřetězit
Zřetězit hodnoty dvou nebo více sloupců.

• Video: Zřetězit operaci

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace zřetězení zřetězí hodnoty dvou nebo více sloupců.
  2. Operace zřetězení je v kategorii ORGANIZOVAT.
  3. Vyberte sloupce, které se mají zřetězit.
  4. Vyberte oddělovač, který se má použít mezi zřetězenými hodnotami.
  5. Zadejte název sloupce pro zřetězené hodnoty.
  6. Nový sloupec se může zobrazit jako pravý sloupec v datové sadě nebo vedle původního sloupce.
  7. Ponechte původní sloupce a použijte změny.
  8. Nový sloupec DATE zobrazuje zřetězené hodnoty z ostatních tří sloupců se středníkem.
  9. Operace zřetězení se zobrazí na panelu Kroky.
  10. Sloupec DATE je datový typ String. Použijme operaci Převést typ sloupce k jeho převedení na datový typ Date.
  11. Z nabídky sloupce DATE vyberte operaci Převést typ sloupce. Vyberte datum.
  12. Vyberte formát data a vytvořte nový sloupec pro výsledek.
  13. Umístěte nový sloupec vedle původního sloupce a použijte změny.
  14. Nový sloupec se zobrazí s převedeným formátem data.
  15. Na panelu Kroky se zobrazí operace typu sloupce Převést.
  16. Formát ISO Date se používá při převodu datového typu String na datový typ Date. Například řetězec 2004; 2; 3 byl převeden na datum 2004-02-03.

Podmíněné nahrazení
Nahradí hodnoty ve sloupci na základě podmínek.

• Video: Operace 'Podmíněná náhrada'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Pomocí operace podmíněného nahrazení nahraďte hodnoty ve sloupci na základě podmínek.
  2. Nejprve zadejte podmínky pro nahrazení dat ve sloupci řetězce CODE a vytvořte nový sloupec pro výsledky.
  3. Dostupné operátory podmínky pro řetězcová data.
  4. Přidejte první podmínku-CONDITION 1: CODE Is equal to value C replace with COMPLETE.
  5. Přidejte druhou podmínku-CONDITION 2: CODE se rovná hodnotě, kterou nahradím hodnotou INCOMPLETE.
  6. Určete, co se má provést s hodnotami, které nesplňují podmínky. Zde zadáme dvě dvojité uvozovky, které označují prázdný řetězec.
  7. Vytvořte nový sloupec pro výsledky.
  8. Nový sloupec STATUS zobrazuje podmíněné náhrady ze sloupce CODE.
  9. Operace podmíněného nahrazení se zobrazí na panelu Kroky.
  10. Dále specifikujme podmínky pro nahrazení dat ve sloupci INPUT integer a vytvoříme nový sloupec pro výsledky.
  11. Dostupné operátory podmínek pro číselná data.
  12. Přidejte první podmínku-CONDITION 1: INPUT je menší nebo rovno hodnotě 3 nahradit hodnotou LOW.
  13. Přidejte druhou podmínku-CONDITION 2: INPUT Je v hodnotách 4,5,6 nahradit hodnotou MED.
  14. Přidejte třetí podmínku-CONDITION 3: INPUT je větší nebo rovno hodnotě 7 nahradit hodnotou HIGH.
  15. Určete, co se má provést s hodnotami, které nesplňují podmínky.
  16. Vytvořte nový sloupec pro výsledky.
  17. Nový sloupec RATING zobrazuje podmíněné náhrady ze sloupce INPUT.
  18. Operace podmíněného nahrazení se zobrazí na panelu Kroky.

Spojení
Kombinovat data ze dvou datových sad na základě porovnání hodnot v uvedených klíčových sloupcích. Určete typ spojení, které se má provést, vyberte sloupce (klíče spojení) v obou datových sadách, které chcete porovnat, a vyberte sloupce, které chcete ve výsledné datové sadě.

Sloupce klíče spojení v obou datových sadách musí být kompatibilní s datovými typy. Pokud je operace Spojit prvním krokem, který přidáte, zkontrolujte, zda operace Převést typ sloupce automaticky převedou datový typ sloupců klíče spojení v první datové sadě při otevření souboru v Data Refinery. V závislosti na tom, kde je operace Spojit v toku Data Refinery , můžete také použít operaci Převést typ sloupce , abyste se ujistili, že se datové typy sloupců klíče spojení shodují. Klepněte na předchozí krok na panelu Kroky , abyste viděli pohled snímku kroku.

Typy spojení zahrnují:

• Video: Operace spojení

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Datová sada customers.csv obsahuje informace o zákaznících vaší společnosti a datová sada sales.csv obsahuje informace o obchodních zástupcích vaší společnosti.
  2. Datové sady sdílejí sloupec SALESREP_ID.
  3. Datová sada customers.csv je otevřena v Data Refinery.
  4. Operace spojení může kombinovat data z těchto dvou datových sad na základě porovnání hodnot ve sloupci SALESREP_ID.
  5. Chcete provést vnitřní spojení, aby se vrátily pouze řádky v každé datové sadě, které se shodují v jiné datové sadě.
  6. Můžete přidat vlastní příponu pro připojení ke sloupcům, které existují v obou datových sadách, aby se zobrazila zdrojová datová sada pro tento sloupec.
  7. Vyberte datovou sadu sales.csv pro spojení s datovou sadou customers.csv .
  8. Pro klíč spojení začněte psát název sloupce, aby se zobrazil filtrovaný seznam. Sloupec SALESREP_ID propojuje dvě datové sady.
  9. Dále vyberte sloupce, které chcete zahrnout. Duplicitní sloupce zobrazí připojenou příponu.
  10. Nyní použijte změny.
  11. Operace spojení se zobrazí na panelu Kroky.
  12. Nyní je datová sada obohacena o sloupce z datových sad customers.csv a sales.csv .

Přejmenovat sloupec
Přejmenovat vybraný sloupec.

• Video: Operace 'Přejmenovat sloupec'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. K rychlému přejmenování sloupce použijte operaci Přejmenovat sloupec.
  2. Nejrychlejší způsob přejmenování sloupce je upravit název sloupce v tabulce.
  3. Upravte jméno a stiskněte klávesu Enter na klávesnici.
  4. Krok sloupce Přejmenovat zobrazuje starý název a nový název.
  5. Nyní přejmenujte další sloupec.
  6. Panel Kroky zobrazuje sloupec BANKS přejmenovaný na DOGS.
  7. Nyní přejmenujte poslední sloupec.
  8. Panel Kroky zobrazuje sloupec RATIOS přejmenovaný na BIRDS.

Ukázka
Vygenerujte podmnožinu dat pomocí jedné z následujících metod. Kroky vzorkování z operací uživatelského rozhraní se použijí pouze při spuštění toku.

• Náhodný vzorek: Každý datový záznam dílčí sady má stejnou pravděpodobnost výběru.
• Stratifikovaný vzorek: Rozdělte data do jedné nebo více podskupin s názvem strata. Pak vygenerujte jeden náhodný vzorek, který obsahuje data z každé podskupiny.

• Video: Ukázková operace

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Ukázková operace vygeneruje podmnožinu vašich dat.
  2. Operaci Ukázka použijte, když máte velké množství dat a chcete pracovat na reprezentativním vzorku pro rychlejší prototypování.
  3. Ukázková operace je v kategorii ORGANIZOVAT.
  4. Chcete-li vytvořit ukázku, vyberte jednu ze dvou metod.
  5. U náhodného vzorku má každý řádek stejnou pravděpodobnost, že bude zahrnut do dat vzorku.
  6. Náhodný vzorek můžete vybrat podle počtu řádků nebo podle procenta dat.
  7. Stratifikovaný vzorek vychází z náhodného vzorku. Stejně jako u náhodného vzorku určíte množství dat ve vzorku (řádky nebo procenta).
  8. Pomocí stratifikovaného vzorku rozdělíte data do jedné nebo více podskupin nazývaných vrstvy. Pak vygenerujete jeden náhodný vzorek, který obsahuje upravená data z každé podskupiny.
  9. V případě metody, pokud vyberete volbu Automaticky, vyberete jeden sloupec pro vrstvy.
  10. Vyberete-li volbu Ruční, zadáte jednu nebo více vrstev a pro každou vrstvu určíte podmínky filtru, které definují řádky v jednotlivých vrstvách.
  11. V tomto příkladu dat letecké společnosti vytvoříme dvě vrstvy. Jedna vrstva definuje 50% výstupu, aby měla letiště v New Yorku, a druhá vrstva definuje zbývajících 50%, aby měla stanovenou letovou vzdálenost.
  12. Do pole Zadejte podrobnosti pro tuto vrstvu zadejte procentní část vzorku, která bude představovat podmínky, které určíte v této první vrstvě. Celkové procento vrstev musí být 100%.
  13. Dostupné operátory pro řetězcová data.
  14. 50% vzorku bude mít New York City oblasti cílových letišť.
  15. Klepnutím na tlačítko Uložit uložte první vrstvy.
  16. První vrstvy označené jako Strata0mají jednu podmínku. V těchto vrstvách musí 50% vzorku splňovat podmínku.
  17. Do pole Zadejte podrobnosti pro tuto vrstvu zadejte procentní část vzorku, která bude představovat podmínky, které určíte v druhé vrstvě.
  18. Dostupné operátory pro číselná data.
  19. 50% vzorku bude určeno pro lety se vzdáleností větší než 500.
  20. Klepnutím na tlačítko Uložit uložte druhé vrstvy.
  21. Druhá vrstva, označená jako Strata1, má jednu podmínku. V těchto vrstvách musí 50% vzorku splňovat podmínku.
  22. Pokud použijete více vrstev, vzorová operace interně použije operaci Filtr s podmínkou OR na vrstvách. V závislosti na datech, podmínkách a velikosti vzorku se výsledky použití jedné vrstvy s více podmínkami mohou lišit od použití více vrstev.
  23. Na rozdíl od ostatních operací Data Refinery změní ukázková operace datovou sadu pouze po vytvoření a spuštění úlohy pro tok Data Refinery .
  24. Ukázkový krok se zobrazí na panelu Kroky.
  25. Datová sada je více než 10000 řádků.
  26. Uložte a vytvořte úlohu pro tok Data Refinery .
  27. Nový soubor aktiva se přidá do projektu pro výstup toku Data Refinery .
  28. Zobrazte výstupní soubor.
  29. Ve sloupci Dest je 10 řádků (50% vzorku) s letišti v New Yorku, ale 17 řádků ve sloupci Distance s hodnotami většími než 500.
  30. Tyto výsledky jsou proto, že vrstvy byly použity s podmínkou OR a existovaly překrývající se data pro podmínky uvedené v prvních vrstvách, kde řádky, které byly filtrovány podle Dest obsahující letiště v New Yorku, měly hodnoty vzdálenosti větší než 500.
  31. Výstupní soubor v Data Refinery zobrazuje sníženou velikost.

Seřadit vzestupně
Seřadit všechny řádky v tabulce podle vybraného sloupce ve vzestupném pořadí.

Seřadit sestupně
Seřadí všechny řádky v tabulce podle vybraného sloupce v sestupném pořadí.

• Video: Operace řazení

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Rychle seřaďte všechny řádky v datové sadě tak, že seřadíte řádky ve vybraném sloupci.
  2. Nejrychlejší způsob řazení sloupců je z nabídky sloupce.
  3. Řádky můžete řadit vzestupně nebo sestupně.
  4. Řadit vzestupně.
  5. Pořadí všech řádků v tabulce je aktualizováno operací řazení prvního sloupce.
  6. Operace řazení se zobrazí na panelu Kroky.
  7. Řadit sestupně.
  8. Pořadí všech řádků v tabulce se změní pomocí operace řazení druhého sloupce.
  9. Druhá operace řazení se zobrazí na panelu Kroky.
  10. Řadit vzestupně.
  11. Pořadí všech řádků v tabulce se změní pomocí operace řazení třetího sloupce.
  12. Třetí operace řazení se zobrazí na panelu Kroky.

Rozdělit sloupec
Rozdělit sloupec podle jiných než alfanumerických znaků, pozice, vzoru nebo textu.

• Video: Operace 'Rozdělit sloupec'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace rozdělení sloupce rozdělí jeden sloupec na dva nebo více sloupců na základě jiných než alfanumerických znaků, textu, vzoru nebo pozice.
  2. Začněme rozdělením sloupce YMD na sloupce YEAR, MONTH a DAY.
  3. Operace rozdělení sloupce je v kategorii ORGANIZOVAT.
  4. Nejprve vyberte sloupec YMD, který se má rozdělit.
  5. Karty nabízejí čtyři možnosti pro rozdělení sloupce.
  6. Hodnota DEFAULT používá k rozdělení sloupce jakýkoli jiný než alfanumerický znak, který je uveden v hodnotách sloupce.
  7. V poli TEXT vyberte znak nebo zadejte text pro rozdělení sloupce.
  8. V parametru PATTERN zadáte regulární výraz na základě syntaxe R, abyste určili, kde se má sloupec rozdělit.
  9. V poli POSITION můžete určit, na jaké pozici má být sloupec rozdělen.
  10. Chceme rozdělit sloupec YMD pomocí hvězdičky (*), což je jiný než alfanumerický znak, takže vybereme kartu DEFAULT.
  11. Rozdělte sloupec YMD na tři nové sloupce-YEAR, MONTH a DAY.
  12. Do datové sady se přidají tři nové sloupce, YEAR, MONTH a DAY.
  13. Operace rozdělení sloupce se zobrazí na panelu Kroky.
  14. Dále rozdělte sloupec FLIGHT na dva sloupce-jeden pro kód letecké společnosti a jeden pro číslo letu. Vzhledem k tomu, že kódy leteckých společností jsou dva znaky, můžeme sloupec rozdělit podle pozice.
  15. Klepněte na kartu POZICE a pak zadejte 2 do pole Pozice.
  16. Rozdělte sloupec FLIGHT na dva nové sloupce-AIRLINE a FLTNMBR.
  17. Do datové sady se přidají dva nové sloupce, AIRLINE a FLIGHTNBR.
  18. Operace rozdělení sloupce se zobrazí na panelu Kroky.

Sjednocení
Zkombinujte řádky ze dvou datových sad, které sdílejí stejné schéma, a odfiltrujte duplikáty. Vyberete-li volbu Povolit jiný počet sloupců a povolit duplicitní hodnoty, bude operace příkazem UNION ALL .

• Video: Provoz Unie

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace sjednocení kombinuje řádky ze dvou datových sad, které sdílejí stejné schéma.
  2. Tato datová sada má čtyři sloupce a šest řádků. Datové typy zleva doprava jsou String, String, Decimal, String.
  3. Když byla datová sada načtena do Data Refinery, operace typu sloupce AUTOMATIC Convert automaticky převedla sloupec PRICE na datový typ Decimal.
  4. Sloupce v druhé datové sadě musí být kompatibilní s datovými typy v této datové sadě.
  5. Vyberte datovou sadu, kterou chcete kombinovat s aktuální datovou sadou.
  6. Když zobrazíte náhled nové datové sady, uvidíte, že má také čtyři sloupce. Avšak sloupec PRICE je datový typ String.
  7. Před použitím operace sjednocení musíte odstranit krok typu sloupce AUTOMATIC Convert, aby byl sloupec PRICE stejného datového typu jako sloupec PRICE v nové datové sadě (String).
  8. Sloupec PRICE je nyní řetězcová data.
  9. Nyní opakujte operaci sjednocení.
  10. Nová datová sada se přidá do aktuální datové sady. Datová sada se zvýší na 12 řádků.
  11. Operace sjednocení se zobrazí na panelu Kroky.
  12. Nyní přidejte datovou sadu, která má jiný počet sloupců. Odpovídající sloupce musí být stále kompatibilní s datovými typy.
  13. Vyberte datovou sadu, kterou chcete kombinovat s aktuální datovou sadou.
  14. Při náhledu nové datové sady uvidíte, že má o jeden sloupec více než původní datová sada. Pátý sloupec je TYPE.
  15. Vyberte možnost Povolit jiný počet sloupců a povolit duplicitní hodnoty.
  16. Použít operaci Unie.
  17. Nová datová sada se přidá do aktuální datové sady. Datová sada se zvýší na 18 řádků.
  18. Do datové sady se přidá další sloupec TYPE.
  19. Operace sjednocení se zobrazí na panelu Kroky.

Tip pro operaci Union : Pokud se zobrazí chyba týkající se nekompatibilních schémat, zkontrolujte, zda automatická operace Převést typ sloupce změnila datové typy první datové sady. Odstraňte krok Převést typ sloupce a zkuste to znovu.

PŘIROZENÝ JAZYK

Odebrat ignorovaná slova Odeberte běžná slova anglického jazyka, například "the" nebo "and". Ignorovaná slova obvykle mají malou sémantickou hodnotu pro algoritmy a modely analýzy textu. Odeberte ignorovaná slova, abyste snížili objem dat a zlepšili kvalitu dat, která používáte k trénování modelů strojového učení.

Volitelné: Chcete-li potvrdit, která slova byla odebrána, použijte operaci Tokenize (podle slov) na vybraný sloupec a poté zobrazte statistiku pro slova na kartě Profil . Krok Tokenize můžete vrátit zpět později v toku Data Refinery .

• Video: Operace 'Odstranit ignorovaná slova'

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace Odebrat ignorovaná slova odebere z datové sady běžná slova anglického jazyka. Ignorovaná slova obvykle mají malou sémantickou hodnotu pro algoritmy a modely analýzy textu. Odeberte ignorovaná slova, abyste snížili objem dat a zlepšili kvalitu dat.
  2. Operace Odstranit ignorovaná slova odstraní tato slova: a, an, a, jsou, jako, at, být, ale, od, pokud, v, do, je, to, ne, ne, ne, na, nebo, takový, že,, jejich, pak, tam, tyto, oni, to, to, bylo, bude.
  3. Operace Odebrat ignorovaná slova je v kategorii NATURAL LANGUAGE.
  4. Vyberte sloupec STRING.
  5. Klepnutím na tlačítko Použít odeberte ignorovaná slova.
  6. Ignorovaná slova jsou odebrána ze sloupce STRING.
  7. Operace Odebrat ignorovaná slova se zobrazí na panelu Kroky.

Tokenize
Zalomí anglický text na slova, věty, odstavce, řádky, znaky nebo regulárním výrazem.

• Video: Operace Tokenize

  Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

  Transkripce videa

  1. Operace Tokenize rozdělí anglický text na slova, věty, odstavce, řádky, znaky nebo regulárním výrazem.
  2. Operace Tokenize spadá do kategorie NATURAL LANGUAGE.
  3. Vyberte sloupec STRING.
  4. Dostupné volby tokenizace.
  5. Vytvořte nový sloupec s názvem WORDS.
  6. Operace Tokenize převzala slova ze sloupce STRING a vytvořila nový sloupec WORDS s řádkem pro každé slovo.
  7. Operace Tokenize se zobrazí na panelu Kroky.

Nadřízené téma: Rafinace dat