Trascrizione del video

1. L'operazione Converti tipo di colonna ha convertito automaticamente la prima colonna da Stringa a Intero. Modifichi i tipi di dati delle altre tre colonne.
2. Per modificare il tipo di dati della colonna europea da stringa a decimale, selezionare la colonna e quindi modificare il passo dell'operazione Converti tipo di colonna.
3. Per modificare il tipo di dati della colonna europea da stringa a decimale, selezionare la colonna e quindi modificare il passo dell'operazione Converti tipo di colonna.
4. Selezionare Decimale.
5. La colonna utilizza il delimitatore virgola, quindi selezionare Comma (,) per il simbolo decimale.
6. Selezionare la colonna successiva, DATETIME. Selezionare data/ora e un formato.
7. Fare clic su Presenta domanda.
8. Le colonne sono ora tipi di dati Integer, Decimal, Date e Timestamp. Il passo Converti tipo di colonna nel pannello Fasi viene aggiornato.

Trascrizione del video

1. L'operazione Converti valore colonna in mancante converte i valori in una colonna selezionata in valori mancanti se corrispondono ai valori in una colonna specificata o se corrispondono a un valore specificato.
2. Un valore mancante è equivalente a SQL NULL, che è un campo senza valore. È diverso da un valore zero o da un valore che contiene spazi.
3. È possibile utilizzare l'operazione Converti valore della colonna in mancante quando si pensa che i dati sarebbero meglio rappresentati come valori mancanti. Ad esempio, quando si desidera utilizzare i valori mancanti in un'operazione Sostituisci valori mancanti o in un'operazione Filtro.
4. Utilizzare l'operazione Converti valore della colonna in mancante per modificare i valori in mancanti in base a un valore corrispondente.
5. Notare che la colonna DESC ha molte righe con il valore ANNULLATO ORDINE. Convertiamo le stringhe ORDINE ANNULLATO in valori mancanti.
6. Il valore della colonna Converti in operazione mancante è nella categoria CLEANSE.
7. Immettere la stringa da sostituire con i valori mancanti.
8. I valori precedentemente ANNULLATO ORDINE sono ora mancanti.

Trascrizione del video

1. L'operazione Estrai valore data o ora estrae una porzione selezionata di un valore data o ora da una colonna che è un tipo di dati data o data/ora.
2. La colonna DATE è un tipo di dati stringa. Innanzitutto, utilizzare l'operazione Converti tipo di colonna per convertirlo nel tipo di dati Data.
3. Selezionare l'operazione di conversione del tipo di colonna dal menu della colonna DATE. Selezionare la data.
4. Selezionare un formato data.
5. La colonna DATE è ora un tipo di dati data.
6. Il formato data ISO viene utilizzato quando il tipo di dati stringa è stato convertito nel tipo di dati data. Ad esempio, la stringa 01/08/2018 è stata convertita nella data 2018-01-08.
7. Ora possiamo estrarre la parte della data relativa all'anno in una nuova colonna.
8. L'operazione di estrazione del valore data o ora si trova nella categoria CLEANSE.
9. Selezionare Anno per la parte della data da estrarre e immettere ANNO per il nome della nuova colonna.
10. La parte relativa all'anno della colonna DATE si trova nella nuova colonna, ANNO.
11. Il pannello Passi visualizza l'operazione di estrazione del valore di data o ora.

Trascrizione del video

1. Utilizzare l'operazione Filtro per filtrare le righe in base alle colonne selezionate. È possibile applicare più condizioni in un'unica operazione di filtro.
2. Utilizzare un'espressione regolare per filtrare tutte le righe tranne quelle in cui la stringa nella colonna Emp ID inizia con 8.
3. Filtra le righe in base alle abbreviazioni di due stati.
4. Fare clic su Presenta domanda. Nella tabella sono presenti solo le righe in cui Emp ID inizia con 8 e State è AR o TX.
5. Le righe vengono ora filtrate per AR e PA. Il passo Filtro nel pannello Passi viene aggiornato.

Trascrizione del video

1. Utilizzare l'operazione Rimuovi colonna per rimuovere rapidamente una colonna da un asset di dati.
2. Il modo più rapido per rimuovere una colonna è dal menu della colonna.
3. Il nome della colonna rimossa si trova nel pannello Passi.
4. Rimuovere un'altra colonna.
5. Il nome della colonna rimossa si trova nel pannello Passi.

Trascrizione del video

1. L'operazione Rimuovi duplicati rimuove le righe che hanno valori di colonna duplicati.
2. Il dataset ha 43 righe. Molte delle righe nella colonna APPLYCODE hanno valori duplicati. Si desidera ridurre il dataset alle righe in cui ogni valore nella colonna APPLYCODE ricorre una sola volta.
3. Selezionare l'operazione Rimuovi duplicati dal menu della colonna APPLYCODE.
4. L'operazione Rimuovi duplicati ha rimosso ogni ricorrenza di un valore duplicato. Il dataset è ora di 4 righe.

Trascrizione del video

1. L'operazione Rimuovi righe vuote rimuove le righe che hanno un valore vuoto o mancante per la colonna selezionata.
2. Un valore mancante è equivalente a SQL NULL, che è un campo senza valore. È diverso da un valore zero o da un valore che contiene spazi.
3. Il dataset ha 43 righe. Molte delle righe nella colonna TRACK hanno valori mancanti. Si desidera ridurre il dataset alle righe che hanno un valore nella colonna TRACK.
4. Selezionare l'operazione Rimuovi righe vuote dal menu della colonna TRACK.
5. L'operazione Rimuovi righe vuote ha rimosso ogni riga che aveva un valore vuoto o mancante nella colonna TRACK. Il dataset è ora di 21 righe.

Trascrizione del video

1. L'operazione Sostituisci valori mancanti sostituisce i valori mancanti in una colonna con un valore specificato o con il valore di una colonna specificata nella stessa riga.
2. La colonna STATE contiene molte righe con valori vuoti. Si desidera sostituire tali valori vuoti con una stringa.
3. L'operazione Sostituisci valori mancanti si trova nella categoria CLEANSE.
4. Per la colonna Stato, sostituire i valori mancanti con la stringa Incompleta.
5. I valori mancanti hanno ora il valore Incompleto.
6. Il pannello Passi visualizza l'operazione Sostituisci valori mancanti.

Trascrizione del video

1. L'operazione Sostituisci stringa secondaria sostituisce una stringa secondaria con il testo specificato.
2. La colonna DECLINO contiene molte righe che includono la stringa BANC. Si desidera sostituire questa stringa con BANK.
3. L'operazione Sostituisci sottostringa si trova nella categoria CLEANSE.
4. Immettere la stringa da sostituire e la stringa di sostituzione.
5. Tutte le ricorrenze della stringa BANC sono state sostituite con BANK.
6. Il pannello Passi visualizza l'operazione Sostituisci stringa secondaria.

Trascrizione del video

1. L'operazione Sostituisci oscura le informazioni sensibili sostituendo una stringa casuale di caratteri per i dati nella colonna selezionata.
2. Il modo più rapido per sostituire i dati in una colonna è selezionare Sostituisci dal menu della colonna.
3. L'operazione Sostituisci viene visualizzata nel riquadro Passi.
4. Sostituire i valori in un'altra colonna.
5. La seconda operazione Sostituisci viene visualizzata nel pannello Passi.

Trascrizione del video

1. L'operazione Calcola esegue un calcolo, ad esempio l'addizione o la sottrazione, con un'altra colonna o con un valore specificato.
2. Selezionare la colonna da iniziare.
3. Calcoli disponibili
4. Ora selezionare la seconda colonna per il calcolo dell'aggiunta.
5. E applicare la modifica.
6. La colonna ID viene aggiornata e il pannello Passi mostra l'operazione completata.
7. È inoltre possibile accedere alle operazioni dal menu della colonna.
8. Questa volta, selezionare È tra due numeri. Specificare l'intervallo e creare una nuova colonna per i risultati.
9. La nuova colonna viene visualizzata nella tabella e la nuova operazione di calcolo viene visualizzata nel riquadro Passi.
10. Questa volta, selezionare È uguale per confrontare due colonne e creare una nuova colonna per i risultati.
11. La nuova colonna viene visualizzata nella tabella e la nuova operazione di calcolo viene visualizzata nel riquadro Passi.

Trascrizione del video

1. L'operazione Aggrega applica i calcoli di riepilogo ai valori di una o più colonne. Ogni aggregazione crea una nuova colonna.
2. Le aggregazioni disponibili dipendono dal fatto che i dati siano numerici o stringa.
3. Gli operatori disponibili dipendono dal tipo di dati della colonna. Operatori disponibili per i dati numerici.
4. Con la colonna di testo UniqueCarrier selezionata, è possibile vedere gli operatori disponibili per i dati stringa.
5. Verrà conteggiato il numero di valori univoci nella colonna UniqueCarrier . Questa aggregazione mostrerà quante compagnie aeree si trovano nel dataset.
6. Abbiamo 22 compagnie aeree nella nuova colonna Compagnie aeree. Le altre colonne sono cancellate.
7. L'operazione di aggregazione viene visualizzata nel pannello Passi.
8. Partiamo per mostrare un'aggregazione su dati numerici.
9. Mostra la media (valore medio) dei ritardi di arrivo.
10. Il valore medio di tutti i ritardi di arrivo è nella nuova colonna Ritardo MeanArr. Le altre colonne sono cancellate.
11. È anche possibile raggruppare la colonna aggregata per un'altra colonna che definisce una caratteristica del gruppo.
12. Modifichiamo il passo di aggregazione aggiungendo un gruppo per selezione in modo da poter vedere la media dei ritardi di arrivo per compagnia aerea.
13. Raggruppare i risultati in base alla colonna UniqueCarrier .
14. I ritardi medi di arrivo sono ora raggruppati per compagnia aerea.
15. Il pannello Passi visualizza l'operazione di aggregazione.

Trascrizione del video

1. L'operazione Concatena concatena i valori di due o più colonne.
2. L'operazione Concatena si trova nella categoria ORGANIZE.
3. Selezionare le colonne da concatenare.
4. Selezionare un separatore da utilizzare tra i valori concatenati.
5. Immettere un nome per la colonna per i valori concatenati.
6. La nuova colonna può essere visualizzata come la colonna più a destra nel dataset o accanto alla colonna originale.
7. Mantenere le colonne originali ed applicare le modifiche.
8. La nuova colonna DATE mostra i valori concatenati delle altre tre colonne con un separatore punto e virgola.
9. L'operazione Concatena viene visualizzata nel pannello Passi.
10. La colonna DATE è un tipo di dati stringa. Utilizzare l'operazione di conversione del tipo di colonna per convertirlo nel tipo di dati Data.
11. Selezionare l'operazione di conversione del tipo di colonna dal menu della colonna DATE. Selezionare la data.
12. Selezionare un formato data e creare una nuova colonna per il risultato.
13. Posizionare la nuova colonna accanto alla colonna originale e applicare le modifiche.
14. La nuova colonna viene visualizzata con il formato data convertito.
15. L'operazione Converti tipo di colonna viene visualizzata nel riquadro Passi.
16. Il formato data ISO viene utilizzato quando il tipo di dati stringa è stato convertito nel tipo di dati data. Ad esempio, la stringa 2004; 2; 3 è stata convertita nella data 2004-02-03.

Trascrizione del video

1. Utilizzare l'operazione di sostituzione condizionale per sostituire i valori in una colonna basata su condizioni.
2. Innanzitutto, specificare le condizioni per sostituire i dati nella colonna della stringa CODE e creare una nuova colonna per i risultati.
3. Operatori di condizione disponibili per i dati stringa.
4. Aggiungere la prima condizione - CONDITION 1: CODE È uguale al valore C sostituire con COMPLETE.
5. Aggiungere una seconda condizione - CONDITION 2: CODE È uguale al valore I sostituito con INCOMPLETE.
6. Specificare cosa fare con i valori che non soddisfano le condizioni. Qui verranno immessi due doppi apici per indicare una stringa vuota.
7. Creare una nuova colonna per i risultati.
8. La nuova colonna, STATUS, mostra le sostituzioni condizionali dalla colonna CODE.
9. L'operazione di sostituzione condizionale viene visualizzata nel pannello Passi.
10. Successivamente, specificare le condizioni per sostituire i dati nella colonna Numero intero INPUT e creare una nuova colonna per i risultati.
11. Operatori di condizione disponibili per dati numerici.
12. Aggiungere la prima condizione - CONDIZIONE 1: INPUT È minore o uguale al valore 3 sostituire con il valore LOW.
13. Aggiungere una seconda condizione - CONDITION 2: INPUT È nei valori 4,5,6 sostituire con il valore MED.
14. Aggiungere una terza condizione - CONDITION 3: INPUT È maggiore o uguale al valore 7 sostituire con il valore HIGH.
15. Specificare cosa fare con i valori che non soddisfano le condizioni.
16. Creare una nuova colonna per i risultati.
17. La nuova colonna, RATING, mostra le sostituzioni condizionali dalla colonna INPUT.
18. L'operazione di sostituzione condizionale viene visualizzata nel pannello Passi.

Trascrizione del video

1. Il dataset customers.csv contiene informazioni sui clienti dell'azienda e il dataset sales.csv contiene informazioni sui rappresentanti di vendita dell'azienda.
2. I dataset condividono la colonna SALESREP_ID.
3. Il dataset customers.csv è aperto in Data Refinery.
4. L'operazione di unione può combinare i dati da questi due dataset in base a un confronto dei valori nella colonna SALESREP_ID.
5. Si desidera eseguire un'unione interna per restituire solo le righe in ogni dataset che corrispondono nell'altro dataset.
6. È possibile aggiungere un suffisso personalizzato da aggiungere alle colonne che esistono in entrambi i dataset per visualizzare il dataset di origine per tale colonna.
7. Selezionare il dataset sales.csv da unire al dataset customers.csv .
8. Per la chiave di unione, iniziare a immettere il nome della colonna per visualizzare un elenco filtrato. La colonna SALESREP_ID collega i due dataset.
9. Successivamente, selezionare le colonne da includere. Le colonne duplicate visualizzano il suffisso aggiunto.
10. Ora applica le modifiche.
11. L'operazione di unione viene visualizzata nel pannello Passi.
12. Ora, il dataset viene arricchito con le colonne dai dataset customers.csv e sales.csv .

Trascrizione del video

1. Utilizzare l'operazione Rinomina colonna per rinominare rapidamente una colonna.
2. Il modo più rapido per rinominare una colonna è modificare il nome della colonna nella tabella.
3. Modificare il nome e premere Invio sulla tastiera.
4. Il passo Rinomina colonna mostra il vecchio nome e il nuovo nome.
5. Ora rinominare un'altra colonna.
6. Il pannello Passi mostra che la colonna BANKS è stata ridenominata DOGS.
7. Ora ridenominare l'ultima colonna.
8. Il pannello Fasi mostra che la colonna RATIO è stata rinominata BIRDS.

Trascrizione del video

1. L'operazione di esempio genera un sottoinsieme di dati.
2. Utilizzare l'operazione di esempio quando si dispone di una grande quantità di dati e si desidera lavorare su un campione rappresentativo per una prototipazione più rapida.
3. L'operazione di esempio è nella categoria ORGANIZE.
4. Scegliere uno dei due metodi per creare un esempio.
5. Con un campione casuale, ogni riga ha la medesima probabilità di essere inclusa nei dati di esempio.
6. È possibile scegliere un campione casuale in base al numero di righe o in base alla percentuale di dati.
7. Un campione stratificato si basa su un campione casuale. Come per un campione casuale, si specifica la quantità di dati nel campione (righe o percentuale).
8. Con un campione stratificato, si suddividono i dati in uno o più sottogruppi denominati strati. Poi, si genera un campione casuale che contiene dati personalizzati da ciascun sottogruppo.
9. Per Metodo, se si sceglie Automatico, si seleziona una colonna per gli strati.
10. Se si sceglie Manuale, si specificano uno o più strati e per ogni strato si specificano le condizioni di filtro che definiscono le righe in ogni strato.
11. In questo esempio di dati della compagnia aerea, creeremo due strati. Uno strato definisce il 50% della produzione per avere gli aeroporti di destinazione di New York e il secondo definisce il restante 50% per avere una specifica distanza di volo.
12. In Specifica dettagli per questa casella di livello, immettere la percentuale del campione che rappresenterà le condizioni che verranno specificate in questo primo livello. Le percentuali degli strati devono essere pari al 100%.
13. Operatori disponibili per i dati stringa.
14. Il 50% del campione avrà aeroporti di destinazione dell'area di New York.
15. Fare clic su Salva per salvare i primi strati.
16. I primi strati, identificati come Strata0, hanno una condizione. In questi strati, il 50% del campione deve soddisfare la condizione.
17. Nella casella Specifica dettagli per questo livello, immettere la percentuale del campione che rappresenterà le condizioni che verranno specificate nel secondo livello.
18. Operatori disponibili per i dati numerici.
19. Il 50% del campione sarà per i voli con una distanza superiore a 500.
20. Fare clic su Salva per salvare i secondi strati.
21. Il secondo strato, identificato come Strata1, ha una condizione. In questi strati, il 50% del campione deve soddisfare la condizione.
22. Se si utilizzano più strati, l'operazione di esempio applica internamente un'operazione Filtro con una condizione OR sugli strati. A seconda dei dati, delle condizioni e della dimensione del campione, i risultati dell'utilizzo di uno strato con più condizioni potrebbero differire dall'utilizzo di più strati.
23. A differenza delle altre operazioni Data Refinery , l'operazione di esempio modifica il dataset solo dopo aver creato ed eseguito un job per il flusso Data Refinery .
24. Il passo Esempio viene visualizzato nel pannello Passi.
25. Il dataset è oltre 10000 righe.
26. Salvare e creare un lavoro per il flusso Data Refinery .
27. Il nuovo file di asset viene aggiunto al progetto per l'output del flusso Data Refinery .
28. Visualizzare il file di output.
29. Ci sono 10 righe (il 50% del campione) con gli aeroporti di New York nella colonna Dest, ma 17 righe nella colonna Distanza con valori maggiori di 500.
30. Questi risultati sono dovuti al fatto che gli strati sono stati applicati con una condizione OR ed erano presenti dati di sovrapposizione per le condizioni specificate nei primi strati in cui le righe filtrate per Dest contenente gli aeroporti di New York avevano valori di distanza maggiori di 500.
31. Il file di output in Data Refinery mostra la dimensione ridotta.

Trascrizione del video

1. Ordina rapidamente tutte le righe in un dataset ordinando le righe in una colonna selezionata.
2. Il modo più rapido per ordinare le colonne è dal menu della colonna.
3. È possibile ordinare le righe in ordine crescente o decrescente.
4. Ordinamento crescente.
5. L'ordine di tutte le righe nella tabella viene aggiornato dall'operazione Ordina della prima colonna.
6. L'operazione Ordina viene visualizzata nel pannello Passi.
7. Ordinamento decrescente.
8. L'ordine di tutte le righe nella tabella viene modificato dall'operazione Ordina della seconda colonna.
9. La seconda operazione di ordinamento viene visualizzata nel riquadro Passi.
10. Ordinamento crescente.
11. L'ordine di tutte le righe nella tabella viene modificato dall'operazione Ordina della terza colonna.
12. La terza operazione di ordinamento viene visualizzata nel pannello Passi.

Trascrizione del video

1. L'operazione Suddividi colonna suddivide una colonna in due o più colonne basate su caratteri non alfanumerici, testo, modello o posizione.
2. Per iniziare, dividiamo la colonna YMD in colonne YEAR, MONTH e DAY.
3. L'operazione Suddividi colonna è nella categoria ORGANIZE.
4. Innanzitutto, selezionare la colonna AMG da suddividere.
5. Le schede offrono quattro opzioni per suddividere la colonna.
6. DEFAULT utilizza qualsiasi carattere non alfanumerico presente nei valori della colonna per suddividere la colonna.
7. In TEXT, si seleziona un carattere o si immette un testo per dividere la colonna.
8. In PATTERN, si immette un'espressione regolare basata sulla sintassi R per determinare dove suddividere la colonna.
9. In POSITION, specificare la posizione in cui suddividere la colonna.
10. Si desidera dividere la colonna YMD con l'asterisco (*), che è un carattere non alfanumerico, in modo da selezionare la scheda DEFAULT.
11. Dividere la colonna YMD in tre nuove colonne - ANNO, MESE e GIORNO.
12. Le tre nuove colonne, ANNO, MESE e GIORNO, vengono aggiunte al dataset.
13. L'operazione Suddividi colonna viene visualizzata nel riquadro Passi.
14. Successivamente, suddivide la colonna FLIGHT in due colonne: una per il codice della compagnia aerea e una per il numero di volo. Poiché i codici delle compagnie aeree sono di due caratteri, possiamo dividere la colonna per posizione.
15. Fare clic sulla scheda POSITION, quindi digitare 2 nella casella Posizioni.
16. Dividere la colonna FLIGHT in due nuove colonne - AIRLINE e FLTNMBR.
17. Le due nuove colonne, AIRLINE e FLIGHTNBR, vengono aggiunte al dataset.
18. L'operazione Suddividi colonna viene visualizzata nel riquadro Passi.

Trascrizione del video

1. L'operazione Unione combina le righe di due dataset che condividono lo stesso schema.
2. Questo dataset ha quattro colonne e sei righe. I tipi di dati da sinistra a destra sono String, String, Decimal, String.
3. Quando il dataset è stato caricato in Data Refinery, l'operazione di conversione AUTOMATICA del tipo di colonna ha convertito automaticamente la colonna PRICE nel tipo di dati Decimal.
4. Le colonne nel secondo dataset devono essere compatibili con i tipi di dati in questo dataset.
5. Selezionare il dataset da combinare con il dataset corrente.
6. Quando si visualizza l'anteprima del nuovo set di dati, si nota che contiene anche quattro colonne. Tuttavia, la colonna PRICE è un tipo di dati String.
7. Prima di applicare l'operazione di unione, è necessario eliminare la fase di conversione AUTOMATICA del tipo di colonna in modo che la colonna PRICE sia dello stesso tipo di dati della colonna PRICE nel nuovo dataset (stringa).
8. La colonna PRICE è ora costituita da dati stringa.
9. Ora ripetere l'operazione di unione.
10. Il nuovo dataset viene aggiunto al dataset corrente. Il dataset viene aumentato a 12 righe.
11. L'operazione dell'Unione viene illustrata nel pannello Passi.
12. Ora aggiungere un dataset che abbia un diverso numero di colonne. Le colonne corrispondenti devono essere ancora tipi di dati compatibili.
13. Selezionare il dataset da combinare con il dataset corrente.
14. Quando si visualizza l'anteprima del nuovo set di dati, si vede che ha una colonna in più rispetto al set di dati originale. La quinta colonna è TYPE.
15. Selezionare Consenti un diverso numero di colonne e consentire valori duplicati.
16. Applicare l'operazione dell'Unione.
17. Il nuovo dataset viene aggiunto al dataset corrente. Il dataset viene aumentato a 18 righe.
18. La colonna aggiuntiva, TYPE, viene aggiunta al dataset.
19. L'operazione dell'Unione viene illustrata nel pannello Passi.

Trascrizione del video

1. L'operazione Rimuovi stop word rimuove le parole comuni della lingua inglese dal dataset. Le parole di arresto di solito hanno un piccolo valore semantico per i modelli e gli algoritmi di analisi del testo. Rimuovere le parole di arresto per ridurre il volume di dati e migliorare la qualità dei dati.
2. L'operazione di rimozione delle parole di arresto rimuove queste parole: a, an, e, sono, come, a, essere, ma, per, da, se, in, in, è, esso, no, non, di, su, o, tale, che, il, loro, allora, là, questi, loro, questo, a, era, con.
3. L'operazione Rimuovi parole di arresto è nella categoria LINGUAGGIO NATURALE.
4. Selezionare la colonna STRINGA.
5. Fare clic su Applica per rimuovere le parole di arresto.
6. Le parole di arresto vengono eliminate dalla colonna STRING.
7. L'operazione Rimuovi parole di arresto viene visualizzata nel pannello Passi.

Trascrizione del video

1. L'operazione Tokenize suddivide il testo inglese in parole, frasi, paragrafi, righe, caratteri o per espressione regolare.
2. L'operazione Tokenize rientra nella categoria NATURAL LANGUAGE.
3. Selezionare la colonna STRINGA.
4. Opzioni di creazione token disponibili.
5. Creare una nuova colonna con il nome WORDS.
6. L'operazione Tokenize ha preso le parole dalla colonna STRING e creato una nuova colonna, WORDS, con una riga per ogni parola.
7. L'operazione Tokenize viene visualizzata nel pannello Passi.