Informazioni su Data Refinery

Utilizzare Data Refinery per ripulire e modellare i dati tabellari con un editor di flusso grafico. È anche possibile utilizzare modelli interattivi per codificare operazioni, funzioni e operatori logici. Quando si ripuliscono i dati, si corregge o si rimuovono i dati non corretti, incompleti, formattati in modo non corretto o duplicati. Quando si formano i dati, è possibile personalizzarli filtrando, ordinando, combinando o rimuovendo le colonne ed eseguendo le operazioni.

Creare un flusso Data Refinery come una serie di operazioni ordinate sui dati. Data Refinery include un'interfaccia grafica per creare il profilo dei dati per convalidarli e oltre 20 grafici personalizzabili che forniscono prospettive e informazioni dettagliate sui dati. Quando viene salvato, il dataset perfezionato in genere viene caricato in un'ubicazione diversa da cui viene letto. In questo modo, i dati di origine non vengono interessati dal processo di perfezionamento.

Ulteriori informazioni sul perfezionamento dei dati

Guarda un video sul perfezionamento dei dati

Guarda questo video per scoprire come perfezionare i dati.

Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.

• Trascrizione
  Sincronizza trascrizione con video

  Trascrizione del video

  Ora	Trascrizione
  00:00	Questo video mostra come modellare i dati grezzi utilizzando Data Refinery.
  00:05	Per iniziare a perfezionare i dati da un progetto, visualizzare l'asset di dati e aprirlo in Data Refinery.
  00:14	Il riquadro "Informazioni" contiene il nome per il flusso di dati e per l'output del flusso di dati, una volta terminato il perfezionamento dei dati.
  00:23	La scheda "Dati" mostra una serie di esempio di righe e colonne nel dataset.
  00:29	Per migliorare le prestazioni, non vedrai tutte le righe nello shaper.
  00:33	Ma siate certi che quando avrete finito di perfezionare i dati, il flusso di dati verrà eseguito sull'intero dataset.
  00:41	La scheda "Profilo" mostra le statistiche di frequenza e riepilogo per ciascuna delle colonne.
  00:49	La scheda "Visualizzazioni" fornisce le visualizzazioni dei dati per le colonne a cui si è interessati.
  00:57	I grafici suggeriti hanno un punto blu accanto alle loro icone.
  01:03	Utilizzare le diverse prospettive disponibili nei diagrammi per identificare modelli, connessioni e relazioni all'interno dei dati.
  01:12	Ora, facciamo qualche lite di dati.
  01:17	Iniziare con un'operazione semplice, come l'ordine sulla colonna specificata - in questo caso, la colonna "Anno".
  01:27	Diciamo che vuoi concentrarti sui ritardi solo per una compagnia aerea specifica in modo da poter filtrare i dati per mostrare solo quelle righe in cui il vettore unico è "United Airlines".
  01:47	Sarebbe utile vedere il ritardo totale.
  01:50	È possibile farlo creando una nuova colonna per combinare i ritardi di arrivo e partenza.
  01:56	Notare che il tipo di colonna viene dedotto come numero intero.
  02:00	Selezionare la colonna Ritardo di partenza e utilizzare l'operazione "Calcola".
  02:09	In questo caso, si aggiungerà la colonna del ritardo di arrivo alla colonna selezionata e si creerà una nuova colonna, chiamata "TotalDelay".
  02:23	È possibile posizionare la nuova colonna alla fine dell'elenco di colonne o accanto alla colonna originale.
  02:31	Quando si applica l'operazione, la nuova colonna viene visualizzata accanto alla colonna del ritardo di partenza.
  02:38	Se si commette un errore, o semplicemente si decide di apportare una modifica, basta accedere al pannello "Passi" ed eliminare quel passo.
  02:46	Questa operazione annullerà quella particolare operazione.
  02:50	È anche possibile utilizzare i pulsanti di ripristino e annullamento.
  02:56	Successivamente, si desidera concentrarsi sulla colonna "TotalDelay", in modo da poter utilizzare l'operazione "select" per spostare la colonna all'inizio.
  03:09	Questo comando dispone la colonna "TotalDelay" come prima dell'elenco e tutto il resto viene dopo.
  03:21	Successivamente, utilizzare l'operazione "group_by" per dividere i dati in gruppi per anno, mese e giorno.
  03:32	Quindi, quando si seleziona la colonna "TotalDelay", si vedranno le colonne "Year", "Month", "DayofMonth", e "TotalDelay".
  03:44	Infine, si vuole trovare la media della colonna "TotalDelay".
  03:48	Quando si espande il menu "Operazioni", nella sezione "Organizza", si trova l'operazione "Aggregato", che comprende la funzione "Media".
  04:08	Ora abbiamo una nuova colonna, chiamata "AverageDelay", che rappresenta la media del ritardo totale.
  04:17	Ora per eseguire il flusso di dati, salvare e creare il job.
  04:24	Fornire un nome per il lavoro e continuare con il pannello successivo.
  04:28	Il passo "Configura" consente di esaminare l'input e l'output dell'esecuzione del job.
  04:36	Selezionare l'ambiente utilizzato per eseguire il lavoro.
  04:41	La pianificazione di un lavoro è facoltativa, ma è possibile impostare una data e ripetere il lavoro, se si desidera.
  04:51	E si può scegliere di ricevere notifiche per questo lavoro.
  04:56	Tutto sembra buono, quindi creare ed eseguire il lavoro.
  05:00	Questa operazione potrebbe richiedere diversi minuti, poiché il flusso di dati verrà eseguito sull'intero dataset.
  05:06	Nel frattempo, è possibile visualizzare lo stato.
  05:12	Quando l'esecuzione è in competizione, è possibile tornare alla scheda "Asset" del progetto.
  05:20	Aprire il flusso Data Refinery per perfezionare ulteriormente i dati.
  05:28	Ad esempio, è possibile ordinare la colonna "AverageDelay" in ordine decrescente.
  05:36	Ora, modificare le impostazioni del flusso.
  05:39	Nel pannello "Generale", è possibile modificare il nome del flusso Data Refinery .
  05:46	Nel pannello "Serie di dati di origine", è possibile modificare l'esempio o il formato per il dataset di origine o sostituire l'origine dati.
  05:56	Nel riquadro "Serie di dati di destinazione", è possibile specificare un'ubicazione alternativa, ad esempio un'origine dati esterna.
  06:06	È inoltre possibile modificare le proprietà per la destinazione, come la modalità di scrittura, il formato file e modificare il nome asset del dataset.
  06:21	Ora, eseguire nuovamente il flusso di dati; ma questa volta, salvare e visualizzare i job.
  06:28	Selezionare il lavoro che si desidera visualizzare dall'elenco ed eseguire il lavoro.
  06:41	Al termine dell'esecuzione, tornare al progetto.
  06:46	E nella scheda "Asset", vedrai tutti e tre i file:
  06:51	L'originale.
  06:54	Il primo set di dati raffinato, che mostra il "AverageDelay" non ordinato.
  07:02	E il secondo set di dati, che mostra la colonna "AverageDelay" ordinata in modo decrescente.
  07:11	E di nuovo nella scheda "Asset", c'è il flusso Data Refinery .
  07:19	Trova ulteriori video nella documentazione Cloud Pak for Data as a Service .

Prova un'esercitazione per perfezionare i dati

In questa esercitazione, verranno completate le seguenti attività:

• Attività 1: aprire un progetto.
• Attività 2: aprire il dataset in Data Refinery.
• Attività 3: esaminare i dati con il profilo e le visualizzazioni
• Attività 4: Restringere i dati
• Attività 5: eseguire un lavoro per il flusso Data Refinery .
• Attività 6: creare un altro asset di dati dal flusso Data Refinery .
• Attività 7: visualizzare gli asset di dati e il flusso Data Refinery nel progetto.

Il completamento di questa esercitazione richiede circa 30 minuti.

Espandi tutte le sezioni

Passi successivi

Ora i dati sono pronti per essere utilizzati. Ad esempio, l'utente o altri utenti possono eseguire una delle seguenti attività:

• Analizzare i dati in un taccuino Jupyter

• Creare e preparare un modello con l'asset di dati

• Aggiungere l'asset di dati a un catalogo per condividerlo con l'organizzazione

Ulteriori risorse

• Visualizza altri video per Data Refinery.

• Trovate set di dati di esempio per fare esperienza pratica nel raffinare i dati nell'hub delle risorse.

• Provate questo tutorial aggiuntivo per Data Refinery: Raccogliere, pulire e migliorare i dati '.

Argomento principale: Esercitazioni introduttive