Vídeos sobre Data Refinery

Data Refinery sirve para limpiar y dar forma a datos tabulares con un editor de flujo gráfico. También puede utilizar plantillas interactivas para codificar operaciones, funciones y operadores lógicos. Cuando limpia datos, arregla o elimina datos incorrectos, incompletos, con un formato incorrecto o duplicados. Cuando da forma a los datos, personaliza dichos datos al filtrar, ordenar, combinar o eliminar columnas y realizar operaciones.

Se crea un Flujo de Data Refinery como un conjunto de operaciones ordenadas en los datos. Data Refinery incluye una interfaz gráfica para perfilar y validar sus datos y posee más de 20 gráficos personalizables que le proporcionan perspectivas y conocimientos sobre sus datos. Al guardar el conjunto de datos refinado, habitualmente se carga en una ubicación distinta de la que se lee. De este modo, los datos de origen permanecen inalterados por el proceso de refinamiento.

Más información sobre cómo refinar datos

Vea un vídeo sobre cómo refinar datos

Vea este vídeo para ver cómo refinar los datos.

Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.

• Transcripción
  Sincronizar la transcripción con el vídeo

  Transcripción de vídeo

  Hora	Transcripción
  00:00	Este vídeo muestra cómo dar forma a los datos en bruto mediante Data Refinery.
  00:05	Para empezar a refinar datos de un proyecto, vea el activo de datos y ábralo en Data Refinery.
  00:14	El panel "Información" contiene el nombre para el flujo de datos y para la salida del flujo de datos, una vez que haya terminado de refinar los datos.
  00:23	La pestaña "Datos" le muestra un conjunto de ejemplo de las filas y columnas del conjunto de datos.
  00:29	Para mejorar el rendimiento, no verá todas las filas del shaper.
  00:33	Pero tenga la seguridad de que cuando haya terminado de refinar los datos, el flujo de datos se ejecutará en el conjunto de datos completo.
  00:41	La pestaña "Perfil" le muestra estadísticas de frecuencia y resumen para cada una de sus columnas.
  00:49	La pestaña "Visualizaciones" proporciona visualizaciones de datos para las columnas en las que está interesado.
  00:57	Los gráficos sugeridos tienen un punto azul junto a sus iconos.
  01:03	Utilice las diferentes perspectivas disponibles en los gráficos para identificar patrones, conexiones y relaciones dentro de los datos.
  01:12	Ahora hablaremos sobre datos.
  01:17	Comience con una operación simple, como ordenar en la columna especificada-en este caso, la columna "Año".
  01:27	Supongamos que desea centrarse en los retrasos sólo para una aerolínea específica para que pueda filtrar los datos para mostrar sólo las filas en las que la compañía única es "United Airlines".
  01:47	Sería útil ver el retraso total.
  01:50	Puede hacerlo creando una nueva columna para combinar los retrasos de llegada y salida.
  01:56	Observe que el tipo de columna se infiere como entero.
  02:00	Seleccione la columna de retraso de salida y utilice la operación "Calcular".
  02:09	En este caso, añadirás la columna de retraso de llegada a la columna seleccionada y crearás una nueva columna, llamada "TotalDelay".
  02:23	Puede colocar la nueva columna al final de la lista de columnas o junto a la columna original.
  02:31	Al aplicar la operación, la nueva columna se muestra junto a la columna de retardo de salida.
  02:38	Si cometes un error, o simplemente decides hacer un cambio, solo tienes que acceder al panel "Pasos" y eliminar ese paso.
  02:46	Esto deshará esa operación en particular.
  02:50	También puede utilizar los botones rehacer y deshacer.
  02:56	A continuación, te gustaría centrarte en la columna "TotalDelay" para poder utilizar la operación "select" y mover la columna al principio.
  03:09	Este comando ordena la columna "TotalDelay" " como la primera de la lista, y todo lo demás viene después.
  03:21	A continuación, utilice la operación "group_by" para dividir los datos en grupos por año, mes y día.
  03:32	Así, cuando seleccione la columna ' "TotalDelay" ', verá las columnas "Año", "Mes", ' "DayofMonth", ' y ' "TotalDelay".
  03:44	Por último, desea hallar la media de la columna "TotalDelay".
  03:48	Al expandir el menú "Operaciones", en la sección "Organizar", encontrará la operación "Agregar", que incluye la función "Media".
  04:08	Ahora tienes una nueva columna, llamada "AverageDelay", que representa la media del retraso total.
  04:17	Ahora para ejecutar el flujo de datos y guardar y crear el trabajo.
  04:24	Proporcione un nombre para el trabajo y continúe en la siguiente pantalla.
  04:28	El paso "Configurar" le permite revisar cuál será la entrada y salida de la ejecución del trabajo.
  04:36	Y seleccione el entorno utilizado para ejecutar el trabajo.
  04:41	La planificación de un trabajo es opcional, pero puede establecer una fecha y repetir el trabajo, si lo desea.
  04:51	Y puede elegir recibir notificaciones para este trabajo.
  04:56	Todo parece correcto, así que crea y ejecuta el trabajo.
  05:00	Esto podría tardar varios minutos, porque recuerde que el flujo de datos se ejecutará sobre el conjunto de datos completo.
  05:06	Mientras tanto, puede ver el estado.
  05:12	Cuando la ejecución está en competencia, puede volver a la pestaña "Activos" del proyecto.
  05:20	Y abra el flujo de Data Refinery para refinar más los datos.
  05:28	Por ejemplo, puede ordenar la columna "AverageDelay" " en orden descendente.
  05:36	Ahora, edite los valores de flujo.
  05:39	En el panel "General", puede cambiar el nombre de flujo de Data Refinery .
  05:46	En el panel "Conjuntos de datos de origen", puede editar el ejemplo o el formato del conjunto de datos de origen o sustituir el origen de datos.
  05:56	Y en el panel "Conjunto de datos de destino", puede especificar una ubicación alternativa, como un origen de datos externo.
  06:06	También puede editar las propiedades para el destino, como la modalidad de escritura, el formato de archivo y cambiar el nombre de activo de conjunto de datos.
  06:21	Ahora vuelva a ejecutar el flujo de datos; pero esta vez, guarde y vea los trabajos.
  06:28	Seleccione el trabajo que desea ver en la lista y ejecute el trabajo.
  06:41	Cuando finalice la ejecución, vuelva al proyecto.
  06:46	Y en la pestaña "Activos", verás los tres archivos:
  06:51	El original.
  06:54	El primer conjunto de datos refinados, mostrando el "AverageDelay" " sin clasificar.
  07:02	Y el segundo conjunto de datos, que muestra la columna "AverageDelay" " ordenada de forma descendente.
  07:11	Y de nuevo en la pestaña "Activos", está el flujo de Data Refinery .
  07:19	Busque más vídeos en la documentación de Cloud Pak for Data as a Service.

Probar un tutorial para refinar los datos

En esta guía de aprendizaje, realizará estas tareas:

• Tarea 1: Abrir un proyecto.
• Tarea 2: Abrir el conjunto de datos en Data Refinery.
• Tarea 3: Revisar los datos con Perfil y Visualizaciones.
• Tarea 4: Refinar los datos.
• Tarea 5: Ejecutar un trabajo para el flujo de Data Refinery .
• Tarea 6: Crear otro activo de datos desde el flujo Data Refinery .
• Tarea 7: Ver los activos de datos y el flujo de Data Refinery en el proyecto.

Le llevará aproximadamente 30 minutos el completar esta guía de aprendizaje.

Expandir todas las secciones

Próximos pasos

Ahora los datos están listos para ser utilizados. Por ejemplo, usted u otros usuarios pueden realizar cualquiera de estas tareas:

• Analizar los datos en un cuaderno Jupyter

• Crear y formar un modelo con el activo de datos

• Añadir el activo de datos a un catálogo para compartirlo con la organización

Recursos adicionales

• Ver más vídeos sobre Data Refinery.

• Encuentre conjuntos de datos de muestra para adquirir experiencia práctica en el refinamiento de datos en el centro de recursos.

• Pruebe este tutorial adicional para Data Refinery: Recopila, limpia y mejora tus datos ' .

Tema principal: Guías de aprendizaje de inicio rápido