El gobierno de datos es el proceso de seguimiento y control de activos de datos basados en metadatos de activos. Los catálogos son espacios de trabajo en los que se proporciona acceso controlado a los activos gobernados.
Servicio necesario
IBM Knowledge Catalog
Un catálogo contiene activos y colaboradores. Los colaboradores son las personas que añaden activos al catálogo y las personas que necesitan utilizar los activos. Puede personalizar el gobierno de datos para enriquecer y controlar activos de datos en catálogos.
Obtenga más información sobre el gobierno o empiece con los catálogos y el gobierno:
Puede configurar el gobierno de datos de forma iterativa. Puede empezar con una implementación simple de gobierno de datos que se basa en artefactos predefinidos y características predeterminadas. A continuación, a medida que cambien sus necesidades, puede personalizar la infraestructura de gobierno de datos para describir y proteger mejor sus activos de datos.
Para ver las herramientas que puede utilizar para controlar los datos, abra la correlación de herramientas y servicios y pulse Gobernabilidad en la sección de tareas.
Implementación más sencilla del gobierno de datos
Copy link to section
Puede utilizar un catálogo para compartir activos en toda la organización. Un catálogo puede actuar como almacén de características conteniendo conjuntos de datos con columnas que se utilizan como características (entradas) en modelos de aprendizaje automático. Un administrador de IBM Knowledge Catalog crea el catálogo para compartir activos y añade ingenieros de datos, científicos de datos y analistas de negocio como colaboradores. Los colaboradores de catálogo pueden trabajar con activos de catálogo copiándolos en proyectos y pueden publicar activos que crean en proyectos en el catálogo.
Los colaboradores del catálogo pueden añadir activos al catálogo para compartirlos con otros o buscar y utilizar activos de las formas siguientes:
Los ingenieros de datos crean datos limpios, datos virtualizados y activos de datos integrados en proyectos y, a continuación, publican los activos en el catálogo.
Los ingenieros de datos importan tablas o archivos de un origen de datos en el catálogo.
Los expertos en datos y los analistas de negocio encuentran activos de datos en catálogos y, a continuación, añaden los activos a los proyectos para trabajar con los datos.
Los activos de datos acumulan metadatos a lo largo del tiempo de las siguientes maneras:
Los activos de datos se perfilan, lo que asigna automáticamente clases de datos predefinidas que describen el formato de los datos.
Los colaboradores del catálogo añaden etiquetas, términos empresariales predefinidos, clases de datos y clasificaciones, relaciones y evaluaciones a los activos.
Todas las acciones en activos se guardan automáticamente en el historial de activos.
Opciones de personalización para el gobierno de datos
Copy link to section
Puede añadir o actualizar cualquiera de las opciones personalizadas a la implementación de gobierno de datos en cualquier momento. Su equipo de gobierno puede establecer su vocabulario de negocio, importar y enriquecer datos con su vocabulario, analizar la calidad de los datos, definir reglas para proteger los datos y, a continuación, publicar los activos de datos en un catálogo donde los consumidores de datos puedan encontrarlos. Cuando los datos cambian, puede volver a importar metadatos sobre las tablas o archivos y enriquecer los activos de datos con su vocabulario empresarial y análisis de calidad de datos. Puede crear reglas cada vez más precisas para proteger los datos a medida que amplía su vocabulario empresarial. A lo largo del ciclo de gobierno de datos, los científicos de datos y otros consumidores de datos pueden encontrar datos de confianza en los catálogos. La siguiente ilustración muestra cómo el gobierno de datos es un ciclo continuo de renovación de los metadatos para que los activos de datos reflejen los cambios en los datos y los cambios en el vocabulario empresarial.
Establezca su vocabulario de negocio
Copy link to section
El equipo de gobierno puede establecer un vocabulario empresarial que describa el significado de los datos con términos empresariales y el formato de los datos con clases de datos. Un vocabulario de negocio ayuda a los usuarios de negocio a encontrar más fácilmente lo que buscan utilizando términos no técnicos.
Su equipo puede establecer rápidamente su vocabulario de negocio importando su vocabulario de negocio existente o importando Knowledge Accelerators que proporcionan entre docenas y miles de artefactos de gobernabilidad.
El administrador de IBM Knowledge Catalog puede personalizar el flujo de trabajo, la organización, las propiedades y las relaciones de los artefactos de gobernabilidad.
Importar y enriquecer activos de datos con su vocabulario empresarial
Copy link to section
Los encargados de datos pueden ejecutar regularmente trabajos de importación y enriquecimiento de metadatos que actualizan el catálogo con cambios en tablas o archivos de los orígenes de datos y asignan automáticamente los términos empresariales y las clases de datos adecuados.
Cuando el equipo añade artefactos de gobernabilidad, los trabajos de enriquecimiento de metadatos sugieren los nuevos artefactos a los activos de datos nuevos o actualizados.
Cuando los encargados de datos confirman o ajustan las asignaciones de términos empresariales durante el enriquecimiento de metadatos, los algoritmos de aprendizaje automático para la asignación de términos se vuelven más precisos para los datos.
Los encargados de datos pueden configurar la importación y el enriquecimiento de metadatos para que se ejecuten sólo cuando se detecten cambios.
Puede utilizar las funciones de enriquecimiento gen AI para generar nombres descriptivos de activos y columnas, para generar descripciones significativas de activos y columnas y para asignar términos empresariales.
Los encargados de datos pueden analizar la calidad de los datos con los valores predeterminados durante el enriquecimiento de metadatos. El análisis de calidad de datos se aplica a cada activo en su conjunto y a las columnas de las tablas.
Los encargados de datos pueden crear definiciones de calidad de datos personalizadas y aplicarlas en reglas de calidad de datos, o aplicar reglas de calidad de datos basadas en SQL.
El equipo de gobierno puede crear un plan para las reglas de protección de datos escribiendo políticas que documenten los estándares y directrices de la organización para proteger y gestionar los datos. Por ejemplo, una política puede describir una normativa específica y cómo una regla de protección de datos garantiza el cumplimiento de dicha normativa.
El equipo de gobierno puede crear reglas de protección de datos que definan cómo mantener privada la información privada. Las reglas de protección de datos se evalúan automáticamente para su aplicación cada vez que un usuario intenta acceder a un activo de datos en cualquier catálogo gobernado en la plataforma. Las reglas de protección de datos pueden definir cómo controlar el acceso a los datos, enmascarar valores confidenciales o filtrar filas de activos de datos.
Su equipo puede empezar con reglas de protección de datos basadas en etiquetas personalizadas, usuarios o clases de datos predefinidas, términos empresariales y clasificaciones. Cuando el equipo de gobierno añade artefactos de gobernabilidad, el equipo puede definir reglas de protección de datos basadas en su vocabulario empresarial.
Los ingenieros de datos pueden aplicar reglas de protección de datos en datos virtualizados.
Los ingenieros de datos pueden enmascarar permanentemente datos en activos de datos con flujos de enmascaramiento.
Las tareas para empezar con IBM Knowledge Catalog dependen de su objetivo. Las acciones que puede realizar las definen los roles de acceso al servicio de Cloud Pak for Data . Algunas acciones también tienen requisitos de rol de espacio de trabajo, como ser un colaborador en un catálogo o categoría.
En la tabla siguiente se muestran los objetivos comunes, los roles de acceso al servicio de Cloud Pak for Data necesarios y los enlaces a la información para empezar.
Objetivo
Rol de acceso al servicio de Cloud Pak for Data necesario
Use this interactive map to learn about the relationships between your tasks, the tools you need, the services that provide the tools, and where you use the tools.
Select any task, tool, service, or workspace
You'll learn what you need, how to get it, and where to use it.
Some tools perform the same tasks but have different features and levels of automation.
Jupyter notebook editor
Prepare data
Visualize data
Build models
Deploy assets
Create a notebook in which you run Python, R, or Scala code to prepare, visualize, and analyze data, or build a model.
AutoAI
Build models
Automatically analyze your tabular data and generate candidate model pipelines customized for your predictive modeling problem.
SPSS Modeler
Prepare data
Visualize data
Build models
Create a visual flow that uses modeling algorithms to prepare data and build and train a model, using a guided approach to machine learning that doesn’t require coding.
Decision Optimization
Build models
Visualize data
Deploy assets
Create and manage scenarios to find the best solution to your optimization problem by comparing different combinations of your model, data, and solutions.
Data Refinery
Prepare data
Visualize data
Create a flow of ordered operations to cleanse and shape data. Visualize data to identify problems and discover insights.
Orchestration Pipelines
Prepare data
Build models
Deploy assets
Automate the model lifecycle, including preparing data, training models, and creating deployments.
RStudio
Prepare data
Build models
Deploy assets
Work with R notebooks and scripts in an integrated development environment.
Federated learning
Build models
Create a federated learning experiment to train a common model on a set of remote data sources. Share training results without sharing data.
Deployments
Deploy assets
Monitor models
Deploy and run your data science and AI solutions in a test or production environment.
Catalogs
Catalog data
Governance
Find and share your data and other assets.
Metadata import
Prepare data
Catalog data
Governance
Import asset metadata from a connection into a project or a catalog.
Metadata enrichment
Prepare data
Catalog data
Governance
Enrich imported asset metadata with business context, data profiling, and quality assessment.
Data quality rules
Prepare data
Governance
Measure and monitor the quality of your data.
Masking flow
Prepare data
Create and run masking flows to prepare copies of data assets that are masked by advanced data protection rules.
Governance
Governance
Create your business vocabulary to enrich assets and rules to protect data.
Data lineage
Governance
Track data movement and usage for transparency and determining data accuracy.
AI factsheet
Governance
Monitor models
Track AI models from request to production.
DataStage flow
Prepare data
Create a flow with a set of connectors and stages to transform and integrate data. Provide enriched and tailored information for your enterprise.
Data virtualization
Prepare data
Create a virtual table to segment or combine data from one or more tables.
OpenScale
Monitor models
Measure outcomes from your AI models and help ensure the fairness, explainability, and compliance of all your models.
Data replication
Prepare data
Replicate data to target systems with low latency, transactional integrity and optimized data capture.
Master data
Prepare data
Consolidate data from the disparate sources that fuel your business and establish a single, trusted, 360-degree view of your customers.
Services you can use
Services add features and tools to the platform.
watsonx.ai Studio
Develop powerful AI solutions with an integrated collaborative studio and industry-standard APIs and SDKs. Formerly known as Watson Studio.
watsonx.ai Runtime
Quickly build, run and manage generative AI and machine learning applications with built-in performance and scalability. Formerly known as Watson Machine Learning.
IBM Knowledge Catalog
Discover, profile, catalog, and share trusted data in your organization.
DataStage
Create ETL and data pipeline services for real-time, micro-batch, and batch data orchestration.
Data Virtualization
View, access, manipulate, and analyze your data without moving it.
Watson OpenScale
Monitor your AI models for bias, fairness, and trust with added transparency on how your AI models make decisions.
Data Replication
Provide efficient change data capture and near real-time data delivery with transactional integrity.
Match360 with Watson
Improve trust in AI pipelines by identifying duplicate records and providing reliable data about your customers, suppliers, or partners.
Manta Data Lineage
Increase data pipeline transparency so you can determine data accuracy throughout your models and systems.
Where you'll work
Collaborative workspaces contain tools for specific tasks.
Project
Where you work with data.
> Projects > View all projects
Catalog
Where you find and share assets.
> Catalogs > View all catalogs
Space
Where you deploy and run assets that are ready for testing or production.
> Deployments
Categories
Where you manage governance artifacts.
> Governance > Categories
Data virtualization
Where you virtualize data.
> Data > Data virtualization
Master data
Where you consolidate data into a 360 degree view.