La governance dei dati è il processo di monitoraggio e controllo degli asset di dati in base ai metadati degli asset. I cataloghi sono aree di lavoro in cui si fornisce l'accesso controllato agli asset gestiti.
Servizio richiesto
IBM Knowledge Catalog
Un catalogo contiene risorse e collaboratori. I collaboratori sono le persone che aggiungono gli asset nel catalogo e le persone che devono utilizzare gli asset. È possibile modificare la governance dei dati per arricchire e controllare gli asset di dati nei cataloghi.
Scopri di più sulla governance o inizia a utilizzare cataloghi e governance:
È possibile impostare la governance dei dati in maniera iterativa. È possibile iniziare con una semplice implementazione della governance dei dati che si basa su risorse predefinite e funzioni predefinite. Quindi, quando le esigenze cambiano, è possibile personalizzare il framework di governance dei dati per descrivere e proteggere meglio gli asset di dati.
Per visualizzare gli strumenti che possono essere utilizzati per gestire i dati, aprire la mappa di strumenti e servizi e fare clic su Governance nella sezione delle attività.
Implementazione più semplice della governance dei dati
Copy link to section
Utilizzare un catalogo per condividere gli asset nella propria organizzazione. Un catalogo può agire come un archivio di funzioni contenendo dataset con colonne utilizzate come funzioni (input) nei modelli di machine learning. Un amministratore di IBM Knowledge Catalog crea il catalogo per condividere gli asset e aggiunge data engineer, data scientist e business analyst come collaboratori. I collaboratori del catalogo possono lavorare con le risorse del catalogo copiandole nei progetti e possono pubblicare le risorse create nei progetti nel catalogo.
I collaboratori del catalogo possono aggiungere gli asset al catalogo da condividere con altri o trovare e utilizzare gli asset nei modi riportati di seguito:
Gli ingegneri dei dati creano dati puliti, dati virtualizzati e asset di dati integrati nei progetti e quindi pubblicano gli asset nel catalogo.
I data engineer importano tabelle o file da un'origine dati nel catalogo.
I data scientist e gli analisti di business trovano gli asset di dati nei cataloghi, quindi aggiungono gli asset ai progetti per gestire i dati.
Gli asset di dati accumulano metadati nel tempo nei seguenti modi:
Viene creato il profilo degli asset di dati, che assegna automaticamente classi di dati predefinite che descrivono il formato dei dati.
I collaboratori del catalogo aggiungono tag, termini aziendali predefiniti, classi di dati e classificazioni, relazioni e valutazioni agli asset.
Tutte le azioni sugli asset vengono automaticamente salvate nello storico asset.
Opzioni di personalizzazione per la governance dei dati
Copy link to section
È possibile aggiungere o aggiornare qualsiasi opzione personalizzata all'implementazione della governance dei dati in qualsiasi momento. Il team di governance può stabilire il vocabolario di business, importare e arricchire i dati con il vocabolario, analizzare la qualità dei dati, definire le regole per proteggere i dati e quindi pubblicare gli asset di dati in un catalogo in cui gli utenti possano trovarli. Quando i dati vengono modificati, è possibile reimportare i metadati relativi alle tabelle o ai file e arricchire gli asset di dati con il vocabolario di business e l'analisi della qualità dei dati. È possibile creare regole sempre più precise per proteggere i dati man mano che si espande il vocabolario di business. Durante il ciclo di governance dei dati, i data scientist e altri utenti di dati possono trovare dati attendibili nei cataloghi. La seguente illustrazione mostra il modo in cui la governance dei dati è un ciclo continuo di aggiornamento dei metadati per gli asset di dati per riflettere le modifiche nei dati e nel vocabolario di business.
Stabilisci il tuo vocabolario di business
Copy link to section
Il team di governance può stabilire un vocabolario di business che descrive il significato dei dati con termini di business e il formato dei dati con classi di dati. Un vocabolario di business aiuta gli utenti di business a trovare più facilmente ciò che stanno cercando utilizzando termini non tecnici.
Il team può stabilire rapidamente il vocabolario di business importando il vocabolario di business esistente o importando Knowledge Accelerators che forniscono da decine a migliaia di risorse di governance.
L'amministratore di IBM Knowledge Catalog può personalizzare il flusso di lavoro, l'organizzazione, le proprietà e le relazioni delle risorse di governance.
Importare e arricchire gli asset di dati con il vocabolario di business
Copy link to section
Gli steward di dati possono eseguire regolarmente i lavori di importazione e arricchimento dei metadati che aggiornano il catalogo con le modifiche alle tabelle o ai file dalle origini dati e assegnano automaticamente i termini di business e le classi di dati appropriati.
Quando il team aggiunge risorse utente di governance, i lavori di arricchimento dei metadati suggeriscono le nuove risorse utente agli asset di dati nuovi o aggiornati.
Quando gli steward dei dati confermano o regolano le assegnazioni dei termini di business durante l'arricchimento dei metadati, gli algoritmi di machine learning per l'assegnazione dei termini diventano più precisi per i tuoi dati.
Gli steward di dati possono configurare l'importazione e l'arricchimento dei metadati per l'esecuzione solo quando vengono rilevate modifiche.
È possibile utilizzare le funzionalità di arricchimento basate su gen AI per generare nomi descrittivi di asset e colonne, per generare descrizioni significative per asset e colonne e per assegnare termini commerciali.
Gli steward di dati possono analizzare la qualità dei dati con impostazioni predefinite durante l'arricchimento dei metadati. L'analisi della qualità dei dati viene applicata a ciascun asset nel suo insieme e alle colonne nelle tabelle.
Gli steward di dati possono creare definizioni di qualità dei dati personalizzate e applicarle in regole di qualità dei dati oppure applicare regole di qualità dei dati basate su SQL.
Il team di governance può creare un piano per le regole di protezione dei dati scrivendo politiche che documentano gli standard e le linee guida dell'organizzazione per la protezione e la gestione dei dati. Ad esempio, una politica può descrivere una normativa specifica e il modo in cui una regola di protezione dei dati garantisce la conformità a tale normativa.
Il team di governance può creare regole di protezione dati che definiscono come mantenere private le informazioni private. Le regole di protezione dei dati vengono valutate automaticamente per l'applicazione ogni volta che un utente tenta di accedere a un asset di dati in un catalogo gestito sulla piattaforma. Le regole di protezione dati possono definire come controllare l'accesso ai dati, mascherare valori sensibili o filtrare le righe dagli asset di dati.
Il team può iniziare con le regole di protezione dei dati basate su tag personalizzati, utenti o classi di dati predefinite, termini di business e classificazioni. Quando il team di governance aggiunge le risorse di governance, il team può definire le regole di protezione dei dati in base al vocabolario aziendale.
I data engineer possono applicare le regole di protezione dei dati sui dati virtualizzati.
Gli ingegneri dei dati possono mascherare in modo permanente i dati negli asset di dati con flussi di mascheramento.
Le attività per iniziare a utilizzare IBM Knowledge Catalog dipendono dal tuo obiettivo. Le azioni che puoi eseguire sono definite dai tuoi ruoli di accesso del servizio Cloud Pak for Data . Alcune azioni hanno anche requisiti di ruolo dello spazio di lavoro, come essere un collaboratore in un catalogo o in una categoria.
Use this interactive map to learn about the relationships between your tasks, the tools you need, the services that provide the tools, and where you use the tools.
Select any task, tool, service, or workspace
You'll learn what you need, how to get it, and where to use it.
Some tools perform the same tasks but have different features and levels of automation.
Jupyter notebook editor
Prepare data
Visualize data
Build models
Deploy assets
Create a notebook in which you run Python, R, or Scala code to prepare, visualize, and analyze data, or build a model.
AutoAI
Build models
Automatically analyze your tabular data and generate candidate model pipelines customized for your predictive modeling problem.
SPSS Modeler
Prepare data
Visualize data
Build models
Create a visual flow that uses modeling algorithms to prepare data and build and train a model, using a guided approach to machine learning that doesn’t require coding.
Decision Optimization
Build models
Visualize data
Deploy assets
Create and manage scenarios to find the best solution to your optimization problem by comparing different combinations of your model, data, and solutions.
Data Refinery
Prepare data
Visualize data
Create a flow of ordered operations to cleanse and shape data. Visualize data to identify problems and discover insights.
Orchestration Pipelines
Prepare data
Build models
Deploy assets
Automate the model lifecycle, including preparing data, training models, and creating deployments.
RStudio
Prepare data
Build models
Deploy assets
Work with R notebooks and scripts in an integrated development environment.
Federated learning
Build models
Create a federated learning experiment to train a common model on a set of remote data sources. Share training results without sharing data.
Deployments
Deploy assets
Monitor models
Deploy and run your data science and AI solutions in a test or production environment.
Catalogs
Catalog data
Governance
Find and share your data and other assets.
Metadata import
Prepare data
Catalog data
Governance
Import asset metadata from a connection into a project or a catalog.
Metadata enrichment
Prepare data
Catalog data
Governance
Enrich imported asset metadata with business context, data profiling, and quality assessment.
Data quality rules
Prepare data
Governance
Measure and monitor the quality of your data.
Masking flow
Prepare data
Create and run masking flows to prepare copies of data assets that are masked by advanced data protection rules.
Governance
Governance
Create your business vocabulary to enrich assets and rules to protect data.
Data lineage
Governance
Track data movement and usage for transparency and determining data accuracy.
AI factsheet
Governance
Monitor models
Track AI models from request to production.
DataStage flow
Prepare data
Create a flow with a set of connectors and stages to transform and integrate data. Provide enriched and tailored information for your enterprise.
Data virtualization
Prepare data
Create a virtual table to segment or combine data from one or more tables.
OpenScale
Monitor models
Measure outcomes from your AI models and help ensure the fairness, explainability, and compliance of all your models.
Data replication
Prepare data
Replicate data to target systems with low latency, transactional integrity and optimized data capture.
Master data
Prepare data
Consolidate data from the disparate sources that fuel your business and establish a single, trusted, 360-degree view of your customers.
Services you can use
Services add features and tools to the platform.
watsonx.ai Studio
Develop powerful AI solutions with an integrated collaborative studio and industry-standard APIs and SDKs. Formerly known as Watson Studio.
watsonx.ai Runtime
Quickly build, run and manage generative AI and machine learning applications with built-in performance and scalability. Formerly known as Watson Machine Learning.
IBM Knowledge Catalog
Discover, profile, catalog, and share trusted data in your organization.
DataStage
Create ETL and data pipeline services for real-time, micro-batch, and batch data orchestration.
Data Virtualization
View, access, manipulate, and analyze your data without moving it.
Watson OpenScale
Monitor your AI models for bias, fairness, and trust with added transparency on how your AI models make decisions.
Data Replication
Provide efficient change data capture and near real-time data delivery with transactional integrity.
Match360 with Watson
Improve trust in AI pipelines by identifying duplicate records and providing reliable data about your customers, suppliers, or partners.
Manta Data Lineage
Increase data pipeline transparency so you can determine data accuracy throughout your models and systems.
Where you'll work
Collaborative workspaces contain tools for specific tasks.
Project
Where you work with data.
> Projects > View all projects
Catalog
Where you find and share assets.
> Catalogs > View all catalogs
Space
Where you deploy and run assets that are ready for testing or production.
> Deployments
Categories
Where you manage governance artifacts.
> Governance > Categories
Data virtualization
Where you virtualize data.
> Data > Data virtualization
Master data
Where you consolidate data into a 360 degree view.