데이터 품질을 측정, 모니터 및 유지보수하여 데이터가 특정 유스 케이스에 대한 사용자의 예상 및 표준을 충족하는지 확인하십시오.
우수한 품질의 데이터는 일반적으로 사용에 적합, 결함 없음또는 예상 및 요구사항 충족으로 정의될 수 있는 상태입니다. 데이터 품질은 기본 품질 차원 정확성, 완전성, 일관성, 적시성, 고유성및 유효성및 사용자 정의 품질 차원에 대해 측정됩니다.
데이터 품질 분석은 다음 질문에 대한 응답을 제공합니다.
데이터 자산의 전체 품질은 얼마나 좋습니까?
품질이 더 좋은 데이터 자산은 무엇입니까?
시간이 경과하면서 데이터 자산의 품질이 어떻게 변경되었습니까?
데이터 자산이 제가 기대하는 품질 수준에 부합하는가?
요구사항 및 제한사항
Copy link to section
데이터 품질 관리의 경우 다음 요구사항 및 제한사항이 존재합니다.
필수 서비스
Copy link to section
데이터 품질 관리에는 다음과 같은 서비스가 필요합니다.
IBM Knowledge Catalog
DataStage, 또는 DataStage as a Service Anywhere '을 사용하면 지원되는 지역에서 데이터 품질 규칙을 실행할 수 있습니다. DataStage as a Service Anywhere 사용하면 원격 엔진을 사용하여 IBM Cloud 외부에서 데이터 품질 규칙을 실행할 수 있습니다. 원격 엔진 설정에 대한 자세한 내용은 DataStage as a Service Anywhere 설명서를 참조하세요.
데이터 품질 정의 및 규칙을 작성, 편집 또는 삭제하려면 프로젝트에서 관리 또는 편집자 역할이 있어야 합니다. 또한 데이터 품질 자산 관리사용자 권한이 있어야 합니다.
데이터 품질 규칙을 실행하려면 프로젝트에서 관리 또는 편집자 역할과 데이터 품질 규칙 실행사용자 권한이 있어야 합니다.
규칙 실행 기록 또는 데이터 품질 페이지에서 데이터 품질 문제를 일으킨 데이터(출력 테이블)를 보려면 이슈 세부 정보로 드릴다운사용자 권한가 있어야 합니다. 그러나 출력 테이블용으로 생성된 프로젝트의 데이터 자산은 연결에 액세스할 수 있는 모든 사람이 액세스할 수 있습니다. 이 데이터 자산에 대한 액세스를 제한하려면 출력 테이블이 저장된 데이터 소스에 대한 연결을 개인 자격 증명으로 설정해야 합니다.
데이터 품질 SLA 규칙을 만들거나 편집 또는 삭제하려면 이러한 사용자 권한이 있어야 합니다:
거버넌스 아티팩트에 액세스
데이터 품질 SLA 규칙 관리
작업공간
Copy link to section
프로젝트에서 데이터 품질 관리 태스크를 수행할 수 있습니다. 카탈로그에서 읽기 전용 데이터 품질 정보를 사용할 수 있습니다.
데이터 품질 분석 및 모니터링
Copy link to section
데이터 품질 분석 및 모니터링을 사용하여 특정 기준에 대해 데이터를 평가합니다. 유효성 검증 중인 데이터 품질의 중요한 변경사항을 확인하려면 시간 경과에 따라 이러한 평가 기준을 반복적으로 사용하십시오.
데이터 품질 검사가 설계된 후에는 다음 옵션을 사용할 수 있습니다.
데이터 소스에 관계없이 데이터 검사의 로직을 정의하는 데이터 품질 정의를 작성하십시오. 정의에는 실행할 수 있는 데이터 품질 규칙을 작성할 때 실제 데이터 (예: 데이터 소스, 테이블 및 열 또는 결합된 테이블) 에 링크하거나 바인드 하는 논리 변수 또는 참조가 포함되어 있습니다.
선택 데이터 품질 정의를 기반으로 필수 바인딩을 사용하여 데이터 품질 규칙을 작성한 후 해당 규칙을 실행할 수 있습니다. 규칙은 규칙 구성에 따라 관련 통계를 생성하고 출력 테이블을 생성할 수 있습니다.
SQL 기반 데이터 품질 규칙을 작성하십시오.
데이터 품질 규칙의 기능은 단순한 단일 열 테스트에서부터 데이터 소스 내 및 데이터 소스 전체에서 여러 열을 평가하는 범위까지 다양할 수 있습니다.
데이터 품질 평가
Copy link to section
데이터의 품질이 양호한지 여부를 판별하려면 데이터가 예상을 충족하는 정도를 확인하고 데이터의 이상 항목을 식별하십시오. 또한 데이터 품질을 평가하면 데이터의 구조 및 컨텐츠에
대해 이해할 수 있습니다.
데이터 품질 모니터링
Copy link to section
중요한 데이터가 조직의 품질 기대치를 충족하도록 하려면 데이터의 표준 준수 여부를 모니터링하고 감지된 데이터 품질 문제를 해결할 수 있는 데이터 품질 SLA 규칙을 구현하세요.
Use this interactive map to learn about the relationships between your tasks, the tools you need, the services that provide the tools, and where you use the tools.
Select any task, tool, service, or workspace
You'll learn what you need, how to get it, and where to use it.
Some tools perform the same tasks but have different features and levels of automation.
Jupyter notebook editor
Prepare data
Visualize data
Build models
Deploy assets
Create a notebook in which you run Python, R, or Scala code to prepare, visualize, and analyze data, or build a model.
AutoAI
Build models
Automatically analyze your tabular data and generate candidate model pipelines customized for your predictive modeling problem.
SPSS Modeler
Prepare data
Visualize data
Build models
Create a visual flow that uses modeling algorithms to prepare data and build and train a model, using a guided approach to machine learning that doesn’t require coding.
Decision Optimization
Build models
Visualize data
Deploy assets
Create and manage scenarios to find the best solution to your optimization problem by comparing different combinations of your model, data, and solutions.
Data Refinery
Prepare data
Visualize data
Create a flow of ordered operations to cleanse and shape data. Visualize data to identify problems and discover insights.
Orchestration Pipelines
Prepare data
Build models
Deploy assets
Automate the model lifecycle, including preparing data, training models, and creating deployments.
RStudio
Prepare data
Build models
Deploy assets
Work with R notebooks and scripts in an integrated development environment.
Federated learning
Build models
Create a federated learning experiment to train a common model on a set of remote data sources. Share training results without sharing data.
Deployments
Deploy assets
Monitor models
Deploy and run your data science and AI solutions in a test or production environment.
Catalogs
Catalog data
Governance
Find and share your data and other assets.
Metadata import
Prepare data
Catalog data
Governance
Import asset metadata from a connection into a project or a catalog.
Metadata enrichment
Prepare data
Catalog data
Governance
Enrich imported asset metadata with business context, data profiling, and quality assessment.
Data quality rules
Prepare data
Governance
Measure and monitor the quality of your data.
Masking flow
Prepare data
Create and run masking flows to prepare copies of data assets that are masked by advanced data protection rules.
Governance
Governance
Create your business vocabulary to enrich assets and rules to protect data.
Data lineage
Governance
Track data movement and usage for transparency and determining data accuracy.
AI factsheet
Governance
Monitor models
Track AI models from request to production.
DataStage flow
Prepare data
Create a flow with a set of connectors and stages to transform and integrate data. Provide enriched and tailored information for your enterprise.
Data virtualization
Prepare data
Create a virtual table to segment or combine data from one or more tables.
OpenScale
Monitor models
Measure outcomes from your AI models and help ensure the fairness, explainability, and compliance of all your models.
Data replication
Prepare data
Replicate data to target systems with low latency, transactional integrity and optimized data capture.
Master data
Prepare data
Consolidate data from the disparate sources that fuel your business and establish a single, trusted, 360-degree view of your customers.
Services you can use
Services add features and tools to the platform.
watsonx.ai Studio
Develop powerful AI solutions with an integrated collaborative studio and industry-standard APIs and SDKs. Formerly known as Watson Studio.
watsonx.ai Runtime
Quickly build, run and manage generative AI and machine learning applications with built-in performance and scalability. Formerly known as Watson Machine Learning.
IBM Knowledge Catalog
Discover, profile, catalog, and share trusted data in your organization.
DataStage
Create ETL and data pipeline services for real-time, micro-batch, and batch data orchestration.
Data Virtualization
View, access, manipulate, and analyze your data without moving it.
Watson OpenScale
Monitor your AI models for bias, fairness, and trust with added transparency on how your AI models make decisions.
Data Replication
Provide efficient change data capture and near real-time data delivery with transactional integrity.
Match360 with Watson
Improve trust in AI pipelines by identifying duplicate records and providing reliable data about your customers, suppliers, or partners.
Manta Data Lineage
Increase data pipeline transparency so you can determine data accuracy throughout your models and systems.
Where you'll work
Collaborative workspaces contain tools for specific tasks.
Project
Where you work with data.
> Projects > View all projects
Catalog
Where you find and share assets.
> Catalogs > View all catalogs
Space
Where you deploy and run assets that are ready for testing or production.
> Deployments
Categories
Where you manage governance artifacts.
> Governance > Categories
Data virtualization
Where you virtualize data.
> Data > Data virtualization
Master data
Where you consolidate data into a 360 degree view.