사전 태스크를 완료한 후에 데이터 관리자 및 데이터 사용자는 다음 태스크 중 하나를 수행할 수 있습니다.
새 프로젝트를 작성하고 프로젝트에서 마스킹할 데이터 자산을 추가합니다.
데이터 자산을 포함하는 기존 프로젝트를 선택합니다.
작업 중 하나를 완료한 후 새 자산 > 데이터 복사 및 마스크.
마스킹 플로우의 사용자 역할
Copy link to section
데이터 관리자 또는 데이터 엔지니어인 경우 데이터 사용자의 데이터 요구사항 및 데이터 자산에 대한 자세한 지식을 갖고 있습니다. 마스킹된 데이터에 대한 사용자 액세스를 마스킹하고 구성하기 위한 데이터를 준비해야 합니다. 데이터 관리자가 완료해야 하는 태스크를 참조하십시오.
데이터 과학자, 비즈니스 분석가, 테스터, 개발자와 같은 데이터 사용자인 경우 작업을 수행하는 데 필요한 보호된 데이터를 큐레이팅하고 제공하기 위해 데이터 관리자에게 의존합니다. 데이터 사용자가 수행할 수 있는 태스크를 참조하십시오.
지원되는 데이터 소스
Copy link to section
마스킹 플로우는 다음과 같은 관계형 및 비관계형 데이터 소스를 지원합니다.
Apache Hive
Db2 LUW
Db2 Warehouse
MySQL
Netezza
Oracle
PostgreSQL
SQL Server
Teradata
데이터 관리자의 사전 태스크
Copy link to section
필수 권한
IBM Cloud 계정 관리자여야 합니다.
마스킹 플로우가 설치될 때 조직에 하나 이상의 관리 계정이 설정되어 있습니다. 이 관리자는 다른 사용자에게 관리자 액세스 권한을 제공할 수 있습니다.
메타데이터가 있는 데이터 자산을 자동으로 가져와서 카탈로그에 데이터 자산을 추가하십시오. 메타데이터 카탈로그에서 데이터에 대한 연결을 작성합니다. 데이터 자산을 가져올 때 가져오기 대상으로 이전 단계에서 작성한 카탈로그를 선택하십시오. 프로젝트에서 카탈로그로 자산 공개를 참조하십시오.
기본적으로 데이터 보호 규칙은 카탈로그에 자산을 추가한 사용자인 자산 소유자에 대해서는 시행되지 않습니다. 즉, 자산 소유자의 경우 소유한 데이터 자산에 대해 카탈로그 미리보기는 보호되지 않습니다.
카탈로그에서 프로젝트로 자산을 이동하는 경우 프로젝트의 자산은 카탈로그 자산의 사본입니다. 프로젝트 자산은 데이터 보호 규칙에 링크되지 않습니다.
자산을 이동하는 개인이 자산 소유자인 경우 프로젝트의 모든 사용자에 대해 자산 미리보기가 마스킹 해제됩니다.
자산을 이동하는 개인이 자산 소유자가 아닌 경우 프로젝트의 모든 사용자에 대해 자산 미리보기가 마스킹됩니다.
자산 소유자에 대해 데이터 보호 규칙이 적용되지 않으므로 자산 소유자가 마스킹 플로우를 실행하면 대상 데이터베이스에 로드된 데이터 사본이 마스크되지 않습니다. 데이터는 데이터 사용자가 마스킹 플로우를 실행할 때에만 마스킹됩니다.
의도하지 않은 데이터 누출을 방지하는 가장 좋은 방법
데이터 누출을 방지하기 위해 다음 우수 사례를 고려하십시오.
관리자가 카탈로그에 메타데이터를 가져오기 위해 사용하는 프로젝트는 마스킹 플로우에서 사용해서는 안 됩니다. 메타데이터 가져오기 및 마스킹 플로우에 대해 동일한 프로젝트를 사용하려는 경우 프로젝트의 모든 사용자에게 마스킹 해제된 데이터를 볼 권한이 있는지 확인하십시오.
데이터 관리자는 마스킹 플로우 작성을 위해 카탈로그에서 프로젝트로 데이터를 이동해서는 안 됩니다. 데이터 관리자는 카탈로그에 뷰어로 데이터 사용자를 추가해야 하며, 이후에 데이터 사용자만 카탈로그에서 프로젝트로 데이터를 이동해야 합니다. 선택적으로 프로젝트에 다른 사용자를 추가할 수 있습니다.
메모리 부족 오류 방지
Copy link to section
마스킹 플로우 작업 중, Spark는 모든 데이터 소스를 메모리로 읽도록 시도할 수 있습니다. 메모리가 부족하여 작업을 지원할 수 없는 경우 오류가 발생할 수 있습니다. 배치된 최대 Spark 처리 노드에 맞을 수 있는 최대 데이터 볼륨은 대략 12GB입니다.
메모리 사용량이 높은 마스킹 플로우 작업의 경우 메모리 부족 오류를 방지하려면 다음을 수행하십시오.
작업에 대한 실행 프로그램 수 및 실행 프로그램 크기를 제한하십시오.
데이터를 파티션할 소스 테이블의 컬럼을 설정하십시오.
플로우 작업 마스킹에 많은 양의 데이터 이동이 포함되는 경우, 마스킹 플로우 작업 중에 데이터를 파티션할 수 있는 컬럼을 선택해야 합니다.
컬럼 길이 제한을 수용하기 위해 출력이 잘렸습니다.
Copy link to section
컬럼 길이 는 문자열 유형 데이터에 대해 데이터베이스의 컬럼에 대해 정의되는 최대 길이입니다.
이전에는 생성된 마스킹 출력이 컬럼 길이를 고려하지 않았으며 출력 값이 컬럼 길이를 초과하는 경우 마스킹 플로우 작업이 실패했습니다.
이제 생성된 출력은 열 길이 제한을 초과하지 않도록 잘립니다.
데이터 사용자의 사전 태스크
Copy link to section
데이터 사용자는 이미 데이터 과학자 역할에 대한 권한 레벨이 있거나 플랫폼의 멤버여야 합니다.
필수 권한
당신은 IBM Cloud 계정과 자격을 갖습니다. IBM Knowledge Catalog 라이트 플랜.
선택적 권한
데이터 관리자는 카탈로그에 대한 편집자 또는 뷰어 액세스를 제공할 수 있습니다.
데이터 관리자 또는 기타 데이터 사용자는 이들이 작성한 개별 프로젝트에 대한 액세스를 제공할 수 있습니다.
Use this interactive map to learn about the relationships between your tasks, the tools you need, the services that provide the tools, and where you use the tools.
Select any task, tool, service, or workspace
You'll learn what you need, how to get it, and where to use it.
Some tools perform the same tasks but have different features and levels of automation.
Jupyter notebook editor
Prepare data
Visualize data
Build models
Deploy assets
Create a notebook in which you run Python, R, or Scala code to prepare, visualize, and analyze data, or build a model.
AutoAI
Build models
Automatically analyze your tabular data and generate candidate model pipelines customized for your predictive modeling problem.
SPSS Modeler
Prepare data
Visualize data
Build models
Create a visual flow that uses modeling algorithms to prepare data and build and train a model, using a guided approach to machine learning that doesn’t require coding.
Decision Optimization
Build models
Visualize data
Deploy assets
Create and manage scenarios to find the best solution to your optimization problem by comparing different combinations of your model, data, and solutions.
Data Refinery
Prepare data
Visualize data
Create a flow of ordered operations to cleanse and shape data. Visualize data to identify problems and discover insights.
Orchestration Pipelines
Prepare data
Build models
Deploy assets
Automate the model lifecycle, including preparing data, training models, and creating deployments.
RStudio
Prepare data
Build models
Deploy assets
Work with R notebooks and scripts in an integrated development environment.
Federated learning
Build models
Create a federated learning experiment to train a common model on a set of remote data sources. Share training results without sharing data.
Deployments
Deploy assets
Monitor models
Deploy and run your data science and AI solutions in a test or production environment.
Catalogs
Catalog data
Governance
Find and share your data and other assets.
Metadata import
Prepare data
Catalog data
Governance
Import asset metadata from a connection into a project or a catalog.
Metadata enrichment
Prepare data
Catalog data
Governance
Enrich imported asset metadata with business context, data profiling, and quality assessment.
Data quality rules
Prepare data
Governance
Measure and monitor the quality of your data.
Masking flow
Prepare data
Create and run masking flows to prepare copies of data assets that are masked by advanced data protection rules.
Governance
Governance
Create your business vocabulary to enrich assets and rules to protect data.
Data lineage
Governance
Track data movement and usage for transparency and determining data accuracy.
AI factsheet
Governance
Monitor models
Track AI models from request to production.
DataStage flow
Prepare data
Create a flow with a set of connectors and stages to transform and integrate data. Provide enriched and tailored information for your enterprise.
Data virtualization
Prepare data
Create a virtual table to segment or combine data from one or more tables.
OpenScale
Monitor models
Measure outcomes from your AI models and help ensure the fairness, explainability, and compliance of all your models.
Data replication
Prepare data
Replicate data to target systems with low latency, transactional integrity and optimized data capture.
Master data
Prepare data
Consolidate data from the disparate sources that fuel your business and establish a single, trusted, 360-degree view of your customers.
Services you can use
Services add features and tools to the platform.
watsonx.ai Studio
Develop powerful AI solutions with an integrated collaborative studio and industry-standard APIs and SDKs. Formerly known as Watson Studio.
watsonx.ai Runtime
Quickly build, run and manage generative AI and machine learning applications with built-in performance and scalability. Formerly known as Watson Machine Learning.
IBM Knowledge Catalog
Discover, profile, catalog, and share trusted data in your organization.
DataStage
Create ETL and data pipeline services for real-time, micro-batch, and batch data orchestration.
Data Virtualization
View, access, manipulate, and analyze your data without moving it.
Watson OpenScale
Monitor your AI models for bias, fairness, and trust with added transparency on how your AI models make decisions.
Data Replication
Provide efficient change data capture and near real-time data delivery with transactional integrity.
Match360 with Watson
Improve trust in AI pipelines by identifying duplicate records and providing reliable data about your customers, suppliers, or partners.
Manta Data Lineage
Increase data pipeline transparency so you can determine data accuracy throughout your models and systems.
Where you'll work
Collaborative workspaces contain tools for specific tasks.
Project
Where you work with data.
> Projects > View all projects
Catalog
Where you find and share assets.
> Catalogs > View all catalogs
Space
Where you deploy and run assets that are ready for testing or production.
> Deployments
Categories
Where you manage governance artifacts.
> Governance > Categories
Data virtualization
Where you virtualize data.
> Data > Data virtualization
Master data
Where you consolidate data into a 360 degree view.