데이터 강화

마지막 업데이트 날짜: 2025년 2월 21일

데이터 강화

사용자가 데이터를 더 빨리 찾고, 데이터가 당면한 작업에 적합한지, 데이터를 신뢰할 수 있는지, 데이터로 작업하는 방법을 결정하는 데 도움이 되는 정보로 데이터 자산을 강화하세요. 이러한 정보에는 데이터의 의미를 정의하는 용어, 소유권을 문서화하거나 품질 표준을 판별하는 규칙 또는 검토 등이 포함됩니다.

데이터 스튜어드는 데이터의 의미를 이해하고 데이터 품질을 평가할 자산 프로파일을 작성합니다. 또한 용어를 지정하여 데이터에 비즈니스 컨텍스트를 추가하고 테이블 간의 관계를 식별합니다. 메타데이터 강화는 이 프로세스를 자동화하여 데이터 스튜워드의 생산성을 증가시킵니다.

데이터는 해당 컨텍스트, 컨텐츠 및 품질이 신뢰되는 경우에만 유용합니다. 이를 유지하려면 데이터를 지속적으로 평가하고 필요한 경우 적절한 수정을 수행해야 합니다. 데이터 스튜워드는 데이터의 컨텐츠 및 구조에 대한 변경사항을 지속적으로 추적한 후 변경된 데이터만 분석하도록 반복 작업을 구성할 수 있습니다.

메타데이터 강화를 통해 자산에 추가되는 정보는 데이터를 마스킹하거나 액세스를 제한하는 데이터 보호 정책에 사용될 수 있기 때문에 데이터를 보호하도록 도움을 주기도 합니다.

필수 서비스

IBM Knowledge Catalog
고급 키 또는 관계 분석 및 고급 프로파일링을 위한 DataStage

데이터 형식

관계형 및 비관계형 데이터 소스의 테이블

Delta Lake 그리고 특정 파일 저장 커넥터의 아이스버그 테이블.

로컬 파일 시스템 또는 데이터 소스에 대한 파일 기반 연결에서 업로드된 파일은 CSV, TSV, Avro, Parquet, Microsoft Excel (xls, xlsm및 xlsx) 형식으로 되어 있습니다. 워크북의 첫 번째 시트만 로컬 파일 시스템에서 업로드된 파일에 대해 프로파일링됩니다. 다음 구조화된 데이터 파일은 프로파일링되지 않습니다.

연결된 폴더 자산 내의 파일입니다. 연결된 폴더 자산에서 액세스할 수 있는 파일은 자산으로 처리되지 않으며 프로파일링되지 않습니다.
아카이브 파일 내의 파일 (예: .zip 파일). 아카이브 파일은 데이터 자산으로 참조되며 압축 파일은 프로파일링되지 않습니다.

큐레이션 및 데이터 품질을 위해 지원되는 데이터 소스에 나열된 데이터 소스에서 데이터 자산을 강화할 수 있습니다.

데이터 크기

모두. 파일 기반 연결의 데이터 세트에는 4,999개 이상의 컬럼이 있을 수 없습니다.

필수 권한

메타데이터 인리치먼트를 작성, 관리 및 실행하려면 프로젝트에서 관리 또는 편집자 역할이 있어야 하며 인리치먼트에서 사용할 카테고리에 대한 보기 액세스 권한이 있어야 합니다. 또한 강화할 데이터 자산의 데이터 소스에 대한 연결에 액세스할 권한이 있어야 합니다.

이러한 연결이 잠겨 있는 경우 개인 자격 증명을 입력하라는 메시지가 표시됩니다. 이 단계는 연결을 영구적으로 잠금 해제하는 일회성 단계입니다.

메타데이터 강화의 일부로 실행되는 모든 조작에는 보안 권한 부여를 위한 신임 정보가 필요합니다. 일반적으로 사용자 API키는 중단 없이 이러한 장기 실행 조작을 실행하는 데 사용됩니다. 메타데이터 인리치먼트를 작성하거나 임의 유형의 인리치먼트를 실행하려고 할 때 신임 정보를 사용할 수 없는 경우 API키를 작성하도록 프롬프트가 표시됩니다. 그런 다음 해당 API키가 태스크 신임 정보로 저장됩니다. 사용자 API키 관리를 참조하십시오.

또한 사용자 인터페이스 대신 API를 사용하여 메타데이터 인리치먼트를 작성, 편집, 실행 또는 삭제할 수 있습니다. 이러한 API에 대한 링크는 자세히 보기 섹션에 나열되어 있습니다.

메타데이터 강화 개요

데이터 자산 강화는 다음 프로세스를 포함합니다.

강화하려는 데이터 자산을 식별하십시오.
프로젝트에서 메타데이터 인리치먼트 자산을 작성하여 인리치먼트의 범위 및 목표, 인리치먼트 작업의 스케줄과 같은 인리치먼트 세부사항을 구성하십시오.
강화 작업을 실행하십시오.
인리치먼트에 포함된 각 데이터 자산에 대해 메타데이터 인리치먼트 자산의 결과에 대해 작업하십시오.
1. 이상 및 품질 문제를 식별하고 문제를 개선하기 위한 적절한 조치를 취하십시오.
2. 표시 이름 또는 AI 생성 설명과 같은 생성된 컨텐츠를 검토합니다.
3. 용어 지정을 확인하고, 용어 제안을 평가하고 수행합니다.
4. 열 레벨에서 데이터 클래스 지정을 관리합니다.
5. 분류를 관리합니다.
6. 기본 키 및 관계를 식별하고 설정합니다.
7. 겹치거나 중복된 데이터를 발견합니다.
또한 강화 결과에 액세스하여 각 개별 자산의 프로파일에서 작업을 수행할 수 있습니다. 자산 프로파일을 참조하십시오. 자산의 데이터 품질 탭에서 자세한 품질 정보를 사용할 수 있습니다.
문제가 있는 자산을 재평가하십시오.
필요에 따라 결과와 함께 데이터 자산을 게시합니다.

UI 대신 API를 사용하여 대부분의 태스크를 수행할 수 있습니다. 각 해당 작업에 대해 IBM Knowledge Catalog API에 대한 링크가 나열되어 있습니다.

연결된 개별 자산을 메타데이터 강화에 추가할 수 있지만 메타데이터 가져오기는 메타데이터 가져오기를 통해 프로젝트에 추가된 데이터 자산을 벌크 처리하기 위한 것입니다.

인리치먼트 옵션의 일관된 사용을 보장하기 위해 프로젝트의 모든 메타데이터 인리치먼트 자산에 대해 기본 설정 을 구성할 수 있습니다. 설정 페이지를 열려면 관리 > 메타데이터 강화로 이동합니다. 또는 기존 메타데이터 보강 에셋을 열고 기본 설정를 클릭할 수 있습니다.

워크로드 관리를 위해 메타데이터 강화 작업 실행을 작업 실행 시간으로 제한할 수 있습니다. 프로젝트 관리자는 관리 > 작업 실행 창에서 이러한 창을 정의할 수 있습니다.