구조화된 데이터의 검색, 보강 및 데이터 품질을 위해 지원되는 커넥터
자산 메타데이터를 가져올 수 있는 다양한 데이터 소스에 연결한 다음 해당 데이터 자산을 보강하고 데이터 품질을 평가할 수 있습니다. 이러한 소스에서 데이터의 동적 보기를 만들 수 있습니다. 데이터 품질 분석의 출력을 지원되는 데이터 소스에 쓸 수도 있습니다.
열에 대시(-)가 있는 경우 해당 데이터 원본이 이 용도로 지원되지 않음을 나타냅니다.
기본적으로 데이터 품질 규칙과 기본 DataStage 흐름은 표준 플랫폼 연결을 지원합니다. 기존 DataStage 에서 지원되고 사용자 지정 DataStage 흐름에 잠재적으로 사용되었던 모든 커넥터가 IBM Knowledge Catalog 에서 지원되는 것은 아닙니다.
요구사항 및 제한사항
데이터 큐레이션 및 데이터 품질 평가에 사용할 연결에 대한 요구 사항과 제한 사항을 이해합니다.
필요 권한
사용자는 데이터 원본에 대한 연결에 액세스할 수 있는 권한이 있어야 합니다. 메타데이터 가져오기의 경우 가져오기를 실행하는 사용자에게 해당 데이터베이스에 대한 SELECT 또는 이와 유사한 권한이 있어야 합니다.
일반 전제조건
이러한 경우에 사용되는 연결은 프로젝트에 연결 에셋이 있어야 합니다:
- 메타데이터 보강의 자산에 대한 고급 분석(심층 기본 키 분석, 심층 관계 분석 또는 고급 데이터 프로파일링)을 포함한 메타데이터 보강을 실행하는 경우
- 데이터 품질 규칙 실행
- 쿼리 기반 데이터 자산 (동적 보기) 을 만드는 경우
- 데이터 품질 검사 또는 빈도 분포표의 출력 작성용
지원되는 소스 데이터 형식
일반적으로 메타데이터 가져오기, 메타데이터 강화 및 데이터 품질 규칙은 다음과 같은 데이터 형식을 지원합니다:
모두: 관계형 및 비관계형 데이터 원본의 테이블
Delta Lake 및 특정 파일 저장소 커넥터에 대한 Iceberg 테이블 형식입니다. 분석이 예상대로 작동하려면 최상위 디렉터리 대신 특정 파일을 가져오세요:
- Delta Lake 테이블의 경우
_delta_log파일을 가져옵니다. - Iceberg 테이블의 경우
metadata/version-hint.text파일을 가져옵니다.
- Delta Lake 테이블의 경우
Metadata import : 데이터 원본에 대한 파일 기반 연결의 모든 형식입니다. Microsoft Excel 통합 문서의 경우 각 시트는 별도의 데이터 자산으로 가져옵니다. 데이터 자산 이름은 Excel 시트의 이름과 같습니다.
메타데이터 강화: 표 형식: CSV, TSV, Avro, Parquet, Microsoft Excel(로컬 파일 시스템에서 업로드된 통합 문서의 경우 통합 문서의 첫 번째 시트만 프로파일링됩니다.)
데이터 품질 규칙: 표 형식: Avro, CSV, Parquet, ORC; 로컬 파일 시스템에서 업로드된 데이터 자산의 경우, CSV만 해당됩니다
분석 출력 테이블에 대한 데이터베이스 지원
일반적으로 메타데이터 보강, 고급 프로파일링 또는 데이터 품질 규칙 실행의 일부로 실행된 데이터 품질 분석의 분석 결과가 포함된 출력 테이블을 이러한 데이터베이스에 기록할 수 있습니다:
특정 데이터베이스 커넥터가 출력 테이블도 지원하는 경우 출력 테이블 대상 열에 확인 표시가 표시됩니다.
파일 스토리지 커넥터
| 커넥터 | Metadata import | 메타데이터 강화 | 정의 기반 규칙 |
|---|---|---|---|
| Amazon S3 Delta Lake 테이블, 아이스버그 테이블 |
✓ | ✓ | ✓ |
| Apache HDFS | ✓ | ✓ | ✓ |
| Box | ✓ | ✓ 1 | — |
| 일반 S3 Delta Lake 테이블, 아이스버그 테이블 |
✓ | ✓ | ✓ |
| Google Cloud Storage Delta Lake 테이블, 아이스버그 테이블 |
✓ | ✓ | ✓ |
| IBM Cloud Object Storage | ✓ | ✓ | — |
| IBM Match 360 | ✓ | ✓ | ✓ |
| Microsoft Azure Data Lake Storage Delta Lake 테이블, 아이스버그 테이블 |
✓ | ✓ | ✓ |
참고:
1 이 데이터 원본에는 고급 분석이 지원되지 않습니다.
데이터베이스 커넥터
| 커넥터 | Metadata import | 메타데이터 강화 | 정의 기반 규칙 | SQL 기반 규칙 | SQL 기반 데이터 자산 | 출력 테이블 대상 |
|---|---|---|---|---|---|---|
| Amazon RDS for MySQL | ✓ | ✓ | — | — | — | — |
| Amazon RDS for Oracle | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Amazon RDS for PostgreSQL | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Amazon Redshift | ✓ | ✓ 1 | ✓ | ✓ | ✓ | — |
| Apache Cassandra | ✓ | ✓ | ✓ | ✓ | ✓ | — |
| Apache Hive | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ 5 |
| Apache Impala 와 함께 Apache Kudu | ✓ | ✓ | ✓ | ✓ | ✓ | — |
| 데노도 |
✓ | ✓ | ✓ | ✓ | ✓ | — |
| Dremio | ✓ | ✓ | ✓ | ✓ | ✓ | — |
| Google BigQuery | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ 6 |
| Greenplum | ✓ | ✓ | ✓ | ✓ | ✓ | — |
| IBM Cloud Databases for MongoDB | ✓ | ✓ | — | — | — | — |
| IBM Cloud Databases for MySQL | ✓ | ✓ | — | — | — | — |
| IBM Cloud Databases for PostgreSQL | ✓ | ✓ | — | — | — | — |
| IBM Data Virtualization | ✓ | ✓ | ✓ | ✓ | ✓ | — |
| IBM Data Virtualization Manager for z/OS 2 | ✓ | ✓ | — | — | — | — |
| IBM Db2 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| IBM Db2 Big SQL | ✓ | ✓ | — | — | — | — |
| IBM Db2 for z/OS | ✓ | ✓ | — | — | — | — |
| IBM Db2 on Cloud | ✓ | ✓ | ✓ | ✓ | — | ✓ |
| IBM Db2 Warehouse | ✓ | ✓ | — | — | — | — |
| IBM Informix | ✓ | ✓ | — | — | — | — |
| IBM Netezza Performance Server | ✓ | ✓ | ✓ | ✓ | — | — |
| 커넥터 | Metadata import | 메타데이터 강화 | 정의 기반 규칙 | SQL 기반 규칙 | SQL 기반 데이터 자산 | 출력 테이블 대상 |
| MariaDB | ✓ | ✓ | — | — | — | — |
| Microsoft Azure 데이터브릭스7 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Microsoft Azure SQL Database | ✓ | ✓ | ✓ | ✓ | ✓ | — |
| Microsoft SQL Server | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| MongoDB | ✓ | ✓ | ✓ | ✓ | — | — |
| MySQL | ✓ | ✓ | ✓ | ✓ | ✓ | — |
| Oracle 3 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| PostgreSQL | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Salesforce.com | ✓ | ✓ 1 4 | — | — | — | — |
| SAP ASE | ✓ | ✓ 1 | ✓ | ✓ | ✓ | — |
| SAP OData 인증 방법: 사용자 아이디와 비밀번호 |
✓ | ✓ 8 | ✓ | — | — | — |
| SingleStoreDB | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Snowflake | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Teradata | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
참고:
1 이 데이터 원본에는 고급 분석이 지원되지 않습니다.
2 Data Virtualization Manager for z/OS 을 사용하여 메인프레임 시스템의 데이터 및 COBOL 카피북 자산을 IBM Cloud Pak for Data 의 카탈로그에 추가합니다. 카피북은 COBOL 프로그램의 데이터 구조를 설명하는 파일입니다. Data Virtualization Manager for z/OS를 통해 COBOL 카피북 맵에서 가상 테이블과 뷰를 작성할 수 있습니다. 그 후 이러한 가상 테이블 및 뷰를 사용하여 메인프레임 데이터를 메인프레임으로부터 IBM Cloud Pak for Data로, 데이터 자산 및 COBOL 카피북 자산 형태로 가져오고 카탈로깅할 수 있습니다.
다음 유형의 COBOL 카피북 맵은 가져오기할 수 없습니다: ACI, 카탈로그, 자연
가져오기가 완료되면 카탈로그로 이동하여 COBOL 카피북 맵, 가상 테이블 및 뷰를 비롯한 가져온 자산을 검토할 수 있습니다. 이러한 자산은 Cloud Pak for Data에서 다른 자산을 사용하는 방식과 동일한 방식으로 사용할 수 있습니다.
자세한 정보는 COBOL 카피북 자산 추가를 참조하십시오.
3 테이블 및 열 설명은 다음 메타데이터 검색 옵션 중 하나를 사용하여 연결이 구성된 경우에만 가져옵니다:
- 동의어 없음
- 비고 및 동의어
4 SFORCE 스키마의 일부 개체는 지원되지 않습니다. 참조 Salesforce.com.
5 3.0.0 보다 이전 버전인 Apache Hive 에서 메타데이터 보강 출력 테이블을 만들려면 3.0.0 보다 이전 버전인 Apache Hive 에 메타데이터 보강 출력 작성에 설명된 해결 방법을 적용해야 합니다.
6 고급 프로파일링용 출력 테이블: 고급 프로파일링을 너무 짧은 간격으로 다시 실행하면 Google BigQuery 에서 데이터가 충분히 빠르게 업데이트되지 않아 결과가 누적될 수 있습니다. 동일한 출력 대상으로 고급 프로파일링을 다시 실행하기 전에 최소 90분을 기다리세요. 자세한 내용은 스트림 데이터 가용성을 참조하세요. 또는 다른 출력 테이블을 정의할 수도 있습니다.
7 Hive 메타스토어 및 Unity 카탈로그
8 데이터 자산이 테이블인지 뷰인지 여부에 대한 정보는 검색할 수 없으므로 보강 결과에 표시되지 않습니다.
자세한 정보
상위 주제: 큐레이션 및 데이터 품질을 위해 지원되는 커넥터