Apache HDFS에 대한 연결 작성

연결 자산을 작성하려면 다음 연결 세부사항이 필요합니다. WebHDFS URL은 필수입니다.
연결 양식에서 사용 가능한 특성은 Hive 데이터 소스에 테이블을 쓸 수 있도록 Apache Hive에 연결 을 선택하는지 여부에 따라 다릅니다.

• WebHDFS HDFS에 액세스하기 위한 URL입니다.
• Hive 호스트: Apache Hive 서버의 호스트 이름 또는 IP 주소입니다.
• Hive 데이터베이스: Apache Hive의 데이터베이스.
• Hive 포트 번호: Apache Hive 서버의 포트 번호. 기본값은 10000입니다.
• Hive HTTP 경로: 서버가 HTTP 전송 모드에 대해 구성된 경우 게이트웨이/기본/하이브 (gateway/default/hive) 와 같은 엔드포인트의 경로입니다.
• SSL 인증서 ( Apache Hive 서버에서 필요한 경우).

신임 정보

사용자 이름은 필수입니다.

• 사용자 이름 및 비밀번호
• Apache Hive 에 연결하는 경우 Hive 사용자 및 비밀번호

개인 연결의 경우 인터넷에 외부화되지 않은 데이터베이스(예: 방화벽 뒤)에 연결하려면 보안 연결을 설정해야 합니다.

이 연결의 사용처

다음 작업 공간 및 도구에서 Apache HDFS 연결을 사용할 수 있습니다.

프로젝트

• 데이터 품질 규칙IBM Knowledge Catalog
• Data Refinery (watsonx.ai Studio 또는 ' IBM Knowledge Catalog' )
• DataStage (DataStage 서비스). DataStage의 데이터 소스에 연결을 참조하십시오.
• Decision Optimizationwatsonx.ai 스튜디오 및 watsonx.ai 런타임)
• 메타데이터 강화IBM Knowledge Catalog
• Metadata import (IBM Knowledge Catalog)
• SPSS Modeler (watsonx.ai Studio)

Catalogs

• Platform assets catalog

• 기타 카탈로그IBM Knowledge Catalog

Apache HDFS 설정

Hadoop 클러스터 설치 및 설정

지원되는 파일 유형

Apache HDFS 연결은 Avro, CSV, Delimited text, Excel, JSON, ORC, Parquet, SAS, SAV, SHP 및 XML 파일 유형을 지원합니다.

테이블 형식

플랫 파일 외에도 Apache HDFS 연결은 델타 레이크 및 Iceberg와 같은 데이터 레이크 테이블 형식을 지원합니다.

자세한 정보

Apache HDFS 사용자 안내서

상위 주제: 지원되는 연결