Apache HDFS-Verbindung
Sie können ein Verbindungsasset für den Zugriff auf Ihre Daten in Apache HDFS erstellen.
Apache Hadoop Distributed File System (HDFS) ist ein verteiltes Dateisystem, das auf Standardhardware ausgeführt werden kann. Apache HDFS war früher Hortonworks HDFS.
Eine Verbindung zu Apache HDFS erstellen
Zum Erstellen des Verbindungsassets benötigen Sie die folgenden Verbindungsdetails. Die WebHDFS URL ist erforderlich.
Die verfügbaren Eigenschaften im Verbindungsformular hängen davon ab, ob Sie Verbindung zu Apache Hive auswählen, damit Sie Tabellen in die Hive -Datenquelle schreiben können.
- WebHDFS URL für den Zugriff auf HDFS.
- Hive -Host: Der Hostname oder die IP-Adresse des Apache Hive -Servers.
- Hive-Datenbank: Die Datenbank in Apache Hive.
- Hive-Portnummer: Die Port-Nummer des Apache-Hive-Servers. Der Standardwert ist
10000. - Hive HTTP path: Der Pfad des Endpunkts, z. B. gateway/default/hive, wenn der Server für den Transportmodus HTTP konfiguriert ist.
- SSL-Zertifikat (falls für den Apache Hive -Server erforderlich)
Berechtigungsnachweise
Der Benutzername ist erforderlich.
- Benutzername und Kennwort
- Hive -Benutzer und -Kennwort, wenn Sie eine Verbindung zu Apache Hive herstellen
Für private Konnektivität müssen Sie eine sichere Verbindung einrichten, um eine Verbindung zu einer Datenbank herstellen zu können, die nicht über das Internet zugänglich ist (z. B. hinter einer Firewall).
Je nach Position auf der Plattform geeignete Methode zum Erstellen einer Verbindung auswählen
- In einem Projekt
- Klicken Sie auf Assets > Neues Asset > Datenzugriffstools > Verbindung. Weitere Informationen finden Sie unter Verbindung zu einem Projekt hinzufügen.
- In einem Katalog
- Klicken Sie auf Zu Katalog hinzufügen > Verbindung. Weitere Informationen finden Sie unter Verbindungsasset zu einem Katalog hinzufügen.
- In einem Bereitstellungsbereich
- Klicken Sie auf Zu Bereich hinzufügen > Verbindung. Siehe Verbindungen zu einem Bereitstellungsbereich hinzufügen.
- Im Katalog der Plattformressourcen
- Klicken Sie auf Neue Verbindung. Weitere Informationen finden Sie unter Hinzufügen von Plattformverbindungen.
Nächster Schritt: Fügen Sie Datenassets aus der Verbindung hinzu
Weitere Informationen finden Sie unter Daten aus einer Verbindung in einem Projekt hinzufügen.
Weitere Informationen finden Sie unter Daten aus einer Verbindung in einem Katalog hinzufügen.
Wo Sie diese Verbindung verwenden können
Sie können Apache HDFS-Verbindungen in den folgenden Arbeitsbereichen und Tools verwenden:
Projekte
- Datenqualitätsregeln (IBM Knowledge Catalog)
- Data Refinery (Watson Studio oder IBM Knowledge Catalog)
- DataStage (DataStage -Service) Siehe Verbindung zu einer Datenquelle in DataStage.
- Decision Optimization (Watson Studio und Watson Machine Learning)
- Metadatenaufbereitung (IBM Knowledge Catalog)
- Metadata import (IBM Knowledge Catalog)
- SPSS Modeler (Watson Studio)
Kataloge
Platform assets catalog
Andere Kataloge (IBM Knowledge Catalog)
Apache HDFS-Konfiguration
Unterstützte Dateitypen
Die Apache HDFS-Verbindung unterstützt die folgenden Dateitypen: Avro, CSV, Text mit Trennzeichen, Excel, JSON, OR, Parquet, SAS, SAV, SHP und XML.
Tabellenformate
Neben der Flachdatei unterstützt die Apache HDFS -Verbindung die folgenden Data Lake-Tabellenformate: Delta Lake und Iceberg.
Weitere Informationen
Übergeordnetes Thema: Unterstützte Verbindungen