0 / 0
Zurück zur englischen Version der Dokumentation
ibm-watson-studio-lib für Python
Letzte Aktualisierung: 04. Dez. 2024
ibm-watson-studio-lib für Python

Die Bibliothek ibm-watson-studio-lib für Python bietet Zugriff auf Assets. Sie kann in Notebooks verwendet werden, die im Notebook-Editor erstellt werden. ibm-watson-studio-lib bietet Unterstützung für das Arbeiten mit Datenassets und Verbindungen sowie für die Suchfunktionalität für alle anderen Assettypen.

Hinweis: Die ' ibm-watson-studio-lib -Bibliothek für Python ist für watsonx.ai Studio, früher bekannt als Watson Studio.

Es gibt zwei Arten von Datenassets:

  • Gespeicherte Datenassets verweisen auf Dateien in dem Speicher, der dem aktuellen Projekt zugeordnet ist. Die Bibliothek kann diese Dateien laden und speichern. Für Daten mit mehr als einem Megabyte wird dies nicht empfohlen. Die Bibliothek erfordert, dass die Daten vollständig im Speicher aufbewahrt werden. Dies kann bei der Verarbeitung sehr großer Datasets ineffizient sein.
  • Verbundene Datenassets stellen Daten dar, auf die über eine Verbindung zugegriffen werden muss. Mit der Bibliothek können die Eigenschaften (Metadaten) des verbundenen Datenassets und seiner Verbindung abgerufen werden. Die Funktionen geben die Daten eines verbundenen Datenassets nicht zurück. Sie können den für Sie generierten Code verwenden, wenn Sie im Teilfenster "Code-Snippets" auf Daten lesen klicken, um auf die Daten zuzugreifen, oder Sie müssen Ihren eigenen Code schreiben.
Hinweis: Die ibm-watson-studio-lib -Funktionen codieren oder decodieren Daten nicht, wenn Daten in eine Datei gespeichert oder aus einer Datei abgerufen werden. Außerdem können die ibm-watson-studio-lib -Funktionen nicht für den Zugriff auf verbundene Ordnerassets (Dateien in einem Pfad zum Projektspeicher) verwendet werden.

ibm-watson-studio-lib -Bibliothek einrichten

Um von Ihrem Notebook aus auf Projekt-Assets zuzugreifen, initialisieren Sie ' ibm-watson-studio-lib. Die ' ibm-watson-studio-lib -Bibliothek für Python ist vorinstalliert und kann direkt in ein Notizbuch im Notizbuch-Editor importiert werden.

So fügen Sie den Code ein, der Ihnen den Zugriff auf die Projektressourcen ermöglicht:

  1. Klicken Sie auf das Symbol Mehr in der Symbolleiste Ihres Notebooks und anschließend auf Projekttoken einfügen.

    Wenn ein Projekttoken vorhanden ist, wird Ihrem Notebook eine Zelle mit den folgenden Informationen hinzugefügt:

    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    

    Wenn das Projekt-Token nicht existiert, erhalten Sie eine Warnmeldung. Klicken Sie auf den Link in der Nachricht, um zur Seite für die Zugangskontrolle des Projekts weitergeleitet zu werden, wo Sie ein Projekt-Token erstellen können. Sie müssen die Berechtigung zum Erstellen eines Projekttokens haben. Details hierzu finden Sie in Projekttoken manuell hinzufügen.

    Gehen Sie wie folgt vor, um ein Projekttoken zu erstellen:

    1. Wählen Sie auf der Registerkarte Verwalten die Seite Zugriffssteuerung aus und klicken Sie unter Zugriffstokens auf Neues Zugriffstoken.
    2. Geben Sie einen Namen ein, wählen Sie die Rolle Editor für das Projekt aus und erstellen Sie ein Token.
    3. Rufen Sie wieder Ihr Notebook auf, klicken Sie auf das Symbol Mehr in der Symbolleiste des Notebooks und klicken Sie anschließend auf Projekttoken einfügen.

Helperfunktionen

Sie können Informationen zu den unterstützten Funktionen in der ibm-watson-studio-lib -Bibliothek über das Programm mit help(wslib)oder für eine einzelne Funktion mit help(wslib.<function_name>abrufen, z. B. help(wslib.get_connection).

Sie können die Helper-Funktion wslib.show(...) zum formatierten Drucken von Python -Wörterverzeichnissen und -Listen von Wörterverzeichnissen verwenden, die den allgemeinen Ergebnisausgabetyp der ibm-watson-studio-lib -Funktionen darstellen.

Die ibm-watson-studio-lib-Funktionen

Die Bibliothek ibm-watson-studio-lib stellt eine Gruppe von Funktionen bereit, die wie folgt gruppiert sind:

Projektinformationen abrufen

Beim Entwickeln von Code kennen Sie möglicherweise nicht die genauen Namen von Datenassets oder Verbindungen. Die folgenden Funktionen stellen Listen mit Assets bereit, aus denen Sie die relevanten Assets auswählen können. In allen Beispielen können Sie wslib.show(assets) verwenden, um die Liste zu drucken. Der Index jedes Elements wird vor dem Element gedruckt.

  • list_connections()

    Diese Funktion gibt eine Liste von Verbindungen zurück. Die Liste der zurückgegebenen Verbindungen ist nach keinem Kriterium sortiert und kann geändert werden, wenn Sie die Funktion erneut aufrufen. Sie können ein Wörterverzeichniselement anstelle eines Namens an die Funktion get_connection übergeben.

    Beispiel:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    assets = wslib.list_connections()
    wslib.show(assets)
    connprops = wslib.get_connection(assets[0])
    wslib.show(connprops)
    
  • list_connected_data()

    Diese Funktion gibt die verbundenen Datenassets zurück. Die Liste der zurückgegebenen verbundenen Datenassets ist nicht nach Kriterien sortiert und kann sich ändern, wenn Sie die Funktion erneut aufrufen. Sie können ein Wörterverzeichniselement anstelle eines Namens an die Funktion get_connected_data übergeben.

  • list_stored_data()

    Diese Funktion gibt eine Liste der gespeicherten Datenassets (Datendateien) zurück. Die Liste der zurückgegebenen Datenassets ist nicht nach Kriterien sortiert und kann sich ändern, wenn Sie die Funktion erneut aufrufen. Sie können ein Wörterverzeichniselement anstelle eines Namens an die Funktionen load_data und save_dataübergeben.

    Anmerkung: Es wird eine Heuristik angewendet, um zwischen verbundenen Datenassets und gespeicherten Datenassets zu unterscheiden. Es kann jedoch vorkommen, dass ein Datenasset der falschen Art in den zurückgegebenen Listen angezeigt wird.
  • wslib.here< \br>

    Mit diesem Eingangspunkt können Sie Metadaten zu dem Projekt abrufen, mit dem die Bibliothek arbeitet. Der Eingangspunkt wslib.here stellt die folgenden Funktionen bereit:

    • get_name()

      Bei Verwendung dieser Funktion wird der Name des Projekts zurückgegeben.

    • get_description()

      Bei Verwendung dieser Funktion wird die Beschreibung des Projekts zurückgegeben.

    • get_ID()

      Diese Funktion gibt die ID des Projekts zurück.

    • get_storage()

      Diese Funktion gibt Speicherinformationen für das Projekt zurück.

Authentifizierungstoken abrufen

Einige Tasks erfordern ein Authentifizierungstoken. Wenn Sie beispielsweise Ihre eigenen Anfragen an die Data and AI Common Core API richten möchten, benötigen Sie ein Authentifizierungstoken.

Sie können die folgende Funktion verwenden, um das Trägertoken abzurufen:

  • get_current_token()

Beispiel:

from ibm_watson_studio_lib import access_project_or_space
wslib = access_project_or_space({"token":"<ProjectToken>"})
token = wslib.auth.get_current_token()

Diese Funktion gibt das Trägertoken zurück, das momentan von der Bibliothek ibm-watson-studio-lib verwendet wird.

Daten abrufen

Mit den folgenden Funktionen können Sie Daten aus einem gespeicherten Datenasset (einer Datei) in Ihrem Projekt abrufen.

  • load_data(asset_name_or_item, attachment_type_or_item=None)

    Diese Funktion lädt die Daten eines gespeicherten Datenassets in einen BytesIO -Puffer. Die Funktion wird für sehr große Dateien nicht empfohlen.

    Von der Funktion werden die folgenden Parameter verwendet:

    • asset_name_or_item: (Erforderlich) Eine Zeichenfolge mit dem Namen eines gespeicherten Datenassets oder ein Element wie die von list_stored_data()zurückgegebenen.

    • attachment_type_or_item: (Optional) Anhangstyp, der geladen werden soll Ein Datenasset kann mehrere Anhänge mit Daten haben. Ohne diesen Parameter wird der Standardanhangstyp, nämlich data_asset , geladen. Geben Sie diesen Parameter an, wenn der Anhangstyp nicht data_assetist. Wenn beispielsweise einem Datenasset mit einfachem Text ein Profil aus der Analyse natürlicher Sprache zugeordnet ist, kann dies als Anhangstyp data_profile_nlugeladen werden.

      Das folgende Beispiel zeigt, wie die Daten eines Datenassets geladen werden:

      # Import the lib
      from ibm_watson_studio_lib import access_project_or_space
      wslib = access_project_or_space({"token":"<ProjectToken>"})
      
      # Fetch the data from a file
      my_file = wslib.load_data("MyFile.csv")
      
      # Read the CSV data file into a pandas DataFrame
      my_file.seek(0)
      import pandas as pd
      pd.read_csv(my_file, nrows=10)
      
  • download_file(asset_name_or_item, file_name=None, attachment_type_or_item=None)

    Diese Funktion lädt die Daten eines gespeicherten Datenassets herunter und speichert sie in der angegebenen Datei im Dateisystem Ihrer Laufzeit. Die Datei wird überschrieben, wenn sie bereits vorhanden ist.

    Von der Funktion werden die folgenden Parameter verwendet:

    • asset_name_or_item: (Erforderlich) Eine Zeichenfolge mit dem Namen eines gespeicherten Datenassets oder ein Element wie die von list_stored_data()zurückgegebenen.

    • file_name: (Optional) Der Name der Datei, in der die heruntergeladenen Daten gespeichert werden Standardmäßig wird der Anlagenname des Assets verwendet.

    • attachment_type_or_item: (Optional) Der Typ des Anhangs, der heruntergeladen werden soll Ein Datenasset kann mehrere Anhänge mit Daten haben. Ohne diesen Parameter wird der Standardanhangstyp, nämlich data_asset , heruntergeladen. Geben Sie diesen Parameter an, wenn der Anhangstyp nicht data_assetist. Wenn einem Datenasset mit einfachem Text beispielsweise ein Profil aus der Analyse natürlicher Sprache zugeordnet ist, kann dies als Anhangstyp data_profile_nluheruntergeladen werden.

      Das folgende Beispiel zeigt, wie Sie mit download_file Ihr angepasstes Python -Script in Ihrem Notebook verfügbar machen können:

      # Import the lib
      from ibm_watson_studio_lib import access_project_or_space
      wslib = access_project_or_space({"token":"<ProjectToken>"})
      
      # Let's assume you have a Python script "helpers.py" with helper functions on your local machine.
      # Upload the script to your project using the Data Panel on the right of the opened notebook.
      
      # Download the script to the file system of your runtime
      wslib.download_file("helpers.py")
      
      # import the required functions to use them in your notebook
      from helpers import my_func
      my_func()
      

Daten speichern

Die Funktionen zum Speichern von Daten in Ihrem Projektspeicher tun mehrere Dinge:

  • Daten im Projektspeicher speichern
  • Fügen Sie die Daten Ihrem Projekt als Datenasset hinzu (indem Sie ein Asset erstellen oder ein vorhandenes Asset überschreiben), damit Sie die Daten in der Datenassetliste in Ihrem Projekt sehen können.
  • Ordnen Sie das Asset der Datei im Speicher zu.

Sie können die folgenden Funktionen zum Speichern von Daten verwenden:

  • save_data(asset_name_or_item, data, overwrite=None, mime_type=None, file_name=None)

    Diese Funktion speichert Daten im Arbeitsspeicher im Projektspeicher.

    Von der Funktion werden die folgenden Parameter verwendet:

    • asset_name_or_item: (Erforderlich) Der Name des erstellten Assets oder Listenelements, das von list_stored_data()zurückgegeben wird. Sie können das Element verwenden, um eine vorhandene Datei zu überschreiben.

    • data: (Erforderlich) Die hochzuladenden Daten. Dies kann ein beliebiges Objekt des Typs bytes-like-objectsein, z. B. ein Bytepuffer.

    • overwrite: (Optional) Überschreibt die Daten eines gespeicherten Datenassets, wenn es bereits vorhanden ist Standardmäßig ist dieser Wert auf ' false' gesetzt. Wenn ein Assetelement anstelle eines Namens übergeben wird, besteht das Verhalten darin, das Asset zu überschreiben.

    • mime_type: (Optional) Der MIME-Typ für das erstellte Asset Standardmäßig wird der MIME-Typ aus dem Suffix des Assetnamens bestimmt. Wenn Sie Assetnamen ohne Suffix verwenden, geben Sie hier den MIME-Typ an. Beispiel: mime_type=application/text für Klartextdaten. Dieser Parameter wird beim Überschreiben eines Assets ignoriert.

    • file_name: (Optional) Der Dateiname, der im Projektspeicher verwendet werden soll Die Daten werden in dem dem Projekt zugeordneten Speicher gespeichert. Beim Erstellen eines neuen Assets wird der Dateiname aus dem Assetnamen abgeleitet, kann sich jedoch unterscheiden. Wenn Sie direkt auf die Datei zugreifen möchten, können Sie einen Dateinamen angeben. Dieser Parameter wird beim Überschreiben eines Assets ignoriert.

      Das folgende Beispiel zeigt, wie Daten in einer Datei gespeichert werden:

      # Import the lib
      from ibm_watson_studio_lib import access_project_or_space
      wslib = access_project_or_space({"token":"<ProjectToken>"})
      
      # let's assume you have the pandas DataFrame pandas_df which contains the data
      # you want to save as a csv file
      wslib.save_data("my_asset_name.csv", pandas_df.to_csv(index=False).encode())
      
      # the function returns a dict which contains the asset_name, asset_id, file_name and additional information upon successful saving of the data
      
  • upload_file(file_path, asset_name=None, file_name=None, overwrite=False, mime_type=None) Diese Funktion speichert Daten im Dateisystem in der Laufzeit in einer Datei, die Ihrem Projekt zugeordnet ist. Von der Funktion werden die folgenden Parameter verwendet:

    • file_path: (Erforderlich) Der Pfad zu der Datei im Dateisystem

    • asset_name: (Optional) Der Name des erstellten Datenassets. Standardmäßig wird der Name der hochzuladenden Datei verwendet.

    • file_name: (Optional) Der Name der Datei, die in dem dem Projekt zugeordneten Speicher erstellt wird. Standardmäßig wird der Name der hochzuladenden Datei verwendet.

    • overwrite: (Optional) Überschreibt eine vorhandene Datei im Speicher. Der Standardwert ist 'false'.

    • mime_type: (Optional) Der MIME-Typ für das erstellte Asset Standardmäßig wird der MIME-Typ aus dem Suffix des Assetnamens bestimmt. Wenn Sie Assetnamen ohne Suffix verwenden, geben Sie hier den MIME-Typ an. Beispiel: mime_type='application/text' für Klartextdaten. Dieser Parameter wird beim Überschreiben eines Assets ignoriert.

      Das folgende Beispiel zeigt, wie Sie eine Datei in das Projekt hochladen können:

      # Import the lib
      from ibm_watson_studio_lib import access_project_or_space
      wslib = access_project_or_space({"token":"<ProjectToken>"})
      
      # Let's assume you have downloaded a file and want to save it
      # in your project.
      import urllib.request
      urllib.request.urlretrieve("https://some/url/data_file.csv", "data_file.csv")
      wslib.upload_file("data_file.csv")
      
      # The function returns a dictionary which contains the asset_name, asset_id, file_name and additional information upon successful saving of the data.
      

Verbindungsinformationen abrufen

Mit der folgenden Funktion können Sie auf die Verbindungsmetadaten einer bestimmten Verbindung zugreifen.

  • get_connection(name_or_item)

    Diese Funktion gibt die Eigenschaften (Metadaten) einer Verbindung zurück, die Sie zum Abrufen von Daten aus der Verbindungsdatenquelle verwenden können. Verwenden Sie wslib.show(connprops) , um die Eigenschaften anzuzeigen. Der Sonderschlüssel "." im zurückgegebenen Wörterverzeichnis stellt Informationen zum Verbindungsasset bereit.

    Die Funktion verwendet den folgenden erforderlichen Parameter:

    • name_or_item: Entweder eine Zeichenfolge mit dem Namen einer Verbindung oder ein Element wie die von list_connections()zurückgegebenen.

    Beachten Sie, dass Sie beim Arbeiten mit Notebooks im Teilfenster "Code-Snippets" auf Daten lesen klicken können, um Code zum Laden von Daten aus einer Verbindung in einen Pandas DataFrame zu generieren.

Informationen zu verbundenen Daten abrufen

Sie können die folgende Funktion verwenden, um auf die Metadaten eines verbundenen Datenassets zuzugreifen.

  • get_connected_data(name_or_item)

    Diese Funktion gibt die Eigenschaften eines verbundenen Datenassets zurück, einschließlich der Eigenschaften der zugrunde liegenden Verbindung. Verwenden Sie wslib.show() , um die Eigenschaften anzuzeigen. Der Sonderschlüssel "." im zurückgegebenen Wörterverzeichnis enthält Informationen zu den Daten und den Verbindungsassets.

    Die Funktion verwendet den folgenden erforderlichen Parameter:

    • name_or_item: Entweder eine Zeichenfolge mit dem Namen eines verbundenen Datenassets oder ein Element wie die von list_connected_data()zurückgegebenen.

    Beachten Sie, dass Sie beim Arbeiten mit Notebooks im Teilfenster "Code-Snippets" auf Daten lesen klicken können, um Code zum Laden von Daten aus einem verbundenen Datenasset in einen Pandas DataFrame zu generieren.

Auf Asset nach ID anstelle des Namens zugreifen

Sie sollten vorzugsweise immer mit einem eindeutigen Namen auf Datenassets und Verbindungen zugreifen. Assetnamen sind nicht unbedingt immer eindeutig und die ibm-watson-studio-lib -Funktionen lösen eine Ausnahme aus, wenn ein Name mehrdeutig ist. Sie können Datenassets in der Benutzerschnittstelle umbenennen, um den Konflikt aufzulösen.

Der Zugriff auf Assets über eine eindeutige ID ist möglich, es wird jedoch davon abgeraten, da IDs nur im aktuellen Projekt gültig sind und den Code beschädigten, wenn sie an ein anderes Projekt übertragen werden. Dies kann beispielsweise der Fall sein, wenn Projekte exportiert und erneut importiert werden. You can get the ID of a connection, connected or stored data asset by using the corresponding list function, for example list_connections().

Der Eingangspunkt wslib.by_id stellt die folgenden Funktionen bereit:

  • get_connection(asset_id)

    Diese Funktion greift über die Verbindungsasset-ID auf eine Verbindung zu.

  • get_connected_data(asset_id)

    Diese Funktion greift über die ID des verbundenen Datenassets auf ein verbundenes Datenasset zu.

  • load_data(asset_id, attachment_type_or_item=None)

    Diese Funktion lädt die Daten eines gespeicherten Datenassets, indem sie die Asset-ID übergibt. Eine Beschreibung der anderen Parameter, die übergeben werden können, finden Sie unter load_data() .

  • save_data(asset_id, data, overwrite=None, mime_type=None, file_name=None)

    Diese Funktion speichert Daten in einem gespeicherten Datenasset, indem die Asset-ID übergeben wird. Dies impliziert overwrite=True. Eine Beschreibung der anderen Parameter, die übergeben werden können, finden Sie unter save_data() .

  • download_file(asset_id, file_name=None, attachment_type_or_item=None)

    Diese Funktion lädt die Daten eines gespeicherten Datenassets durch Übergabe der Asset-ID herunter. Eine Beschreibung der anderen Parameter, die übergeben werden können, finden Sie unter download_file() .

Direkter Zugriff auf Projektspeicher

Sie können Daten aus dem Projektspeicher abrufen und Daten im Projektspeicher speichern, ohne die Projektassets über den Eingangspunkt wslib.storagezu synchronisieren.

Der Eingangspunkt wslib.storage stellt die folgenden Funktionen bereit:

  • fetch_data(filename)

    Diese Funktion gibt die Daten in einer Datei als BytesIO -Puffer zurück. Die Datei muss nicht als Datenasset registriert werden.

    Die Funktion verwendet den folgenden erforderlichen Parameter:

    • filename: Der Name der Datei im Projektspeicher.
  • store_data(filename, data, overwrite=False)

    Diese Funktion speichert Daten im Speicher, erstellt jedoch kein neues Datenasset. Die Funktion gibt ein Wörterbuch zurück, das den Dateinamen, den Dateipfad und weitere Informationen enthält. Verwenden Sie wslib.show() , um die Informationen zu drucken.

    Von der Funktion werden die folgenden Parameter verwendet:

    • filename: (Erforderlich) Name der Datei im Projektspeicher.
    • data: (Erforderlich) Die Daten, die als Byte-ähnliches Objekt gespeichert werden sollen.
    • overwrite: (Optional) Überschreibt die Daten einer Datei im Speicher, wenn sie bereits vorhanden ist. Standardmäßig ist dieser Wert auf ' false' gesetzt.
  • download_file(storage_filename, local_filename=None)

    Diese Funktion lädt die Daten in einer Datei im Speicher herunter und speichert sie in der angegebenen lokalen Datei. Die lokale Datei wird überschrieben, wenn sie bereits vorhanden ist.

    Von der Funktion werden die folgenden Parameter verwendet:

    • storage_filename: (Erforderlich) Der Name der Datei im Speicher, die heruntergeladen wird.
    • local_filename: (Optional) Name der Datei im lokalen Dateisystem Ihrer Laufzeit, in die die Datei heruntergeladen werden soll Übergehen Sie diesen Parameter, um den Speicherdateinamen zu verwenden.
  • register_asset(storage_path, asset_name=None, mime_type=None)

    Diese Funktion registriert die Datei im Speicher als Datenasset in Ihrem Projekt. Diese Operation schlägt fehl, wenn ein Datenasset mit demselben Namen bereits vorhanden ist.

    Sie können diese Funktion verwenden, wenn Sie sehr große Dateien haben, die Sie nicht über save_data() hochladen können. Sie können große Dateien direkt in den IBM Cloud Object Storage Bucket Ihres Projekts hochladen, z. B. über die Benutzeroberfläche, und sie dann mit ' register_asset() als Datenelemente registrieren.

    Von der Funktion werden die folgenden Parameter verwendet:

    • storage_path: (Erforderlich) Der Pfad der Datei im Speicher.
    • asset_name: (Optional) Der Name des erstellten Assets. Standardmäßig wird der Dateiname verwendet.
    • mime_type: (Optional) Der MIME-Typ für das erstellte Asset Standardmäßig wird der MIME-Typ aus dem Suffix des Assetnamens bestimmt. Verwenden Sie diesen Parameter, um einen MIME-Typ anzugeben, wenn der Dateiname keine Dateierweiterung hat oder wenn Sie einen anderen MIME-Typ festlegen wollen.
    Hinweis: Sie können eine Datei mehrmals als anderes Datenasset registrieren. Durch das Löschen eines dieser Assets im Projekt wird auch die Datei im Speicher gelöscht, was bedeutet, dass andere Assetreferenzen auf die Datei möglicherweise beschädigt werden.

Spark-Unterstützung

Der Eingangspunkt wslib.spark stellt Funktionen für den Zugriff auf Dateien im Speicher mit Spark bereit. Verwenden Sie help(wslib.spark.API), um Hilfeinformationen zu den verfügbaren Funktionen abzurufen.

Der Eingangspunkt wslib.spark stellt die folgenden Funktionen bereit:

  • provide_spark_context(sc)

    Mit dieser Funktion können Sie die Spark-Unterstützung aktivieren.

    Die Funktion verwendet den folgenden erforderlichen Parameter:

    • sc: Der SparkContext. Sie wird in der Notebook-Laufzeit bereitgestellt.

    Das folgende Beispiel zeigt, wie die Spark-Unterstützung eingerichtet wird:

    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    wslib.spark.provide_spark_context(sc)
    
  • get_data_url(asset_name)

    Diese Funktion gibt eine URL für den Zugriff auf eine Datei im Speicher von Spark über Hadoopzurück.

    Die Funktion verwendet den folgenden erforderlichen Parameter:

    • asset_name: Der Name des Assets
  • storage.get_data_url(file_name)

    Diese Funktion gibt eine URL für den Zugriff auf eine Datei im Speicher von Spark über Hadoopzurück. Die Funktion erwartet den Dateinamen und nicht den Assetnamen.

    Die Funktion verwendet den folgenden erforderlichen Parameter:

    • file_name: Der Name einer Datei im Projektspeicher.

Projektassets durchsuchen

Der Eingangspunkt wslib.assets bietet generischen Lesezugriff auf Assets eines beliebigen Typs. Für ausgewählte Assettypen gibt es dedizierte Funktionen, die zusätzliche Daten bereitstellen. Hilfe zu den verfügbaren Funktionen erhalten Sie mit help(wslib.assets.API).

Es gelten die folgenden Namenskonventionen:

  • Funktionen mit dem Namen list_<something> geben eine Liste von Python -Wörterverzeichnissen zurück. Jedes Wörterverzeichnis stellt ein Asset dar und enthält eine kleine Gruppe von Eigenschaften (Metadaten), die das Asset identifizieren.
  • Funktionen mit dem Namen get_<something> geben ein einzelnes Python -Wörterverzeichnis mit den Eigenschaften für das Asset zurück.

Um ein Wörterverzeichnis oder eine Liste von Wörterverzeichnissen zu drucken, verwenden Sie wslib.show().

Die Funktionen erwarten entweder den Namen eines Assets oder einen Artikel aus einer Liste als Parameter. Standardmäßig geben die Funktionen nur eine Untergruppe der verfügbaren Asseteigenschaften zurück. Wenn Sie den Parameter raw=Truefestlegen, können Sie alle Asseteigenschaften abrufen.

Der Eingangspunkt wslib.assets stellt die folgenden Funktionen bereit:

  • list_assets(asset_type, name=None, query=None, selector=None, raw=False)

    Diese Funktion listet alle Assets für den angegebenen Typ in Bezug auf die angegebenen Einschränkungen auf.

    Von der Funktion werden die folgenden Parameter verwendet:

    • asset_type: (Required) The type of the assets to list, for example data_asset. Eine Liste der verfügbaren Assettypen finden Sie unter list_asset_types() . Verwenden Sie den Assettyp asset für die Liste aller verfügbaren Assets im Projekt.
    • name: (Optional) Der Name des Assets, das aufgelistet werden soll Verwenden Sie diesen Parameter, wenn mehrere Assets mit demselben Namen vorhanden sind. Sie können nur name und queryangeben.
    • query: (Optional) Eine Abfragezeichenfolge, die an die Data and AI Common Core API übergeben wird, um nach Assets zu suchen. Sie können nur name und queryangeben.
    • selector: (Optional) Eine angepasste Filterfunktion für die potenziellen Assetwörterbuchelemente. Wenn die Selektorfunktion Truezurückgibt, ist das Asset in der zurückgegebenen Assetliste enthalten.
    • raw: (Optional) Gibt alle verfügbaren Metadaten zurück. Standardmäßig ist der Parameter auf False gesetzt und nur eine Untergruppe der Eigenschaften wird zurückgegeben.

    Beispiele für die Verwendung der Funktion list_assets :

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # List all assets in the project
    all_assets = wslib.assets.list_assets("asset")
    wslib.show(all_assets)
    
    # List all data assets with name 'MyFile.csv'
    assets_by_name = wslib.assets.list_assets("data_asset", name="MyFile.csv")
    
    # List all data assets whose name starts with "MyF"
    assets_by_query = wslib.assets.list_assets("data_asset", query="asset.name:(MyF*)")
    
    # List all data assets which are larger than 1MB
    sizeFilter = lambda x: x['metadata']['size'] > 1000000
    large_assets = wslib.assets.list_assets("data_asset", selector=sizeFilter, raw=True)
    
    # List all notebooks
    notebooks = wslib.assets.list_assets("notebook")
    
  • list_asset_types(raw=False)

    Diese Funktion listet alle verfügbaren Assettypen auf.

    Die Funktion kann den folgenden Parameter annehmen:

    • raw: (Optional) Gibt die vollständige Gruppe der Metadaten zurück Standardmäßig lautet der Parameter False und es wird nur eine Untergruppe der Eigenschaften zurückgegeben.
  • list_datasource_types(raw=False)

    Diese Funktion listet alle verfügbaren Datenquellentypen auf.

    Die Funktion kann den folgenden Parameter annehmen:

    • raw: (Optional) Gibt die vollständige Gruppe der Metadaten zurück Standardmäßig lautet der Parameter False und es wird nur eine Untergruppe der Eigenschaften zurückgegeben.
  • get_asset(name_or_item, asset_type=None, raw=False)

    Die Funktion gibt die Metadaten eines Assets zurück.

    Von der Funktion werden die folgenden Parameter verwendet:

    • name_or_item: (Erforderlich) Der Name des Assets oder eines Artikels, wie er von list_assets() zurückgegeben wurde.
    • asset_type: (Optional) Der Typ des Assets Wenn der Parameter name_or_item eine Zeichenfolge für den Namen des Assets enthält, ist die Einstellung asset_type erforderlich.
    • raw: (Optional) Gibt die vollständige Gruppe der Metadaten zurück Standardmäßig lautet der Parameter False und es wird nur eine Untergruppe der Eigenschaften zurückgegeben.

    Beispiel für die Verwendung der Funktionen list_assets und get_asset :

    notebooks = wslib.assets.list_assets('notebook')
    wslib.show(notebooks)
    
    notebook = wslib.assets.get_asset(notebooks[0])
    wslib.show(notebook)
    
  • get_connection(name_or_item, with_datasourcetype=False, raw=False)

    Diese Funktion gibt die Metadaten einer Verbindung zurück.

    Von der Funktion werden die folgenden Parameter verwendet:

    • name_or_item: (Erforderlich) Der Name der Verbindung oder ein Element wie die von list_connections() zurückgegebenen.
    • with_datasourcetype: (Optional) Gibt zusätzliche Informationen zum Datenquellentyp der Verbindung zurück
    • raw: (Optional) Gibt die vollständige Gruppe der Metadaten zurück Standardmäßig lautet der Parameter False und es wird nur eine Untergruppe der Eigenschaften zurückgegeben.
  • get_connected_data(name_or_item, with_datasourcetype=False, raw=False)

    Diese Funktion gibt die Metadaten eines verbundenen Datenassets zurück.

    Von der Funktion werden die folgenden Parameter verwendet:

    • name_or_item: (Erforderlich) Der Name des verbundenen Datenassets oder eines Elements, wie es von list_connected_data() zurückgegeben wurde
    • with_datasourcetype: (Optional) Gibt zusätzliche Informationen zum Datenquellentyp des zugehörigen verbundenen Datenassets zurück
    • raw: (Optional) Gibt die vollständige Gruppe der Metadaten zurück Standardmäßig lautet der Parameter False und es wird nur eine Untergruppe der Eigenschaften zurückgegeben.
  • get_stored_data(name_or_item, raw=False)

    Diese Funktion gibt die Metadaten eines gespeicherten Datenassets zurück.

    Von der Funktion werden die folgenden Parameter verwendet:

    • name_or_item: (Erforderlich) Der Name des gespeicherten Datenassets oder eines Elements wie die von list_stored_data() zurückgegebenen.
    • raw: (Optional) Gibt die vollständige Gruppe der Metadaten zurück Standardmäßig lautet der Parameter False und es wird nur eine Untergruppe der Eigenschaften zurückgegeben.
  • list_attachments(name_or_item_or_asset, asset_type=None, raw=False)

    Diese Funktion gibt eine Liste der Anhänge eines Assets zurück.

    Von der Funktion werden die folgenden Parameter verwendet:

    • name_or_item_or_asset: (Erforderlich) Der Name des Assets oder eines Elements, wie er von list_stored_data() oder get_asset()zurückgegeben wird.
    • asset_type: (Optional) Der Typ des Assets Standardmäßig wird der Typ data_assetverwendet.
    • raw: (Optional) Gibt die vollständige Gruppe der Metadaten zurück Standardmäßig lautet der Parameter False und es wird nur eine Untergruppe der Eigenschaften zurückgegeben.

    Beispiel für die Verwendung der Funktion list_attachments zum Lesen eines Anhangs eines gespeicherten Datenassets:

    assets = wslib.list_stored_data()
    wslib.show(assets)
    
    asset = assets[0]
    attachments = wslib.assets.list_attachments(asset)
    wslib.show(attachments)
    buffer = wslib.load_data(asset, attachments[0])
    

Übergeordnetes Thema: ibm-watson-studio-lib verwenden

Generative KI-Suche und -Antwort
Diese Antworten werden von einem großen Sprachmodell in watsonx.ai basierend auf dem Inhalt der Produktdokumentation generiert. Weitere Informationen