Získat informace o projektu

Při vývoji kódu nemusíte znát přesné názvy datových aktiv nebo připojení. Následující funkce poskytují seznamy aktiv, ze kterých si můžete vybrat příslušná aktiva. Ve všech příkladech můžete použít wslib.show(assets) pro hezký tisk seznamu. Před položkou se vytiskne index každé položky.

• list_connections()

  Tato funkce vrací seznam připojení. Seznam vrácených připojení není řazen podle žádného kritéria a může se změnit, když znovu zavoláte funkci. Funkci get_connection můžete předat položku slovníku namísto názvu.

  Například:

  # Import the lib
  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  
  assets = wslib.list_connections()
  wslib.show(assets)
  connprops = wslib.get_connection(assets[0])
  wslib.show(connprops)
  

• list_connected_data()

  Tato funkce vrací připojená datová aktiva. Seznam vrácených připojených datových aktiv není řazen podle žádného kritéria a může se změnit, když zavoláte funkci znovu. Funkci get_connected_data můžete předat položku slovníku namísto názvu.

• list_stored_data()

  Tato funkce vrací seznam uložených datových aktiv (datových souborů). Seznam vrácených datových aktiv není řazen podle žádného kritéria a může se změnit, když znovu zavoláte funkci. Funkci load_data a save_datamůžete předat položku slovníku namísto názvu.

  Poznámka: heuristicky se používá k rozlišení mezi propojenými datovými aktivy a uloženými datovými aktivy. Mohou se však vyskytnout případy, kdy se datové aktivum nesprávného druhu objeví ve vrácených seznamech.

• wslib.here

  Pomocí tohoto vstupního bodu můžete načíst metadata o projektu, se kterým knihovna pracuje. Vstupní bod wslib.here poskytuje následující funkce:

  • get_name()

    Tato funkce vrací název projektu.

  • get_description()

    Tato funkce vrací popis projektu.

  • get_ID()

    Tato funkce vrací ID projektu.

  • get_storage()

    Tato funkce vrací informace o úložišti pro projekt.

Získat token ověření

Některé úlohy vyžadují token ověření. Chcete-li například spustit vlastní požadavky na rozhraní Watson Data API, potřebujete token ověření.

Token držitele můžete získat pomocí následující funkce:

• get_current_token()

Například:

from ibm_watson_studio_lib import access_project_or_space
wslib = access_project_or_space({"token":"<ProjectToken>"})
token = wslib.auth.get_current_token()

Tato funkce vrací token držitele, který je aktuálně používán knihovnou ibm-watson-studio-lib .

Načíst data

K načtení dat z uloženého datového aktiva (souboru) ve vašem projektu můžete použít následující funkce.

• load_data(asset_name_or_item, attachment_type_or_item=None)

  Tato funkce načítá data uloženého datového aktiva do vyrovnávací paměti BytesIO . Funkce se nedoporučuje pro velmi velké soubory.

  Funkce má následující parametry:

  • asset_name_or_item: (Povinné) Buď řetězec s názvem uloženého datového aktiva, nebo položka podobná té, kterou vrátil produkt list_stored_data().

  • attachment_type_or_item: (Volitelné) Typ přílohy k načtení. Datové aktivum může mít více než jednu přílohu s daty. Bez tohoto parametru se načte výchozí typ přílohy, jmenovitě data_asset . Tento parametr zadejte v případě, že typ přílohy není data_asset. Pokud má například aktivum s prostým textem připojený profil z analýzy přirozeného jazyka, lze jej načíst jako typ přílohy data_profile_nlu.

    Zde je příklad, který vám ukáže, jak načíst data datového aktiva:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Fetch the data from a file
    my_file = wslib.load_data("MyFile.csv")
    
    # Read the CSV data file into a pandas DataFrame
    my_file.seek(0)
    import pandas as pd
    pd.read_csv(my_file, nrows=10)
    

• download_file(asset_name_or_item, file_name=None, attachment_type_or_item=None)

  Tato funkce stáhne data uloženého datového aktiva a uloží je do uvedeného souboru v systému souborů vašeho běhového prostředí. Soubor se přepíše, pokud již existuje.

  Funkce má následující parametry:

  • asset_name_or_item: (Povinné) Buď řetězec s názvem uloženého datového aktiva, nebo položka podobná té, kterou vrátil produkt list_stored_data().

  • file_name: (Volitelné) Název souboru, do kterého jsou stažená data uložena. Standardně se jedná o název přílohy aktiva.

  • attachment_type_or_item: (Volitelné) Typ přílohy ke stažení. Datové aktivum může mít více než jednu přílohu s daty. Bez tohoto parametru se stáhne výchozí typ přílohy, jmenovitě data_asset . Tento parametr zadejte v případě, že typ přílohy není data_asset. Má-li například datové aktivum s prostým textem připojený profil z analýzy přirozeného jazyka, lze jej downlakódovat jako typ přílohy data_profile_nlu.

    Zde je příklad, který vám ukáže, jak můžete použít download_file pro zpřístupnění vlastního skriptu Python ve vašem zápisníku:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Let's assume you have a Python script "helpers.py" with helper functions on your local machine.
    # Upload the script to your project using the Data Panel on the right of the opened notebook.
    
    # Download the script to the file system of your runtime
    wslib.download_file("helpers.py")
    
    # import the required functions to use them in your notebook
    from helpers import my_func
    my_func()
    

uložit data

Funkce pro ukládání dat do úložiště vašeho projektu dělají více věcí:

• Uložit data do úložiště projektu
• Přidejte data jako datové aktivum (vytvořením aktiva nebo přepsáním existujícího aktiva) do svého projektu, abyste mohli zobrazit data v seznamu datových aktiv ve vašem projektu.
• Přidružte aktivum k souboru v úložišti.

K uložení dat můžete použít následující funkce:

• save_data(asset_name_or_item, data, overwrite=None, mime_type=None, file_name=None)

  Tato funkce ukládá data v paměti do úložiště projektu.

  Funkce má následující parametry:

  • asset_name_or_item: (Povinné) Název vytvořeného aktiva nebo položky seznamu vrácené produktem list_stored_data(). Tuto položku můžete použít, pokud chcete přepsat existující soubor.

  • data: (Povinné) Data, která se mají odeslat. Může to být libovolný objekt typu bytes-like-object, například bajtová vyrovnávací paměť.

  • overwrite: (Volitelné) Přepisuje data uloženého datového aktiva, pokud již existují. Standardně je tato hodnota nastavena na false. Pokud je položka aktiva předána místo názvu, chování je přepsat aktivum.

  • mime_type: (Volitelné) Typ MIME pro vytvořené aktivum. Standardně je typ MIME určen z přípony názvu aktiva. Pokud používáte názvy aktiv bez přípony, uveďte zde typ MIME. Například mime_type=application/text pro data ve formátu prostého textu. Tento parametr je při přepisování aktiva ignorován.

  • file_name: (Volitelné) Název souboru, který se má použít v úložišti projektu. Data se uloží do úložiště přidruženého k projektu. Při vytváření nového aktiva se název souboru odvozuje od názvu aktiva, ale může se lišit. Chcete-li přistupovat k souboru přímo, můžete zadat název souboru. Tento parametr je při přepisování aktiva ignorován.

    Zde je příklad, který ukazuje, jak uložit data do souboru:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # let's assume you have the pandas DataFrame pandas_df which contains the data
    # you want to save as a csv file
    wslib.save_data("my_asset_name.csv", pandas_df.to_csv(index=False).encode())
    
    # the function returns a dict which contains the asset_name, asset_id, file_name and additional information upon successful saving of the data
    

• upload_file(file_path, asset_name=None, file_name=None, overwrite=False, mime_type=None) Tato funkce uloží data v systému souborů v běhovém prostředí do souboru přidruženého k vašemu projektu. Funkce má následující parametry:

  • file_path: (Povinné) Cesta k souboru v systému souborů.

  • asset_name: (Volitelné) Název vytvořeného datového aktiva. Standardně se jedná o název souboru, který se má odeslat.

  • file_name: (Volitelné) Název souboru, který je vytvořen v úložišti přidruženém k projektu. Standardně se jedná o název souboru, který se má odeslat.

  • overwrite: (Volitelné) Přepisuje existující soubor v úložišti. Výchozí hodnota je false.

  • mime_type: (Volitelné) Typ MIME pro vytvořené aktivum. Standardně je typ MIME určen z přípony názvu aktiva. Pokud používáte názvy aktiv bez přípony, uveďte zde typ MIME. Například mime_type='application/text' pro data ve formátu prostého textu. Tento parametr je při přepisování aktiva ignorován.

    Zde je příklad, který vám ukáže, jak můžete odeslat soubor do projektu:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Let's assume you have downloaded a file and want to save it
    # in your project.
    import urllib.request
    urllib.request.urlretrieve("https://some/url/data_file.csv", "data_file.csv")
    wslib.upload_file("data_file.csv")
    
    # The function returns a dictionary which contains the asset_name, asset_id, file_name and additional information upon successful saving of the data.
    

Získat informace o připojení

Pro přístup k metadatům připojení daného připojení můžete použít následující funkci.

• get_connection(name_or_item)

  Tato funkce vrací vlastnosti (metadata) připojení, které můžete použít k načtení dat ze zdroje dat připojení. Chcete-li zobrazit vlastnosti, použijte wslib.show(connprops) . Speciální klíč "." ve vráceném slovníku poskytuje informace o aktivu připojení.

  Funkce má následující povinný parametr:

  • name_or_item: Buď řetězec s názvem připojení, nebo položka podobná těm, které vrací list_connections().

  Všimněte si, že při práci s notebooky můžete klepnout na volbu Číst data v podokně Úseky kódu, abyste vygenerovali kód pro načtení dat z připojení do pandas například DataFrame .

Získat informace o připojených datech

Pro přístup k metadatům připojeného datového aktiva můžete použít následující funkci.

• get_connected_data(name_or_item)

  Tato funkce vrací vlastnosti připojeného datového aktiva, včetně vlastností základního připojení. Chcete-li zobrazit vlastnosti, použijte wslib.show() . Speciální klíč "." ve vráceném slovníku poskytuje informace o datech a aktivech připojení.

  Funkce má následující povinný parametr:

  • name_or_item: Buď řetězec s názvem připojeného datového aktiva, nebo položka podobná té, kterou vrátil produkt list_connected_data().

  Všimněte si, že když pracujete s notebooky, můžete klepnout na volbu Číst data v podokně Úseky kódu, abyste vygenerovali kód pro načtení dat z připojeného datového aktiva do pandas například DataFrame .

Přístup k aktivu podle ID namísto názvu

Vždy byste měli přistupovat k datovým aktivům a připojením pomocí jedinečného názvu. Názvy aktiv nemusí být nutně vždy jedinečné a funkce ibm-watson-studio-lib vyvolají výjimku, když je název nejednoznačný. Můžete přejmenovat datová aktiva v uživatelském rozhraní, abyste vyřešili konflikt.

Přístup k aktivům pomocí jedinečného ID je možný, ale je nevhodný, protože ID jsou platná pouze v aktuálním projektu a při přenosu do jiného projektu přeruší kód. K tomu může dojít například při exportu a opětovném importu projektů. Můžete získat ID připojení, připojeného nebo uloženého datového aktiva pomocí odpovídající funkce seznamu, například list_connections().

Vstupní bod wslib.by_id poskytuje následující funkce:

• get_connection(asset_id)

  Tato funkce přistupuje k připojení pomocí ID aktiva připojení.

• get_connected_data(asset_id)

  Tato funkce přistupuje k připojenému datovému aktivu pomocí ID připojeného datového aktiva.

• load_data(asset_id, attachment_type_or_item=None)

  Tato funkce načte data uloženého datového aktiva předáním ID aktiva. Popis dalších parametrů, které můžete předat, viz load_data() .

• save_data(asset_id, data, overwrite=None, mime_type=None, file_name=None)

  Tato funkce uloží data do uloženého datového aktiva předáním ID aktiva. To znamená overwrite=True. Popis dalších parametrů, které můžete předat, viz save_data() .

• download_file(asset_id, file_name=None, attachment_type_or_item=None)

  Tato funkce stáhne data uloženého datového aktiva předáním ID aktiva. Popis dalších parametrů, které můžete předat, viz download_file() .

Přímý přístup k úložišti projektu

Můžete načíst data z úložiště projektu a uložit data do úložiště projektu bez synchronizace aktiv projektu pomocí vstupního bodu wslib.storage.

Vstupní bod wslib.storage poskytuje následující funkce:

• fetch_data(filename)

  Tato funkce vrací data v souboru jako vyrovnávací paměť BytesIO . Soubor nemusí být registrován jako datové aktivum.

  Funkce má následující povinný parametr:

  • filename: Název souboru v úložišti projektu.

• store_data(filename, data, overwrite=False)

  Tato funkce ukládá data do paměti do úložiště, ale nevytváří nové datové aktivum. Funkce vrací slovník, který obsahuje název souboru, cestu k souboru a další informace. K vytištění informací použijte wslib.show() .

  Funkce má následující parametry:

  • filename: (Povinné) Název souboru v úložišti projektu.
  • data: (Povinné) Data, která se mají uložit jako bajtový objekt.
  • overwrite: (Volitelné) Přepisuje data souboru v úložišti, pokud již existuje. Standardně je tato hodnota nastavena na false.

• download_file(storage_filename, local_filename=None)

  Tato funkce stáhne data do souboru v úložišti a uloží je do uvedeného lokálního souboru. Lokální soubor je přepsán, pokud již existoval.

  Funkce má následující parametry:

  • storage_filename: (Povinné) Název souboru v úložišti, který se má stáhnout.
  • local_filename: (Volitelné) Název souboru v lokálním systému souborů běhového prostředí, do kterého se má soubor stáhnout. Vynechte tento parametr, chcete-li použít název souboru úložiště.

• register_asset(storage_path, asset_name=None, mime_type=None)

  Tato funkce registruje soubor v úložišti jako datové aktivum ve vašem projektu. Tato operace selže, pokud datové aktivum se stejným názvem již existuje.

  Tuto funkci můžete použít, pokud máte velmi velké soubory, které nelze odeslat pomocí save_data (). Velké soubory můžete odeslat přímo do sektoru IBM Cloud Object Storage vašeho projektu, například prostřednictvím uživatelského rozhraní, a pak je registrovat jako datová aktiva pomocí produktu register_asset().

  Funkce má následující parametry:

  • storage_path: (Povinné) Cesta k souboru v úložišti.
  • asset_name: (Volitelné) Název vytvořeného aktiva. Standardně se používá název souboru.
  • mime_type: (Volitelné) Typ MIME pro vytvořené aktivum. Standardně je typ MIME určen z přípony názvu aktiva. Pomocí tohoto parametru můžete určit typ MIME, pokud název souboru nemá příponu souboru nebo pokud chcete nastavit jiný typ MIME.
  Poznámka: Soubor můžete registrovat několikrát jako jiné datové aktivum. Odstranění jednoho z těchto aktiv v projektu také odstraní soubor v úložišti, což znamená, že ostatní odkazy na aktiva na soubor mohou být přerušeny.

Podpora zapalovacích svíček

Vstupní bod wslib.spark poskytuje funkce pro přístup k souborům v úložišti pomocí produktu Spark. Chcete-li získat informace nápovědy o dostupných funkcích, použijte help(wslib.spark.API).

Vstupní bod wslib.spark poskytuje následující funkce:

• provide_spark_context(sc)

  Tuto funkci použijte k povolení podpory Spark.

  Funkce má následující povinný parametr:

  • sc: SparkContext. Je k dispozici v běhovém prostředí zápisníku.

  Následující příklad ukazuje, jak nastavit podporu Spark:

  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  wslib.spark.provide_spark_context(sc)
  

• get_data_url(asset_name)

  Tato funkce vrací adresu URL pro přístup k souboru v úložišti z produktu Spark prostřednictvím Hadoop.

  Funkce má následující povinný parametr:

  • asset_name: Název aktiva.

• storage.get_data_url(file_name)

  Tato funkce vrací adresu URL pro přístup k souboru v úložišti z produktu Spark prostřednictvím Hadoop. Funkce očekává název souboru a ne název aktiva.

  Funkce má následující povinný parametr:

  • file_name: Název souboru v úložišti projektu.

Procházet aktiva projektu

Vstupní bod wslib.assets poskytuje generický přístup jen pro čtení k aktivům libovolného typu. Pro vybrané typy aktiv existují vyhrazené funkce, které poskytují další data. Chcete-li získat nápovědu k dostupným funkcím, použijte help(wslib.assets.API).

Platí následující konvence pojmenování:

• Funkce s názvem list_<something> vrací seznam slovníků Python . Každý slovník představuje jedno aktivum a obsahuje malou sadu vlastností (metadat), které aktivum identifikují.
• Funkce s názvem get_<something> vrací jeden slovník Python s vlastnostmi aktiva.

Chcete-li vytisknout slovník nebo seznam slovníků, použijte příkaz wslib.show().

Funkce očekávají jako parametr buď název aktiva, nebo položku ze seznamu. Standardně funkce vrací pouze podmnožinu dostupných vlastností aktiva. Nastavením parametru raw=Truemůžete získat úplnou sadu vlastností aktiva.

Vstupní bod wslib.assets poskytuje následující funkce:

• list_assets(asset_type, name=None, query=None, selector=None, raw=False)

  Tato funkce vypíše všechna aktiva pro daný typ s ohledem na daná omezení.

  Funkce má následující parametry:

  • asset_type: (Povinné) Typ aktiv, která se mají vypsat, například data_asset. Seznam dostupných typů aktiv viz list_asset_types() . Použijte typ aktiva asset pro seznam všech dostupných aktiv v projektu.
  • name: (Volitelné) Název aktiva, které se má vypsat. Tento parametr použijte, pokud existuje více než jedno aktivum se stejným názvem. Můžete zadat pouze name a query.
  • query: (Volitelné) Řetězec dotazu, který je předán rozhraní Watson Data API k vyhledání aktiv. Můžete zadat pouze name a query.
  • selector: (Volitelné) Funkce vlastního filtru na položkách slovníku kandidátských aktiv. Pokud funkce selektoru vrátí hodnotu True, aktivum se zahrne do seznamu vrácených aktiv.
  • raw: (Volitelné) Vrátí všechna dostupná metadata. Při výchozím nastavení je parametr nastaven na hodnotu False a je vrácena pouze podmnožina vlastností.

  Příklady použití funkce list_assets :

  # Import the lib
  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  
  # List all assets in the project
  all_assets = wslib.assets.list_assets("asset")
  wslib.show(all_assets)
  
  # List all data assets with name 'MyFile.csv'
  assets_by_name = wslib.assets.list_assets("data_asset", name="MyFile.csv")
  
  # List all data assets whose name starts with "MyF"
  assets_by_query = wslib.assets.list_assets("data_asset", query="asset.name:(MyF*)")
  
  # List all data assets which are larger than 1MB
  sizeFilter = lambda x: x['metadata']['size'] > 1000000
  large_assets = wslib.assets.list_assets("data_asset", selector=sizeFilter, raw=True)
  
  # List all notebooks
  notebooks = wslib.assets.list_assets("notebook")
  

• list_asset_types(raw=False)

  Tato funkce vypíše všechny dostupné typy aktiv.

  Funkce může mít následující parametr:

  • raw: (Volitelné) Vrátí úplnou sadu metadat. Standardně je parametr False a vrátí se pouze podmnožina vlastností.

• list_datasource_types(raw=False)

  Tato funkce vypíše všechny dostupné typy zdrojů dat.

  Funkce může mít následující parametr:

  • raw: (Volitelné) Vrátí úplnou sadu metadat. Standardně je parametr False a vrátí se pouze podmnožina vlastností.

• get_asset(name_or_item, asset_type=None, raw=False)

  Funkce vrací metadata aktiva.

  Funkce má následující parametry:

  • name_or_item: (Povinné) Název aktiva nebo položky, jako jsou ty, které vrací list_assets()
  • asset_type: (Volitelné) Typ aktiva. Pokud parametr name_or_item obsahuje řetězec pro název aktiva, je nastavení asset_type povinné.
  • raw: (Volitelné) Vrátí úplnou sadu metadat. Standardně je parametr False a vrátí se pouze podmnožina vlastností.

  Příklad použití funkcí list_assets a get_asset :

  notebooks = wslib.assets.list_assets('notebook')
  wslib.show(notebooks)
  
  notebook = wslib.assets.get_asset(notebooks[0])
  wslib.show(notebook)
  

• get_connection(name_or_item, with_datasourcetype=False, raw=False)

  Tato funkce vrací metadata připojení.

  Funkce má následující parametry:

  • name_or_item: (Povinné) Název připojení nebo položky, jako jsou ty, které vrací list_connections()
  • with_datasourcetype: (Volitelné) Vrátí další informace o typu zdroje dat připojení.
  • raw: (Volitelné) Vrátí úplnou sadu metadat. Standardně je parametr False a vrátí se pouze podmnožina vlastností.

• get_connected_data(name_or_item, with_datasourcetype=False, raw=False)

  Tato funkce vrací metadata připojeného datového aktiva.

  Funkce má následující parametry:

  • name_or_item: (Povinné) Název připojeného datového aktiva nebo položky, jako jsou ty, které vrací list_connected_data()
  • with_datasourcetype: (Volitelné) Vrátí další informace o typu zdroje dat přidruženého připojeného datového aktiva.
  • raw: (Volitelné) Vrátí úplnou sadu metadat. Standardně je parametr False a vrátí se pouze podmnožina vlastností.

• get_stored_data(name_or_item, raw=False)

  Tato funkce vrací metadata uloženého datového aktiva.

  Funkce má následující parametry:

  • name_or_item: (Povinné) Název uloženého datového aktiva nebo položky, jako jsou ty, které vrací list_stored_data()
  • raw: (Volitelné) Vrátí úplnou sadu metadat. Standardně je parametr False a vrátí se pouze podmnožina vlastností.

• list_attachments(name_or_item_or_asset, asset_type=None, raw=False)

  Tato funkce vrací seznam příloh aktiva.

  Funkce má následující parametry:

  • name_or_item_or_asset: (Povinné) Název aktiva nebo položky, jako jsou ty, které vrací list_stored_data() nebo get_asset().
  • asset_type: (Volitelné) Typ aktiva. Standardně se používá typ data_asset.
  • raw: (Volitelné) Vrátí úplnou sadu metadat. Standardně je parametr False a vrátí se pouze podmnožina vlastností.

  Příklad použití funkce list_attachments ke čtení přílohy uloženého datového aktiva:

  assets = wslib.list_stored_data()
  wslib.show(assets)
  
  asset = assets[0]
  attachments = wslib.assets.list_attachments(asset)
  wslib.show(attachments)
  buffer = wslib.load_data(asset, attachments[0])
  

Nadřízené téma: Použití ibm-watson-studio-lib