Richiama informazioni sul progetto

Durante lo sviluppo del codice, è possibile che non si conoscano i nomi esatti delle connessioni o degli asset di dati. Le seguenti funzioni forniscono elenchi di asset, da cui è possibile scegliere quelli pertinenti. In tutti gli esempi, è possibile utilizzare wslib.show(assets) per stampare l'elenco. L'indice di ogni elemento viene stampato davanti alla voce.

• list_connections()

  Questa funzione restituisce un elenco di connessioni. L'elenco delle connessioni restituite non è ordinato in base ad alcun criterio e può essere modificato quando si richiama nuovamente la funzione. È possibile passare una voce del dizionario invece di un nome alla funzione get_connection .

  Ad esempio:

  # Import the lib
  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  
  assets = wslib.list_connections()
  wslib.show(assets)
  connprops = wslib.get_connection(assets[0])
  wslib.show(connprops)
  

• list_connected_data()

  Questa funzione restituisce gli asset di dati connessi. L'elenco degli asset di dati connessi restituiti non è ordinato in base a nessun criterio e può essere modificato quando si richiama nuovamente la funzione. È possibile passare una voce del dizionario invece di un nome alla funzione get_connected_data .

• list_stored_data()

  Questa funzione restituisce un elenco delle risorse di dati memorizzate (file di dati). L'elenco di asset di dati restituiti non è ordinato in base a alcun criterio e può essere modificato quando si richiama nuovamente la funzione. È possibile passare un elemento del dizionario invece di un nome alle funzioni load_data e save_data.

  Nota: viene applicata un'euristica per distinguere tra asset di dati connessi e asset di dati archiviati. Tuttavia, ci possono essere casi in cui un asset di dati di tipo errato viene visualizzato negli elenchi restituiti.

• wslib.here< \br>

  Utilizzando questo punto di ingresso, è possibile richiamare i metadati relativi al progetto utilizzato dalla lib. Il punto di ingresso wslib.here fornisce le funzioni seguenti:

  • get_name()

    Questa funzione restituisce il nome del progetto.

  • get_description()

    Questa funzione restituisce la descrizione del progetto.

  • get_ID()

    Questa funzione restituisce l'ID del progetto.

  • get_storage()

    Questa funzione restituisce le informazioni di archiviazione per il progetto.

Ottieni token di autenticazione

Alcune attività richiedono un token di autenticazione. Ad esempio, se si desidera eseguire le proprie richieste all'API Data and AI Common Core, è necessario un token di autenticazione.

Puoi utilizzare la seguente funzione per ottenere il token di connessione:

• get_current_token()

Ad esempio:

from ibm_watson_studio_lib import access_project_or_space
wslib = access_project_or_space({"token":"<ProjectToken>"})
token = wslib.auth.get_current_token()

Questa funzione restituisce il token di connessione attualmente utilizzato dalla libreria ibm-watson-studio-lib .

Recupero dei dati

È possibile utilizzare le seguenti funzioni per recuperare i dati da un asset di dati memorizzati (un file) nel progetto.

• load_data(asset_name_or_item, attachment_type_or_item=None)

  Questa funzione carica i dati di un asset di dati memorizzati in un buffer BytesIO . La funzione non è consigliata per file di grandi dimensioni.

  La funzione utilizza i parametri seguenti:

  • asset_name_or_item: (Obbligatorio) una stringa con il nome di un asset di dati archiviati o un elemento simile a quelli restituiti da list_stored_data().

  • attachment_type_or_item: (facoltativo) tipo di allegato da caricare. Un asset di dati può avere più di un allegato con dati. Senza questo parametro, viene caricato il tipo di collegamento predefinito, ovvero data_asset . Specificare questo parametro se il tipo di allegato non è data_asset. Ad esempio, se un asset di dati di testo semplice ha un profilo collegato da Natural Language Analysis, questo può essere caricato come tipo di allegato data_profile_nlu.

    Di seguito è riportato un esempio che mostra come caricare i dati di un asset di dati:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Fetch the data from a file
    my_file = wslib.load_data("MyFile.csv")
    
    # Read the CSV data file into a pandas DataFrame
    my_file.seek(0)
    import pandas as pd
    pd.read_csv(my_file, nrows=10)
    

• download_file(asset_name_or_item, file_name=None, attachment_type_or_item=None)

  Questa funzione scarica i dati di una risorsa di dati memorizzata e li memorizza nel file specificato nel file system del runtime. Il file viene sovrascritto se esiste già.

  La funzione utilizza i parametri seguenti:

  • asset_name_or_item: (Obbligatorio) una stringa con il nome di un asset di dati archiviati o un elemento simile a quelli restituiti da list_stored_data().

  • file_name: (facoltativo) il nome del file in cui sono memorizzati i dati scaricati. L'impostazione predefinita è il nome dell'allegato dell'asset.

  • attachment_type_or_item: (Facoltativo) Il tipo di allegato da scaricare. Un asset di dati può avere più di un allegato con dati. Senza questo parametro, viene scaricato il tipo di allegato predefinito, ovvero data_asset . Specificare questo parametro se il tipo di allegato non è data_asset. Ad esempio, se un asset di dati di testo semplice ha un profilo collegato da Natural Language Analysis, è possibile eseguire il downlaoded come tipo di allegato data_profile_nlu.

    Di seguito è riportato un esempio che mostra come utilizzare download_file per rendere disponibile lo script Python personalizzato nel notebook:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Let's assume you have a Python script "helpers.py" with helper functions on your local machine.
    # Upload the script to your project using the Data Panel on the right of the opened notebook.
    
    # Download the script to the file system of your runtime
    wslib.download_file("helpers.py")
    
    # import the required functions to use them in your notebook
    from helpers import my_func
    my_func()
    

Salva dati

Le funzioni per salvare i dati nella memoria del progetto fanno più cose:

• Memorizza i dati nell'archivio progetti
• Aggiungere i dati come asset di dati (creando un asset o sovrascrivendo un asset esistente) al progetto in modo da poter visualizzare i dati nell'elenco di asset di dati nel progetto.
• Associare l'asset al file nello storage.

È possibile utilizzare le seguenti funzioni per salvare i dati:

• save_data(asset_name_or_item, data, overwrite=None, mime_type=None, file_name=None)

  Questa funzione salva i dati in memoria nell'archivio progetti.

  La funzione utilizza i parametri seguenti:

  • asset_name_or_item: (Obbligatorio) Il nome dell'asset creato o dell'elemento dell'elenco restituito da list_stored_data(). È possibile utilizzare l'elemento se si desidera sovrascrivere un file esistente.

  • data: (obbligatorio) i dati da caricare. Può essere qualsiasi oggetto di tipo bytes-like-object, ad esempio un buffer di byte.

  • overwrite: (Facoltativo) Sovrascrive i dati di un asset di dati archiviati, se già esistenti. Per impostazione predefinita, è impostato su false. Se viene passato un elemento asset invece di un nome, il comportamento consiste nel sovrascrivere l'asset.

  • mime_type: (facoltativo) il tipo MIME per l'asset creato. Per impostazione predefinita, il tipo MIME è determinato dal suffisso del nome asset. Se si utilizzano nomi asset senza suffissi, specificare qui il tipo MIME. Ad esempio, mime_type=application/text per dati di testo semplice. Questo parametro viene ignorato quando si sovrascrive un asset.

  • file_name: (facoltativo) il nome file da utilizzare nella memoria del progetto. I dati vengono salvati nella memoria associata al progetto. Quando si crea un nuovo asset, il nome file deriva dal nome asset, ma potrebbe essere diverso. Se si desidera accedere direttamente al file, è possibile specificare un nome file. Questo parametro viene ignorato quando si sovrascrive un asset.

    Questo è un esempio che mostra come salvare i dati in un file:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # let's assume you have the pandas DataFrame pandas_df which contains the data
    # you want to save as a csv file
    wslib.save_data("my_asset_name.csv", pandas_df.to_csv(index=False).encode())
    
    # the function returns a dict which contains the asset_name, asset_id, file_name and additional information upon successful saving of the data
    

• upload_file(file_path, asset_name=None, file_name=None, overwrite=False, mime_type=None) Questa funzione salva i dati nel filesystem nel runtime in un file associato al progetto. La funzione utilizza i parametri seguenti:

  • file_path: (obbligatorio) il percorso del file nel file system.

  • asset_name: (facoltativo) il nome dell'asset di dati creato. L'impostazione predefinita è il nome del file da caricare.

  • file_name: (Facoltativo) Il nome del file creato nella memoria associata al progetto. L'impostazione predefinita è il nome del file da caricare.

  • overwrite: (facoltativo) sovrascrive un file esistente nell'archiviazione. Il valore predefinito è false.

  • mime_type: (facoltativo) il tipo MIME per l'asset creato. Per impostazione predefinita, il tipo MIME è determinato dal suffisso del nome asset. Se si utilizzano nomi asset senza suffissi, specificare qui il tipo MIME. Ad esempio, mime_type='application/text' per dati di testo semplice. Questo parametro viene ignorato quando si sovrascrive un asset.

    Di seguito è riportato un esempio che mostra come è possibile caricare un file nel progetto:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Let's assume you have downloaded a file and want to save it
    # in your project.
    import urllib.request
    urllib.request.urlretrieve("https://some/url/data_file.csv", "data_file.csv")
    wslib.upload_file("data_file.csv")
    
    # The function returns a dictionary which contains the asset_name, asset_id, file_name and additional information upon successful saving of the data.
    

Ottieni informazioni di connessione

È possibile utilizzare la seguente funzione per accedere ai metadati di connessione di una determinata connessione.

• get_connection(name_or_item)

  Questa funzione restituisce le proprietà (metadati) di una connessione che è possibile utilizzare per recuperare i dati dall'origine dati della connessione. Utilizzare wslib.show(connprops) per visualizzare le proprietà. La chiave speciale "." nel dizionario restituito fornisce informazioni sull'asset di connessione.

  La funzione utilizza il seguente parametro obbligatorio:

  • name_or_item: una stringa con il nome di una connessione o un elemento come quelli restituiti da list_connections().

  Nota che quando si utilizzano i notebook, è possibile fare clic su Leggi dati nel riquadro Frammenti di codice per generare codice per caricare i dati da una connessione in un panda DataFrame , ad esempio.

Ottieni informazioni sui dati connessi

È possibile utilizzare la seguente funzione per accedere ai metadati di un asset di dati connesso.

• get_connected_data(name_or_item)

  Questa funzione restituisce le proprietà di un asset di dati connesso, incluse le proprietà della connessione sottostante. Utilizzare wslib.show() per visualizzare le proprietà. La chiave speciale "." nel dizionario restituito fornisce informazioni sui dati e sugli asset di connessione.

  La funzione utilizza il seguente parametro obbligatorio:

  • name_or_item: una stringa con il nome di un asset di dati connesso o un elemento come quelli restituiti da list_connected_data().

  Tenere presente che quando si utilizzano i notebook, è possibile fare clic su Leggi dati nel riquadro Frammenti di codice per generare codice per caricare i dati da un asset di dati connesso in un panda DataFrame , ad esempio.

Accedi all'asset per ID invece che per nome

È preferibile accedere sempre agli asset di dati e alle connessioni con un nome univoco. I nomi asset non sempre sono univoci e le funzioni ibm-watson-studio-lib genereranno un'eccezione quando un nome è ambiguo. È possibile ridenominare gli asset di dati nella UI per risolvere il conflitto.

L'accesso agli asset mediante un ID univoco è possibile, ma è sconsigliato poiché gli ID sono validi solo nel progetto corrente e interromperanno il codice quando vengono trasferiti a un progetto differente. Ciò può verificarsi, ad esempio, quando i progetti vengono esportati e reimportati. È possibile ottenere l'ID di una connessione, di un asset di dati connesso o memorizzato utilizzando la funzione di elenco corrispondente, ad esempio list_connections().

Il punto di ingresso wslib.by_id fornisce le funzioni seguenti:

• get_connection(asset_id)

  Questa funzione accede a una connessione mediante l'ID asset della connessione.

• get_connected_data(asset_id)

  Questa funzione accede a un asset di dati connesso tramite l'ID asset di dati connesso.

• load_data(asset_id, attachment_type_or_item=None)

  Questa funzione carica i dati di un asset di dati archiviati passando l'ID asset. Consultare load_data() per una descrizione degli altri parametri che è possibile passare.

• save_data(asset_id, data, overwrite=None, mime_type=None, file_name=None)

  Questa funzione salva i dati in un asset di dati archiviati passando l'ID asset. Ciò implica overwrite=True. Consultare save_data() per una descrizione degli altri parametri che è possibile passare.

• download_file(asset_id, file_name=None, attachment_type_or_item=None)

  Questa funzione scarica i dati di un asset di dati archiviati passando l'ID asset. Consultare download_file() per una descrizione degli altri parametri che è possibile passare.

Accedi direttamente allo storage del progetto

È possibile recuperare i dati dall'archivio del progetto e archiviare i dati nell'archivio del progetto senza sincronizzare gli asset del progetto utilizzando il punto di ingresso wslib.storage.

Il punto di ingresso wslib.storage fornisce le funzioni seguenti:

• fetch_data(filename)

  Questa funzione restituisce i dati in un file come buffer BytesIO . Non è necessario registrare il file come asset di dati.

  La funzione utilizza il seguente parametro obbligatorio:

  • filename: il nome del file in projectstorage.

• store_data(filename, data, overwrite=False)

  Questa funzione salva i dati in memoria nella memoria, ma non crea un nuovo asset di dati. La funzione restituisce un dizionario che contiene il nome file, il percorso file e ulteriori informazioni. Utilizzare wslib.show() per stampare le informazioni.

  La funzione utilizza i parametri seguenti:

  • filename: (obbligatorio) il nome del file nell'archiviazione del progetto.
  • data: (Obbligatorio) I dati da salvare come oggetto di tipo byte.
  • overwrite: (facoltativo) sovrascrive i dati di un file in memoria, se già esistenti. Per impostazione predefinita, è impostato su false.

• download_file(storage_filename, local_filename=None)

  Questa funzione scarica i dati in un file in memoria e li memorizza nel file locale specificato. Il file locale viene sovrascritto se esiste già.

  La funzione utilizza i parametri seguenti:

  • storage_filename: (Obbligatorio) Il nome del file in memoria da scaricare.
  • local_filename: (facoltativo) il nome del file nel filesystem locale del runtime in cui scaricare il file. Omettere questo parametro per utilizzare il nome file di memoria.

• register_asset(storage_path, asset_name=None, mime_type=None)

  Questa funzione registra il file in memoria come un asset di dati nel progetto. Questa operazione non riesce se esiste già un asset di dati con lo stesso nome.

  Si può usare questa funzione se si hanno file molto grandi che non si possono caricare tramite save_data(). Si possono caricare file di grandi dimensioni direttamente nel bucket IBM Cloud Object Storage del progetto, ad esempio tramite l'interfaccia utente, e poi registrarli come risorse di dati usando 'register_asset().

  La funzione utilizza i parametri seguenti:

  • storage_path: (obbligatorio) il percorso del file in memoria.
  • asset_name: (facoltativo) il nome dell'asset creato. Il valore predefinito è il nome file.
  • mime_type: (facoltativo) il tipo MIME per l'asset creato. Per impostazione predefinita, il tipo MIME è determinato dal suffisso del nome asset. Utilizzare questo parametro per specificare un tipo MIME se il nome file non ha un'estensione file o se si desidera impostare un tipo MIME diverso.
  Nota: è possibile registrare un file più volte come un asset di dati differente. L'eliminazione di uno di questi asset nel progetto elimina anche il file nella memoria, il che significa che altri riferimenti di asset al file potrebbero essere interrotti.

Supporto Spark

Il punto di ingresso wslib.spark fornisce funzioni per accedere ai file in memoria con Spark. Per ottenere informazioni di aiuto sulle funzioni disponibili, utilizzare help(wslib.spark.API).

Il punto di ingresso wslib.spark fornisce le funzioni seguenti:

• provide_spark_context(sc)

  Utilizzare questa funzione per abilitare il supporto Spark.

  La funzione utilizza il seguente parametro obbligatorio:

  • sc: SparkContext. Viene fornito nel runtime del notebook.

  Il seguente esempio mostra come configurare il supporto Spark:

  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  wslib.spark.provide_spark_context(sc)
  

• get_data_url(asset_name)

  Questa funzione restituisce un URL per accedere a un file in memoria da Spark tramite Hadoop.

  La funzione utilizza il seguente parametro obbligatorio:

  • asset_name: il nome dell'asset.

• storage.get_data_url(file_name)

  Questa funzione restituisce un URL per accedere a un file in memoria da Spark tramite Hadoop. La funzione prevede il nome file e non il nome asset.

  La funzione utilizza il seguente parametro obbligatorio:

  • file_name: il nome di un file nell'archivio progetti.

Sfoglia asset di progetti

Il punto di ingresso wslib.assets fornisce un accesso generico di sola lettura agli asset di qualsiasi tipo. Per i tipi di asset selezionati, esistono funzioni dedicate che forniscono ulteriori dati. Per ottenere aiuto sulle funzioni disponibili, utilizzare help(wslib.assets.API).

Si applicano le seguenti convenzioni di denominazione:

• Le funzioni denominate list_<something> restituiscono un elenco di dizionari Python . Ogni dizionario rappresenta un asset e include una piccola serie di proprietà (metadati) che identifica l'asset.
• Le funzioni denominate get_<something> restituiscono un singolo dizionario Python con le proprietà per l'asset.

Per stampare un dizionario o un elenco di dizionari, utilizzare wslib.show().

Le funzioni prevedono il nome di un asset o un elemento da un elenco come parametro. Per impostazione predefinita, le funzioni restituiscono solo un sottoinsieme delle proprietà dell'asset disponibili. Impostando il parametro raw=True, è possibile ottenere la serie completa di proprietà dell'asset.

Il punto di ingresso wslib.assets fornisce le funzioni seguenti:

• list_assets(asset_type, name=None, query=None, selector=None, raw=False)

  Questa funzione elenca tutti gli asset per il determinato tipo rispetto ai vincoli forniti.

  La funzione utilizza i parametri seguenti:

  • asset_type: (obbligatorio) il tipo di asset da elencare, ad esempio data_asset. Consultare list_asset_types() per un elenco dei tipi di asset disponibili. Utilizzare il tipo di asset asset per l'elenco di tutti gli asset disponibili nel progetto.
  • name: (facoltativo) il nome dell'asset da elencare. Utilizzare questo parametro se esiste più di un asset con lo stesso nome. È possibile specificare solo name e query.
  • query: (opzionale) Una stringa di query che viene passata all'API Data and AI Common Core per cercare le risorse. È possibile specificare solo name e query.
  • selector: (facoltativo) una funzione di filtro personalizzata sugli elementi del dizionario degli asset candidati. Se la funzione selettore restituisce True, l'asset è incluso nell'elenco di asset restituiti.
  • raw: (facoltativo) restituisce tutti i metadati disponibili. Per impostazione predefinita, il parametro è impostato su False e viene restituito solo un sottoinsieme delle proprietà.

  Esempi di utilizzo della funzione list_assets :

  # Import the lib
  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  
  # List all assets in the project
  all_assets = wslib.assets.list_assets("asset")
  wslib.show(all_assets)
  
  # List all data assets with name 'MyFile.csv'
  assets_by_name = wslib.assets.list_assets("data_asset", name="MyFile.csv")
  
  # List all data assets whose name starts with "MyF"
  assets_by_query = wslib.assets.list_assets("data_asset", query="asset.name:(MyF*)")
  
  # List all data assets which are larger than 1MB
  sizeFilter = lambda x: x['metadata']['size'] > 1000000
  large_assets = wslib.assets.list_assets("data_asset", selector=sizeFilter, raw=True)
  
  # List all notebooks
  notebooks = wslib.assets.list_assets("notebook")
  

• list_asset_types(raw=False)

  Questa funzione elenca tutti i tipi di asset disponibili.

  La funzione può assumere il seguente parametro:

  • raw: (facoltativo) restituisce la serie completa di metadati. Per impostazione predefinita, il parametro è False e viene restituito solo un sottoinsieme delle proprietà.

• list_datasource_types(raw=False)

  Questa funzione elenca tutti i tipi di origine dati disponibili.

  La funzione può assumere il seguente parametro:

  • raw: (facoltativo) restituisce la serie completa di metadati. Per impostazione predefinita, il parametro è False e viene restituito solo un sottoinsieme delle proprietà.

• get_asset(name_or_item, asset_type=None, raw=False)

  La funzione restituisce i metadati di un asset.

  La funzione utilizza i parametri seguenti:

  • name_or_item: (obbligatorio) il nome dell'asset o un item come quelli restituiti da list_assets()
  • asset_type: (facoltativo) il tipo di asset. Se il parametro name_or_item contiene una stringa per il nome dell'asset, è richiesta l'impostazione asset_type .
  • raw: (facoltativo) restituisce la serie completa di metadati. Per impostazione predefinita, il parametro è False e viene restituito solo un sottoinsieme delle proprietà.

  Esempio di utilizzo delle funzioni get_asset e list_assets :

  notebooks = wslib.assets.list_assets('notebook')
  wslib.show(notebooks)
  
  notebook = wslib.assets.get_asset(notebooks[0])
  wslib.show(notebook)
  

• get_connection(name_or_item, with_datasourcetype=False, raw=False)

  Questa funzione restituisce i metadati di una connessione.

  La funzione utilizza i parametri seguenti:

  • name_or_item: (Obbligatorio) Il nome della connessione o un elemento come quelli restituiti da list_connections()
  • with_datasourcetype: (Facoltativo) Restituisce ulteriori informazioni sul tipo di origine dati della connessione.
  • raw: (facoltativo) restituisce la serie completa di metadati. Per impostazione predefinita, il parametro è False e viene restituito solo un sottoinsieme delle proprietà.

• get_connected_data(name_or_item, with_datasourcetype=False, raw=False)

  Questa funzione restituisce i metadati di un asset di dati connesso.

  La funzione utilizza i parametri seguenti:

  • name_or_item: (Obbligatorio) Il nome dell'asset di dati connesso o un elemento come quelli restituiti da list_connected_data()
  • with_datasourcetype: (facoltativo) restituisce informazioni aggiuntive sul tipo di origine dati dell'asset di dati connesso associato.
  • raw: (facoltativo) restituisce la serie completa di metadati. Per impostazione predefinita, il parametro è False e viene restituito solo un sottoinsieme delle proprietà.

• get_stored_data(name_or_item, raw=False)

  Questa funzione restituisce i metadati di un asset di dati memorizzato.

  La funzione utilizza i parametri seguenti:

  • name_or_item: (obbligatorio) il nome dell'asset di dati archiviati o un elemento come quelli restituiti da list_stored_data()
  • raw: (facoltativo) restituisce la serie completa di metadati. Per impostazione predefinita, il parametro è False e viene restituito solo un sottoinsieme delle proprietà.

• list_attachments(name_or_item_or_asset, asset_type=None, raw=False)

  Questa funzione restituisce un elenco degli allegati di un asset.

  La funzione utilizza i parametri seguenti:

  • name_or_item_or_asset: (Obbligatorio) il nome dell'asset o di un item come quelli restituiti da list_stored_data() o get_asset().
  • asset_type: (facoltativo) il tipo di asset. Il valore predefinito è il tipo data_asset.
  • raw: (facoltativo) restituisce la serie completa di metadati. Per impostazione predefinita, il parametro è False e viene restituito solo un sottoinsieme delle proprietà.

  Esempio di utilizzo della funzione list_attachments per leggere un allegato di un asset di dati memorizzato:

  assets = wslib.list_stored_data()
  wslib.show(assets)
  
  asset = assets[0]
  attachments = wslib.assets.list_attachments(asset)
  wslib.show(attachments)
  buffer = wslib.load_data(asset, attachments[0])
  

Argomento principale: Utilizzo di ibm - watson - studio - lib