Obtener información de proyecto

Al desarrollar código, es posible que no conozca los nombres exactos de los activos de datos o las conexiones. Las funciones siguientes proporcionan listas de activos, de los que puede elegir los relevantes. En todos los ejemplos, puede utilizar wslib.show(assets) para imprimir de forma bonita la lista. El índice de cada elemento se imprime delante del elemento.

• list_connections()

  Esta función devuelve una lista de conexiones. La lista de conexiones devueltas no está ordenada por ningún criterio y puede cambiar cuando vuelva a llamar a la función. Puede pasar un elemento de diccionario en lugar de un nombre a la función get_connection .

  Por ejemplo:

  # Import the lib
  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  
  assets = wslib.list_connections()
  wslib.show(assets)
  connprops = wslib.get_connection(assets[0])
  wslib.show(connprops)
  

• list_connected_data()

  Esta función devuelve los activos de datos conectados. La lista de activos de datos conectados devueltos no está ordenada por ningún criterio y puede cambiar cuando vuelva a llamar a la función. Puede pasar un elemento de diccionario en lugar de un nombre a la función get_connected_data .

• list_stored_data()

  Esta función devuelve una lista de los activos de datos almacenados (archivos de datos). La lista de activos de datos devueltos no se ordena por ningún criterio y puede cambiar cuando vuelva a llamar a la función. Puede pasar un elemento de diccionario en lugar de un nombre a las funciones load_data y save_data.

  Nota: Se aplica una heurística para distinguir entre activos de datos conectados y activos de datos almacenados. Sin embargo, puede haber casos en los que un activo de datos del tipo incorrecto aparezca en las listas devueltas.

• wslib.here< \br>

  Utilizando este punto de entrada, puede recuperar metadatos sobre el proyecto con el que está trabajando la biblioteca. El punto de entrada wslib.here proporciona las funciones siguientes:

  • get_name()

    Esta función devuelve el nombre del proyecto.

  • get_description()

    Esta función devuelve la descripción del proyecto.

  • get_ID()

    Esta función devuelve el ID del proyecto.

  • get_storage()

    Esta función devuelve información de almacenamiento para el proyecto.

Obtener señal de autenticación

Algunas tareas requieren una señal de autenticación. Por ejemplo, si desea ejecutar sus propias solicitudes en la API básica común de datos e inteligencia artificial, necesita un token de autenticación.

Puede utilizar la función siguiente para obtener la señal portadora:

• get_current_token()

Por ejemplo:

from ibm_watson_studio_lib import access_project_or_space
wslib = access_project_or_space({"token":"<ProjectToken>"})
token = wslib.auth.get_current_token()

Esta función devuelve la señal portadora que utiliza actualmente la biblioteca ibm-watson-studio-lib .

Captar datos

Puede utilizar las funciones siguientes para captar datos de un activo de datos almacenado (un archivo) en el proyecto.

• load_data(asset_name_or_item, attachment_type_or_item=None)

  Esta función carga los datos de un activo de datos almacenado en un almacenamiento intermedio BytesIO . La función no se recomienda para archivos muy grandes.

  La función toma los parámetros siguientes:

  • asset_name_or_item: (Necesario) Una serie con el nombre de un activo de datos almacenado o un elemento como los devueltos por list_stored_data().

  • attachment_type_or_item: (Opcional) Tipo de archivo adjunto a cargar. Un elemento de datos puede tener más de un archivo adjunto con datos. Sin este parámetro, se carga el tipo de adjunto predeterminado, es decir, data_asset . Especifique este parámetro si el tipo de adjunto no es data_asset. Por ejemplo, si un elemento de datos de texto sin formato tiene un perfil adjunto de Natural Language Analysis, se puede cargar como tipo de archivo adjunto data_profile_nlu.

    A continuación se muestra un ejemplo que muestra cómo cargar los datos de un activo de datos:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Fetch the data from a file
    my_file = wslib.load_data("MyFile.csv")
    
    # Read the CSV data file into a pandas DataFrame
    my_file.seek(0)
    import pandas as pd
    pd.read_csv(my_file, nrows=10)
    

• download_file(asset_name_or_item, file_name=None, attachment_type_or_item=None)

  Esta función descarga los datos de un activo de datos almacenado y los almacena en el archivo especificado en el sistema de archivos del tiempo de ejecución. El archivo se sobrescribe si ya existe.

  La función toma los parámetros siguientes:

  • asset_name_or_item: (Necesario) Una serie con el nombre de un activo de datos almacenado o un elemento como los devueltos por list_stored_data().

  • file_name: (Opcional) El nombre del archivo en el que se almacenan los datos descargados. El valor predeterminado es el nombre del adjunto del elemento.

  • attachment_type_or_item: (Opcional) El tipo de archivo adjunto que se va a descargar. Un elemento de datos puede tener más de un archivo adjunto con datos. Sin este parámetro, se descarga el tipo de adjunto predeterminado, es decir, data_asset . Especifique este parámetro si el tipo de adjunto no es data_asset. Por ejemplo, si un activo de datos de texto sin formato tiene un perfil adjunto de Natural Language Analysis, se puede descargar como tipo de adjunto data_profile_nlu.

    A continuación se muestra un ejemplo que muestra cómo utilizar download_file para que el script Python personalizado esté disponible en el cuaderno:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Let's assume you have a Python script "helpers.py" with helper functions on your local machine.
    # Upload the script to your project using the Data Panel on the right of the opened notebook.
    
    # Download the script to the file system of your runtime
    wslib.download_file("helpers.py")
    
    # import the required functions to use them in your notebook
    from helpers import my_func
    my_func()
    

Guardar datos

Las funciones para guardar datos en el almacenamiento del proyecto hacen varias cosas:

• Almacenar los datos en el almacenamiento del proyecto
• Añada los datos como un activo de datos (creando un activo o sobrescribiendo un activo existente) al proyecto para que pueda ver los datos en la lista de activos de datos del proyecto.
• Asocie el activo con el archivo en el almacenamiento.

Puede utilizar las funciones siguientes para guardar datos:

• save_data(asset_name_or_item, data, overwrite=None, mime_type=None, file_name=None)

  Esta función guarda los datos en la memoria en el almacenamiento del proyecto.

  La función toma los parámetros siguientes:

  • asset_name_or_item: (Necesario) Nombre del activo creado o elemento de lista devuelto por list_stored_data(). Puede utilizar el elemento si desea sobrescribir un archivo existente.

  • data: (Necesario) Los datos a cargar. Puede ser cualquier objeto de tipo bytes-like-object, por ejemplo, un almacenamiento intermedio de bytes.

  • overwrite: (Opcional) sobrescribe los datos de un activo de datos almacenado si ya existe. De forma predeterminada, se establece en false. Si se pasa un elemento de activo en lugar de un nombre, el comportamiento es sobrescribir el activo.

  • mime_type: (Opcional) El tipo MIME para el activo creado. De forma predeterminada, el tipo MIME se determina a partir del sufijo de nombre de activo. Si utiliza nombres de activos sin un sufijo, especifique aquí el tipo MIME. Por ejemplo, mime_type=application/text para datos de texto sin formato. Este parámetro se ignora cuando se sobrescribe un activo.

  • file_name: (Opcional) El nombre de archivo que se utilizará en el almacenamiento del proyecto. Los datos se guardan en el almacenamiento asociado con el proyecto. Al crear un activo nuevo, el nombre de archivo se deriva del nombre de activo, pero puede ser diferente. Si desea acceder al archivo directamente, puede especificar un nombre de archivo. Este parámetro se ignora cuando se sobrescribe un activo.

    A continuación se muestra un ejemplo que muestra cómo guardar datos en un archivo:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # let's assume you have the pandas DataFrame pandas_df which contains the data
    # you want to save as a csv file
    wslib.save_data("my_asset_name.csv", pandas_df.to_csv(index=False).encode())
    
    # the function returns a dict which contains the asset_name, asset_id, file_name and additional information upon successful saving of the data
    

• upload_file(file_path, asset_name=None, file_name=None, overwrite=False, mime_type=None) Esta función guarda los datos del sistema de archivos en el tiempo de ejecución en un archivo asociado con el proyecto. La función toma los parámetros siguientes:

  • file_path: (Necesario) La vía de acceso al archivo en el sistema de archivos.

  • asset_name: (Opcional) El nombre del activo de datos que se crea. El valor predeterminado es el nombre del archivo que se va a cargar.

  • file_name: (Opcional) El nombre del archivo que se crea en el almacenamiento asociado con el proyecto. El valor predeterminado es el nombre del archivo que se va a cargar.

  • overwrite: (Opcional) sobrescribe un archivo existente en el almacenamiento. El valor predeterminado es false.

  • mime_type: (Opcional) El tipo MIME para el activo creado. De forma predeterminada, el tipo MIME se determina a partir del sufijo de nombre de activo. Si utiliza nombres de activos sin un sufijo, especifique aquí el tipo MIME. Por ejemplo, mime_type='application/text' para datos de texto sin formato. Este parámetro se ignora cuando se sobrescribe un activo.

    A continuación se muestra un ejemplo que muestra cómo puede cargar un archivo en el proyecto:

    # Import the lib
    from ibm_watson_studio_lib import access_project_or_space
    wslib = access_project_or_space({"token":"<ProjectToken>"})
    
    # Let's assume you have downloaded a file and want to save it
    # in your project.
    import urllib.request
    urllib.request.urlretrieve("https://some/url/data_file.csv", "data_file.csv")
    wslib.upload_file("data_file.csv")
    
    # The function returns a dictionary which contains the asset_name, asset_id, file_name and additional information upon successful saving of the data.
    

Obtener información de conexión

Puede utilizar la función siguiente para acceder a los metadatos de conexión de una conexión determinada.

• get_connection(name_or_item)

  Esta función devuelve las propiedades (metadatos) de una conexión que puede utilizar para captar datos del origen de datos de conexión. Utilice wslib.show(connprops) para ver las propiedades. La clave especial "." en el diccionario devuelto proporciona información sobre el activo de conexión.

  La función toma el siguiente parámetro necesario:

  • name_or_item: Una serie con el nombre de una conexión o un elemento como los devueltos por list_connections().

  Tenga en cuenta que cuando trabaje con cuadernos, puede pulsar Leer datos en el panel Fragmentos de código para generar código para cargar datos de una conexión en un DataFrame de pandas, por ejemplo.

Obtener información de datos conectados

Puede utilizar la siguiente función para acceder a los metadatos de un activo de datos conectado.

• get_connected_data(name_or_item)

  Esta función devuelve las propiedades de un activo de datos conectado, incluidas las propiedades de la conexión subyacente. Utilice wslib.show() para ver las propiedades. La clave especial "." en el diccionario devuelto proporciona información sobre los datos y los activos de conexión.

  La función toma el siguiente parámetro necesario:

  • name_or_item: Una serie con el nombre de un activo de datos conectado o un elemento como los devueltos por list_connected_data().

  Tenga en cuenta que cuando trabaje con cuadernos, puede pulsar Leer datos en el panel Fragmentos de código para generar código para cargar datos de un activo de datos conectado en un DataFrame de pandas, por ejemplo.

Acceder al activo por ID en lugar de por nombre

De preferencia, siempre debe acceder a los activos de datos y a las conexiones mediante un nombre exclusivo. Los nombres de activos no son necesariamente siempre exclusivos y las funciones ibm-watson-studio-lib generarán una excepción cuando un nombre sea ambiguo. Puede cambiar el nombre de los activos de datos en la interfaz de usuario para resolver el conflicto.

El acceso a los activos mediante un ID exclusivo es posible, pero no se recomienda ya que los ID sólo son válidos en el proyecto actual y romperán el código cuando se transfieran a un proyecto diferente. Esto puede suceder, por ejemplo, cuando los proyectos se exportan y se vuelven a importar. Puede obtener el ID de una conexión, un activo de datos conectado o almacenado utilizando la función de lista correspondiente, por ejemplo, list_connections().

El punto de entrada wslib.by_id proporciona las funciones siguientes:

• get_connection(asset_id)

  Esta función accede a una conexión mediante el ID de activo de conexión.

• get_connected_data(asset_id)

  Esta función accede a un activo de datos conectado mediante el ID de activo de datos conectado.

• load_data(asset_id, attachment_type_or_item=None)

  Esta función carga los datos de un activo de datos almacenado pasando el ID de activo. Consulte load_data() para obtener una descripción de los otros parámetros que puede pasar.

• save_data(asset_id, data, overwrite=None, mime_type=None, file_name=None)

  Esta función guarda los datos en un activo de datos almacenado pasando el ID de activo. Esto implica overwrite=True. Consulte save_data() para obtener una descripción de los otros parámetros que puede pasar.

• download_file(asset_id, file_name=None, attachment_type_or_item=None)

  Esta función descarga los datos de un activo de datos almacenado pasando el ID de activo. Consulte download_file() para obtener una descripción de los otros parámetros que puede pasar.

Acceder directamente al almacenamiento del proyecto

Puede captar datos del almacenamiento del proyecto y almacenar datos en el almacenamiento del proyecto sin sincronizar los activos del proyecto utilizando el punto de entrada wslib.storage.

El punto de entrada wslib.storage proporciona las funciones siguientes:

• fetch_data(filename)

  Esta función devuelve los datos de un archivo como un almacenamiento intermedio BytesIO . No es necesario registrar el archivo como un activo de datos.

  La función toma el siguiente parámetro necesario:

  • filename: el nombre del archivo en el almacenamiento de proyectos.

• store_data(filename, data, overwrite=False)

  Esta función guarda los datos en la memoria en el almacenamiento, pero no crea un nuevo activo de datos. La función devuelve un diccionario que contiene el nombre de archivo, la vía de acceso de archivo e información adicional. Utilice wslib.show() para imprimir la información.

  La función toma los parámetros siguientes:

  • filename: (Necesario) El nombre del archivo en el almacenamiento del proyecto.
  • data: (Necesario) Los datos que se deben guardar como un objeto similar a bytes.
  • overwrite: (Opcional) Sobrescribe los datos de un archivo en el almacenamiento si ya existe. De forma predeterminada, se establece en false.

• download_file(storage_filename, local_filename=None)

  Esta función descarga los datos en un archivo en el almacenamiento y los almacena en el archivo local especificado. El archivo local se sobrescribe si ya existía.

  La función toma los parámetros siguientes:

  • storage_filename: (Necesario) El nombre del archivo en el almacenamiento que se va a descargar.
  • local_filename: (Opcional) El nombre del archivo en el sistema de archivos local del tiempo de ejecución en el que descargar el archivo. Omita este parámetro para utilizar el nombre de archivo de almacenamiento.

• register_asset(storage_path, asset_name=None, mime_type=None)

  Esta función registra el archivo en almacenamiento como un activo de datos en el proyecto. Esta operación falla si ya existe un activo de datos con el mismo nombre.

  Puede utilizar esta función si tiene archivos muy grandes que no puede cargar mediante save_data(). Puede cargar archivos grandes directamente en el bucket de IBM Cloud Object Storage de su proyecto, por ejemplo a través de la interfaz de usuario, y luego registrarlos como activos de datos mediante register_asset().

  La función toma los parámetros siguientes:

  • storage_path: (Necesario) La vía de acceso del archivo en el almacenamiento.
  • asset_name: (Opcional) El nombre del activo creado. El valor predeterminado es el nombre de archivo.
  • mime_type: (Opcional) El tipo MIME para el activo creado. De forma predeterminada, el tipo MIME se determina a partir del sufijo de nombre de activo. Utilice este parámetro para especificar un tipo MIME si el nombre de archivo no tiene una extensión de archivo o si desea establecer un tipo MIME diferente.
  Nota: Puede registrar un archivo varias veces como un activo de datos diferente. La supresión de uno de estos activos en el proyecto también suprime el archivo en el almacenamiento, lo que significa que otras referencias de activos al archivo podrían estar rotas.

Soporte de Spark

El punto de entrada wslib.spark proporciona funciones para acceder a los archivos en el almacenamiento con Spark. Para obtener información de ayuda sobre las funciones disponibles, utilice help(wslib.spark.API).

El punto de entrada wslib.spark proporciona las funciones siguientes:

• provide_spark_context(sc)

  Utilice esta función para habilitar el soporte de Spark.

  La función toma el siguiente parámetro necesario:

  • sc: SparkContext. Se proporciona en el tiempo de ejecución del cuaderno.

  El ejemplo siguiente muestra cómo configurar el soporte de Spark:

  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  wslib.spark.provide_spark_context(sc)
  

• get_data_url(asset_name)

  Esta función devuelve un URL para acceder a un archivo en almacenamiento desde Spark a través de Hadoop.

  La función toma el siguiente parámetro necesario:

  • asset_name: el nombre del activo.

• storage.get_data_url(file_name)

  Esta función devuelve un URL para acceder a un archivo en almacenamiento desde Spark a través de Hadoop. La función espera el nombre de archivo y no el nombre de activo.

  La función toma el siguiente parámetro necesario:

  • file_name: el nombre de un archivo en el almacenamiento del proyecto.

Examinar activos de proyecto

El punto de entrada wslib.assets proporciona acceso genérico de sólo lectura a activos de cualquier tipo. Para los tipos de activos seleccionados, hay funciones dedicadas que proporcionan datos adicionales. Para obtener ayuda sobre las funciones disponibles, utilice help(wslib.assets.API).

Se aplican los convenios de denominación siguientes:

• Las funciones denominadas list_<something> devuelven una lista de diccionarios Python . Cada diccionario representa un activo e incluye un pequeño conjunto de propiedades (metadatos) que identifica el activo.
• Las funciones denominadas get_<something> devuelven un único diccionario Python con las propiedades del activo.

Para imprimir un diccionario o una lista de diccionarios, utilice wslib.show().

Las funciones esperan el nombre de un activo o un elemento de una lista como parámetro. De forma predeterminada, las funciones sólo devuelven un subconjunto de las propiedades de activo disponibles. Al establecer el parámetro raw=True, puede obtener el conjunto completo de propiedades de activo.

El punto de entrada wslib.assets proporciona las funciones siguientes:

• list_assets(asset_type, name=None, query=None, selector=None, raw=False)

  Esta función lista todos los activos para el tipo determinado con respecto a las restricciones dadas.

  La función toma los parámetros siguientes:

  • asset_type: (Necesario) Tipo de los activos que se van a listar, por ejemplo, data_asset. Consulte list_asset_types() para obtener una lista de los tipos de activos disponibles. Utilice el tipo de activo asset para la lista de todos los activos disponibles en el proyecto.
  • name: (Opcional) El nombre del activo que se va a listar. Utilice este parámetro si existe más de un activo con el mismo nombre. Sólo puede especificar name y query.
  • query: (Opcional) Cadena de consulta que se pasa a la API común de datos y IA para buscar activos. Sólo puede especificar name y query.
  • selector: (Opcional) Una función de filtro personalizado en los elementos del diccionario de activos candidatos. Si la función de selector devuelve True, el activo se incluye en la lista de activos devueltos.
  • raw: (Opcional) Devuelve todos los metadatos disponibles. De forma predeterminada, el parámetro se establece en False y sólo se devuelve un subconjunto de las propiedades.

  Ejemplos de utilización de la función list_assets :

  # Import the lib
  from ibm_watson_studio_lib import access_project_or_space
  wslib = access_project_or_space({"token":"<ProjectToken>"})
  
  # List all assets in the project
  all_assets = wslib.assets.list_assets("asset")
  wslib.show(all_assets)
  
  # List all data assets with name 'MyFile.csv'
  assets_by_name = wslib.assets.list_assets("data_asset", name="MyFile.csv")
  
  # List all data assets whose name starts with "MyF"
  assets_by_query = wslib.assets.list_assets("data_asset", query="asset.name:(MyF*)")
  
  # List all data assets which are larger than 1MB
  sizeFilter = lambda x: x['metadata']['size'] > 1000000
  large_assets = wslib.assets.list_assets("data_asset", selector=sizeFilter, raw=True)
  
  # List all notebooks
  notebooks = wslib.assets.list_assets("notebook")
  

• list_asset_types(raw=False)

  Esta función lista todos los tipos de activos disponibles.

  La función puede tomar el parámetro siguiente:

  • raw: (Opcional) Devuelve el conjunto completo de metadatos. De forma predeterminada, el parámetro es False y sólo se devuelve un subconjunto de las propiedades.

• list_datasource_types(raw=False)

  Esta función lista todos los tipos de orígenes de datos disponibles.

  La función puede tomar el parámetro siguiente:

  • raw: (Opcional) Devuelve el conjunto completo de metadatos. De forma predeterminada, el parámetro es False y sólo se devuelve un subconjunto de las propiedades.

• get_asset(name_or_item, asset_type=None, raw=False)

  La función devuelve los metadatos de un activo.

  La función toma los parámetros siguientes:

  • name_or_item: (Necesario) El nombre del activo o un artículo como los devueltos por list_assets()
  • asset_type: (Opcional) El tipo del activo. Si el parámetro name_or_item contiene una serie para el nombre del activo, es necesario establecer asset_type .
  • raw: (Opcional) Devuelve el conjunto completo de metadatos. De forma predeterminada, el parámetro es False y sólo se devuelve un subconjunto de las propiedades.

  Ejemplo de utilización de las funciones list_assets y get_asset :

  notebooks = wslib.assets.list_assets('notebook')
  wslib.show(notebooks)
  
  notebook = wslib.assets.get_asset(notebooks[0])
  wslib.show(notebook)
  

• get_connection(name_or_item, with_datasourcetype=False, raw=False)

  Esta función devuelve los metadatos de una conexión.

  La función toma los parámetros siguientes:

  • name_or_item: (Necesario) El nombre de la conexión o un elemento como los devueltos por list_connections()
  • with_datasourcetype: (Opcional) Devuelve información adicional sobre el tipo de origen de datos de la conexión.
  • raw: (Opcional) Devuelve el conjunto completo de metadatos. De forma predeterminada, el parámetro es False y sólo se devuelve un subconjunto de las propiedades.

• get_connected_data(name_or_item, with_datasourcetype=False, raw=False)

  Esta función devuelve los metadatos de un activo de datos conectado.

  La función toma los parámetros siguientes:

  • name_or_item: (Necesario) El nombre del activo de datos conectado o un elemento como los devueltos por list_connected_data()
  • with_datasourcetype: (Opcional) Devuelve información adicional sobre el tipo de origen de datos del activo de datos conectado asociado.
  • raw: (Opcional) Devuelve el conjunto completo de metadatos. De forma predeterminada, el parámetro es False y sólo se devuelve un subconjunto de las propiedades.

• get_stored_data(name_or_item, raw=False)

  Esta función devuelve los metadatos de un activo de datos almacenado.

  La función toma los parámetros siguientes:

  • name_or_item: (Necesario) El nombre del activo de datos almacenado o un elemento como los devueltos por list_stored_data()
  • raw: (Opcional) Devuelve el conjunto completo de metadatos. De forma predeterminada, el parámetro es False y sólo se devuelve un subconjunto de las propiedades.

• list_attachments(name_or_item_or_asset, asset_type=None, raw=False)

  Esta función devuelve una lista de los archivos adjuntos de un activo.

  La función toma los parámetros siguientes:

  • name_or_item_or_asset: (Necesario) El nombre del activo o un elemento como los devueltos por list_stored_data() o get_asset().
  • asset_type: (Opcional) El tipo del activo. El valor predeterminado es el tipo data_asset.
  • raw: (Opcional) Devuelve el conjunto completo de metadatos. De forma predeterminada, el parámetro es False y sólo se devuelve un subconjunto de las propiedades.

  Ejemplo de utilización de la función list_attachments para leer un archivo adjunto de un elemento de datos almacenado:

  assets = wslib.list_stored_data()
  wslib.show(assets)
  
  asset = assets[0]
  attachments = wslib.assets.list_attachments(asset)
  wslib.show(attachments)
  buffer = wslib.load_data(asset, attachments[0])
  

Tema padre: Utilización de ibm-watson-studio-lib