Configuration des bibliothèques assetframe-lib et ibm-watson-studio-lib

La bibliothèque 'assetframe-lib pour Python est pré-installée et peut être importée directement dans un notebook dans watsonx.ai Studio. Cependant, il s'appuie sur la bibliothèque ibm-watson-studio-lib . Les étapes suivantes décrivent comment configurer les deux bibliothèques.

Pour insérer le jeton du projet dans le bloc-notes :

1. Cliquez sur l'icône Plus dans la barre d'outils du bloc-notes, puis sur Insérer un jeton de projet.

   Si un jeton de projet existe, une cellule contenant les informations suivantes est ajoutée au bloc-notes :

   from ibm_watson_studio_lib import access_project_or_space
   wslib = access_project_or_space({"token":"<ProjectToken>"})
   

   <ProjectToken> est la valeur du jeton de projet.

   Si un message vous dit qu'aucun jeton de projet n'existe, cliquez sur le lien dans le message à rediriger vers la page Contrôle d'accès du projet dans laquelle vous pouvez créer un jeton de projet. Vous devez être éligible pour créer un jeton de projet.

   Pour créer un jeton de projet :

   1. Dans l'onglet Gérer, sélectionnez la page Contrôle d'accès et cliquez sur Nouveau jeton d'accès sous Jetons d'accès.
   2. Entrez un nom, sélectionnez le rôle Éditeur pour le projet et créez un jeton.
   3. Retournez à votre bloc-notes, cliquez sur l'icône Plus dans la barre d'outils du bloc-notes, puis cliquez sur Insérer un jeton de projet.

2. Importez assetframe-lib et initialisez-le avec l'instance ibm-watson-studio-lib créée.

   from assetframe_lib import AssetFrame
   AssetFrame._wslib = wslib
   

Les fonctions et méthodes assetframe-lib

La bibliothèque assetframe-lib expose un ensemble de fonctions et de méthodes regroupées de la manière suivante:

• Création d'un cadre d'actif
• Création, extraction et suppression de fonctions
• Spécification des attributs de fonction
  • Rôle
  • Description
  • Informations d'équité pour des résultats favorables et défavorables
  • Informations d'équité pour les groupes surveillés et de référence
  • Descriptions de valeur
  • Recette
  • Etiquettes
• Prévisualisation des données
• Obtention d'informations sur l'équité

Création d'un cadre d'actif

Un cadre d'actif est utilisé pour définir des métadonnées de groupe de fonctions sur un actif de données existant ou sur un cadre de données ( DataFrame) pandas. Vous pouvez avoir exactement un groupe de fonctions pour chaque actif. Si vous créez un asset frame sur un pandas DataFrame, vous pouvez stocker le pandas DataFrame avec les métadonnées du groupe d'entités en tant qu'asset de données dans votre projet.

Vous pouvez utiliser l'une des fonctions suivantes pour créer votre cadre d'actif:

• AssetFrame.from_data_asset(asset_name, create_default_features=False)

  Cette fonction crée un nouveau cadre d'actif qui encapsule un actif de données existant dans votre projet. S'il existe déjà un groupe de fonctions pour cet actif, par exemple créé dans l'interface utilisateur, il est lu à partir des métadonnées de l'actif.

  Paramètres :

  • asset_name: (Obligatoire) Nom d'un actif de données dans votre projet.
  • create_default_features: (Facultatif) Crée des fonctions pour toutes les colonnes de l'actif de données.

• AssetFrame.from_pandas(name, dataframe, create_default_features=False)

  Cette fonction crée un nouveau cadre d'actif encapsulant un DataFramepandas.

  Paramètres :

  • name: (Obligatoire) Nom du cadre d'actif. Ce nom sera utilisé comme nom de l'actif de données si vous stockez votre groupe de fonctions dans votre projet à une étape ultérieure.

  • dataframe: (obligatoire) DataFrame pandas que vous souhaitez stocker avec les informations de groupe de fonctions.

  • create_default_features: (Facultatif) Créez des fonctions pour toutes les colonnes de la trame de données.

    Exemple de création d'un cadre d'actifs à partir d'un DataFrame: pandas :

    # Create an asset frame from a pandas DataFrame and set
    # the name of the asset frame.
    af = AssetFrame.from_pandas(dataframe=credit_risk_df, name="Credit Risk Training Data")
    

Création, extraction et suppression de fonctions

Une fonctionnalité définit des métadonnées qui peuvent être utilisées par les tâches du Runtime watsonx.ai en aval. Vous pouvez créer une fonction par colonne dans votre jeu de données.

Vous pouvez utiliser l'une des fonctions suivantes pour créer, extraire ou supprimer des colonnes de votre cadre d'actif:

• add_feature(column_name, role='Input')

  Cette fonction ajoute une nouvelle fonction à votre cadre d'actif avec le rôle donné.

  Paramètres :

  • column_name: (Obligatoire) Nom de la colonne pour laquelle créer une fonction.

  • role: (Facultatif) Rôle de la fonction. La valeur par défaut est Entrée.
    

    Les rôles valides sont les suivants :
    

    • Entrée: entrée pour un modèle d'apprentissage automatique
      
    • Cible: cible d'un modèle de prévision
      
    • Identificateur: identificateur d'une ligne dans votre fichier.
      

• create_default_features()

  Cette fonction crée des fonctions pour toutes les colonnes de votre jeu de données. Les rôles des fonctions seront définis par défaut sur Entrée.

• get_features()

  Cette fonction extrait toutes les fonctions du cadre d'actif.

• get_feature(column_name)

  Cette fonction extrait la fonction pour le nom de colonne indiqué.

  Paramètres :

  • column_name: (Obligatoire) Nom de chaîne de la colonne pour laquelle créer la fonction.

• get_features_by_role(role)

  Cette fonction extrait toutes les fonctions de la trame de données avec le rôle donné.

  Paramètres :

  • role: (Obligatoire) Rôle que les fonctions doivent avoir. Il peut s'agir de Entrée, Cible ou Identificateur.

• remove_feature(feature_or_column_name)

  Cette fonction supprime la fonction du cadre de l'actif.

  Paramètres :

  • feature_or_column_name: (Obligatoire) Fonction ou nom de la colonne pour laquelle supprimer la fonction.

Exemple illustrant la création de fonctions pour toutes les colonnes du jeu de données et l'extraction de l'une de ces colonnes pour des spécifications supplémentaires:

# Create features for all columns in the data set and retrieve a column
# for further specifications.
af.create_default_features()
risk_feat = af.get_feature('Risk')

Spécification des attributs de fonction

Les fonctionnalités spécifient des métadonnées supplémentaires sur les colonnes qui peuvent être utilisées dans les tâches du Runtime watsonx.ai en aval.

Vous pouvez utiliser la fonction suivante pour extraire la colonne pour laquelle la fonction est définie:

• get_column_name()

  Cette fonction extrait le nom de colonne pour lequel la fonction est définie.

# Set the role of the feature 'Risk' to 'Target' to use it as a target in a prediction model.
risk_feat = af.get_feature('Risk')
risk_feat.set_roles('Target')

# Set favorable and unfavorable labels for the target feature 'Risk'.
risk_feat = af.get_feature('Risk')
risk_feat.set_favorable_labels("No Risk")
risk_feat.set_unfavorable_labels("Risk")

# Set monitored and reference groups for the features 'Sex' and 'Age'.
sex_feat = af.get_feature("Sex")
sex_feat.set_reference_groups("male")
sex_feat.set_monitored_groups("female")

age_feat = af.get_feature("Age")
age_feat.set_monitored_groups("[0,25]")
age_feat.set_reference_groups("[26,80]")

plan_feat = af.get_feature("InstallmentPlans")
val_descriptions = [
    {'value': 'stores',
     'description': 'customer has additional business installment plan'},
    {'value': 'bank',
     'description': 'customer has additional personal installment plan'},
    {'value': 'none',
     'description': 'customer has no additional installment plan'}
]
plan_feat.set_value_descriptions(val_descriptions)

Prévisualisation des données

Vous pouvez prévisualiser les données de votre actif de données ou pandas DataFrame avec des informations supplémentaires sur vos fonctions, telles que les informations d'équité.

Les données sont affichées comme un DataFrame pandas avec des informations d'en-tête facultatives sur les rôles de fonction, les descriptions ou les recettes. Les informations d'équité sont affichées avec des couleurs pour les libellés favorables ou défavorables, les groupes surveillés et les groupes de référence.

A ce stade, vous pouvez extraire jusqu'à 100 lignes d'exemples de données pour un actif de données.

Utilisez la fonction suivante pour prévisualiser les données:

• head(num_rows=5, display_options=['role'])

  Cette fonction renvoie les num_rows premières lignes de l'ensemble de données dans une DataFramepandas.

  Paramètres :

  • num_rows : (Facultatif) Nombre de lignes à extraire.

  • display_options: (Facultatif) L'en-tête de colonne peut afficher des informations supplémentaires pour une colonne de votre ensemble de données.

    Utilisez ces options pour afficher les attributs de fonction:

    • role: affiche le rôle d'une fonction pour cette colonne.
    • description: affiche la description d'une fonction pour cette colonne.
    • recipe: affiche la recette d'une fonction pour cette colonne.

Obtention d'informations sur l'équité

Vous pouvez extraire les informations d'équité de toutes les fonctions de votre cadre d'actif sous la forme d'un dictionnaire Python . Cela inclut toutes les fonctions contenant des groupes surveillés ou de référence (ou les deux) en tant qu'attributs protégés et la fonction cible avec des libellés favorables ou défavorables.

Si le type de données d'une colonne contenant des informations d'équité est numérique, les valeurs des libellés et des groupes sont transformées en valeurs numériques si possible.

Les informations d'équité peuvent être utilisées directement dans AutoAI ou AI Fairness 360 .

Vous pouvez utiliser la fonction suivante pour extraire les informations d'équité de votre cadre d'actif:

• get_fairness_info(target=None)

  Cette fonction renvoie un dictionnaire Python avec des libellés favorables et défavorables de la colonne cible et des attributs protégés avec des groupes surveillés et des groupes de référence.

  Paramètres :

  • target: (Facultatif) La fonction cible. S'il n'existe qu'une seule fonction avec le rôle Target, elle est utilisée automatiquement.

    Exemple montrant comment extraire des informations d'équité:

    af.get_fairness_info()
    

    Sortie affichant les informations d'équité:

    {
    'favorable_labels': ['No Risk'],
    'unfavorable_labels': ['Risk'],
    'protected_attributes': [
        {'feature': 'Sex',
        'monitored_group': ['female'],
        'reference_group': ['male']},
        {'feature': 'Age',
        'monitored_group': [[0.0, 25]],
        'reference_group': [[26, 80]]
        }]
    }
    

Enregistrement des informations de groupe de fonctions

Une fois que vous avez complètement spécifié ou mis à jour vos fonctions, vous pouvez sauvegarder l'ensemble de la définition de groupe de fonctions en tant que métadonnées pour votre actif de données.

Si vous avez créé l'asset frame à partir d'un pandas DataFrame,, un nouvel asset sera créé dans le stockage du projet avec le nom de l'asset frame.

Vous pouvez utiliser la méthode suivante pour stocker les informations de votre groupe de fonctions:

• to_data_asset(overwrite_data=False)

  Cette méthode sauvegarde les informations de groupe de fonctions dans les métadonnées d'actifs. Il crée un nouvel actif de données, si le cadre d'actif a été créé à partir d'un DataFramepandas.

  Paramètres :

  • overwrite_data: (Facultatif) Ecrase également le contenu de l'actif avec les données du cadre de l'actif. La valeur par défaut est False.

En savoir plus

Voir l'exemple de projet Création et utilisation de données de magasin de fonctions dans le concentrateur de ressources.

Rubrique parent : Chargement et accès aux données dans un bloc-notes