Gestion des importations de métadonnées

Vous pouvez importer des métadonnées Technique associées aux actifs de données de votre organisation dans un projet ou un catalogue pour répertorier, évaluer et cataloguer ces actifs.

Les métadonnées techniques décrivent la structure des objets de données. Ces métadonnées aident les utilisateurs à déterminer si les données sont appropriées pour la tâche en cours et s'ils peuvent faire confiance aux données et à décider de la méthode à utiliser pour gérer les données.

Les métadonnées que vous importez peuvent ensuite être enrichies avec d'autres informations pour aider les utilisateurs à trouver des données plus rapidement et à les utiliser en toute confiance. Ces informations sont notamment des termes qui définissent la signification des données, des règles qui documentent la propriété ou déterminent des normes de qualité, ou des révisions.

Lorsque vous importez des métadonnées, vous ajoutez des actifs de données à un projet ou à un catalogue. Si vous importez les actifs dans un projet, ils ne sont pas visibles dans un catalogue tant que vous ne les publiez pas. Une fois que vous avez partagé ces actifs avec un catalogue, les autres utilisateurs du catalogue peuvent les utiliser.

Droits requis Pour créer et exécuter une importation de métadonnées, vous devez disposer du rôle Admin ou Éditeur dans le projet. Pour importer des métadonnées dans un catalogue, vous devez également avoir le rôle Admin ou Éditeur dans le catalogue auquel vous souhaitez importer.

Présentation de l'importation de métadonnées

{: #metadata-import-overview}L'importation de métadonnées implique le processus suivant :

  • Identifiez la source de données à partir de laquelle vous souhaitez effectuer l'importation. Il se peut qu'une connexion à cette source de données soit déjà définie. Sinon, vérifiez que vous disposez des données d'identification pour vous connecter à cette source de données. Pour obtenir la liste des connexions prises en charge, voir étape 4 des instructions d'ajout d'un actif d'importation de métadonnées.
  • Dans un projet, créez un actif d'importation de métadonnées pour configurer les détails d'importation, tels que la portée et la cible de l'importation et la planification du travail d'importation.
  • Importez des actifs dans le projet ou le catalogue. Lorsque vous accédez à un actif de données importé, les données sont extraites dynamiquement de la source de données.
  • Analysez et prévisualisez les métadonnées importées et partagez-les avec le catalogue si vous avez importé les métadonnées dans un projet. Vous pouvez créer des profils pour des actifs individuels un à la fois à partir de l'onglet Profil de chaque actif. Vous pouvez également créer des profils pour plusieurs actifs de données en parallèle et y ajouter un contexte métier en créant et en exécutant un Actif d'enrichissement de métadonnées.

Regardez cette courte vidéo pour voir comment importer des métadonnées d'actif à partir d'une source externe dans un projet Watson Studio.

Cette vidéo constitue une alternative visuelle aux procédures figurant dans cette documentation.

Création d'un actif d'importation de métadonnées et importation de métadonnées

{: #create-metadata-import-job} Pour créer un actif d'importation de métadonnées et un travail d'importation de métadonnées dans un projet ou un catalogue :

  1. Ouvrez un projet et cliquez sur Nouvel actif > Importation de métadonnées. Une fois que vous avez créé la première importation de métadonnées de cette manière, vous pouvez ajouter de nouveaux actifs d'importation de métadonnées à partir de la page Actif du projet.
  2. Spécifiez un nom pour l'importation de métadonnées. Vous pouvez éventuellement fournir une description.

  3. Au besoin, sélectionnez les étiquettes à affecter à l'actif d'importation de métadonnées afin d'en simplifier la recherche. Vous pouvez créer une nouvelle étiquette en entrant son nom et en appuyant sur Entrée.

  4. Sélectionnez un actif de connexion existant comme source des données, ou cliquez sur Créer une connexion et Créer un actif de connexion.

    Vous pouvez importer des métadonnées à partir des sources de données répertoriées dans Tableau 1.

  5. Sélectionnez la cible de l'importation. Vous pouvez importer des métadonnées dans le projet dans lequel vous travaillez ou dans un catalogue. Lorsque vous choisissez d'importer des métadonnées dans un catalogue, vous pouvez sélectionner l'un des catalogues qui sont à votre disposition.

    Importez les métadonnées dans un projet pour analyse avant de déterminer les actifs qui seront partagés avec un catalogue pour que d'autres utilisateurs puissent les utiliser. Si vous connaissez bien le contenu des actifs de données, vous pouvez importer leurs métadonnées directement dans le catalogue.

  6. Cliquez sur Suivant.

  7. Définissez une portée pour l'importation de métadonnées. Selon la taille et le contenu de votre source de données, vous ne souhaiterez peut-être pas importer tous les actifs, mais un sous-ensemble sélectionné. Vous pouvez inclure des schémas ou dossiers complets, ou passer au niveau inférieur vers des tables ou fichiers individuels. Lorsque vous sélectionnez un schéma ou un dossier, vous pouvez immédiatement voir le nombre d'éléments qu'il contient. Ainsi, vous pouvez décider si vous souhaitez inclure tout l'ensemble ou si un sous-ensemble est plus approprié.

    1. Sélectionnez les éléments que vous voulez inclure dans l'importation. Lorsque vous avez terminé, cliquez sur Sélectionner.
    2. Vérifiez la portée sélectionnée. Vous pouvez supprimer directement des actifs de la portée de données ou retravailler la portée entière en cliquant sur Éditer la portée des données.
    3. Lorsque vous avez terminé d'affiner la portée des données, cliquez sur Suivant.
  8. Indiquez si vous souhaitez exécuter des travaux d'importation planifiés. Si vous ne définissez pas de calendrier, vous exécutez l'importation lorsque vous enregistrez l'actif d'importation de métadonnées. Vous pouvez réexécuter l'importation manuellement à tout moment.

    Si vous choisissez d'exécuter l'importation selon une planification spécifique, définissez la date et l'heure de l'exécution du travail. Vous pouvez planifier des exécutions uniques et récurrentes. Si vous planifiez une exécution unique, le travail s'exécutera exactement une fois le jour et à l'heure spécifiés. Si vous programmez des exécutions récurrentes, le travail sera exécuté pour la première fois à l'heure indiquée dans la section Répétition .

    Vous pouvez éventuellement modifier le nom du travail d'importation. Le nom par défaut est le travail Nom_importation_métadonnées.

    Vous pouvez ensuite accéder au travail d'importation que vous créez à partir de l'actif d'importation de métadonnées ou à partir de la page Travaux du projet. Voir Travaux.

  9. Passez en revue la configuration de l'importation de métadonnées. Pour apporter des modifications, cliquez sur l'icône d'édition (Icône d'édition) sur le carreau et mettez à jour les paramètres.

  10. Cliquez sur Créer. L'actif d'importation des métadonnées est ajouté au projet et un travail d'importation de métadonnées est créé. Si vous n'avez pas configuré de planification, l'importation est exécutée immédiatement. Si vous avez configuré un planning, l'importation s'exécutera sur le planning défini.

    Les actifs Important : de la même connexion qui ont déjà été importés via une importation de métadonnées différente ne sont pas importés à nouveau mais sont mis à jour. Ces actifs ne s'affichent plus dans l'importation de métadonnées initiale. Seule l'importation de métadonnées d'exécution la plus récente contient les actifs.

Pour profiler, analyser et fournir un contexte commercial aux ressources importées, créez une ressource d'enrichissement des métadonnées et incluez la ressource d'importation des métadonnées dans la portée des données.

Tableau 1. Importer des connexions

IBM Tiers
Analytics Engine HDFS
Cloud Object Storage
Compose for MySQL
Data Virtualization Manager for z/OS¹
Databases for MongoDB
Databases for PostgreSQL
Bd2
Db2 Big SQL
Db2 pour i
Db2 for z/OS
Db2 hébergée
Db2 sur Cloud
Entrepôt Db2
Informix
Netezza Performance Server
SQL Query







Amazon RDS pour MySQL
Amazon RDS pour PostgreSQL
Amazon S3²
Apache HDFS
Apache Cassandra
Apache Hive
Encadré
Cloudera Impala
Generic S3
Google BigQuery²
Greenplum
Base de données MariaDB
Magasin de données Microsoft Azure
Microsoft Azure SQL Database
Microsoft SQL Server
MongoDB
MySQL
Oracle
PostgreSQL
Salesforce.com
SAP ASE
SAP IQ
Snowflake
Teradata

{: caption="Connexions prises en charge pour l'importation des métadonnées" caption-side="top"}{: #import-conns}

Remarques :

¹ Avec Data Virtualization Manager for z/OS, vous pouvez ajouter des actifs de données et de fichiers de stockage COBOL depuis des grands systèmes à des catalogues dans IBM Cloud Pak for Data. Les fichiers de stockage sont des fichiers qui décrivent la structure de données d'un programme COBOL. Data Virtualization Manager for z/OS vous aide à créer des tables virtuelles et des vues à partir de mappes de fichiers de stockage COBOL. Vous pouvez ensuite utiliser ces tables virtuelles et ces vues pour importer et cataloguer des données de grand système à partir de grands systèmes dans IBM Cloud Pak for Data sous la forme d'actifs de données et d'actifs de fichier de stockage COBOL.

Les types de mappe suivants ne sont pas importés : ACI, Catalogue, Naturel

Restriction : Vous ne pouvez pas importer des fichiers de stockage COBOL de plus de 1 Mo.

Lorsque l'importation est terminée, vous pouvez accéder au catalogue pour passer en revue les actifs importés, y compris les mappes de fichiers de stockage COBOL, les tables virtuelles et les vues. Vous pouvez utiliser ces actifs de la même manière que d'autres actifs dans Cloud Pak for Data.

Pour plus d'informations, voir Ajout d'actifs de copybook COBOL.

² Ce type de connexion doit être créé au niveau projet, puis sélectionné dans la liste de connexions existantes lorsque vous créez une importation de métadonnées. Vous ne pouvez pas créer ce type de connexion à partir de l'importation de métadonnées.

Affichage de l'importation de métadonnées

Les ressources d'importation de métadonnées {: #view-metadata-import} sont répertoriées dans la section Importations de métadonnées de la page Actifs. Pour afficher un actif, cliquez sur son nom ou sélectionnez Afficher dans le menu d'action de l'actif.

Lorsque vous affichez l'actif d'importation de métadonnées, vous pouvez voir la liste des actifs importés avec une exécution du travail d'importation associé. Vous pouvez travailler sur ces actifs, éditer l'importation de métadonnées ou réexécuter l'importation.

Pour chaque actif importé, vous pouvez voir les informations suivantes :

  • Type de données, tel que text/csv.
  • Le contexte de l'actif, tel que le parent ou le chemin du fichier.
  • La date et l'heure de la dernière importation de l'actif.
  • Statut d'importation, qui peut être Imported pour les données importées, In progressou Removed, si l'actif n'a pas pu être réimporté. Voir Réexécution de l'importation.

Vous pouvez voir d'autres informations pour un actif, le publier dans un catalogue ou le supprimer. Lorsque vous supprimez un actif de la liste des actifs importés, il est supprimé du projet ou du catalogue auquel il a été importé mais pas de la portée d'importation des métadonnées.

Lorsque vous réimportez des actifs, les actifs sont actualisés. Les actifs existants sont mis à jour, ce qui signifie que les modifications de contenu sont fusionnées. Les nouveaux actifs contenus dans la source de données peuvent être ajoutés, en fonction de la portée définie. Si vous avez retiré un actif de l'actif d'importation de métadonnées, du projet ou du catalogue, l'actif en question est réimporté sauf si vous l'avez retiré de la portée. Les actifs supprimés de la portée de données ou supprimés de la source de données après la dernière importation ne peuvent pas être réimportés et ont le statut Removed.

Vous pouvez gérer les actifs de données importés de la même manière que les actifs de données connectés. Les actifs importés ont une étiquette automatiquement affectée qui reflète le parent de l'actif, le cas échéant.

Pour afficher les détails de l'actif d'importation de métadonnées, cliquez sur l'icône d'information. Pour modifier l'actif d'importation des métadonnées, cliquez sur Éditer l'importation des métadonnées. Vous pouvez modifier les paramètres de configuration suivants :

  • Les détails de l'actif comme son nom, sa description ou ses étiquettes. Notez que le fait de modifier le nom de l'actif n'entraîne pas la modification du nom du travail d'importation qui lui est associé. Vous ne pouvez pas changer la connexion ni la cible de l'importation.
  • La portée de données.
  • La planification.

Réexécution de l'importation

{: #rerun-metadata-import}Si vous n'avez pas configuré une planification, vous pouvez réexécuter manuellement l'importation de métadonnées à tout moment de plusieurs manières :

  • Ouvrez l'actif d'importation des métadonnées et sélectionnez Réimporter les actifs.
  • Ouvrez l'actif d'importation de métadonnées et cliquez sur le nom du travail sous le nom de l'actif. La page du travail s'affiche. Cliquez sur l'icône d'exécution sur cette page.
  • Accédez à la page Travaux du projet et exécutez le travail d'importation à partir de là.

La réimportation actualise les actifs. Les actifs existants sont mis à jour, ce qui signifie que les modifications de contenu sont fusionnées. Les nouveaux actifs contenus dans la source de données peuvent être ajoutés, en fonction de la portée définie. Si vous avez retiré un actif de l'actif d'importation de métadonnées, du projet ou du catalogue, l'actif en question est réimporté sauf si vous l'avez retiré de la portée. Les actifs supprimés de la portée des données après la dernière importation ne peuvent pas être réimportés et ont le statut Outdated. Les actifs qui ont été supprimés de la source de données après la dernière importation ne peuvent pas non plus être réimportés et ont le statut Removed.

Suppression d'un actif d'importation de métadonnées

Vous pouvez supprimer un actif d'importation de métadonnées d'un projet. Sélectionnez l'option Supprimer dans le menu d'action en regard de l'actif sur la page Actifs du projet. La configuration d'importation de métadonnées et le travail d'importation de métadonnées associé sont supprimés. Les actifs du projet ou d'un catalogue qui ont été importés avec l'actif d'importation de métadonnées ne sont pas affectés.

En savoir plus

Etapes suivantes

Rubrique parent : Curation des données