Data Refinery prend en charge les catégories d'opérations d'interface graphique suivantes.
Cliquez sur Nouvelle étape pour sélectionner une opération d'interface graphique.
Un sous-ensemble des opérations est disponible à partir de l'icône Dépassement de chaque colonne . Vous pouvez renommer une colonne en cliquant sur l'icône Editer dans l'en-tête de colonne.
Convertir le type de colonne
Lorsque vous ouvrez un fichier dans Data Refinery, l'opération Convertir le type de colonne est automatiquement appliquée comme première étape si elle détecte des types de données non chaîne dans les données. Les types de données sont automatiquement convertis en types de données induits. Pour modifier la conversion automatique d'une colonne sélectionnée, cliquez sur l'icône Dépassement de l'étape et sélectionnez Editer. Comme pour toute autre opération, vous pouvez annuler l'étape. L'opération Convertir le type de colonne est appliquée à chaque fois que vous ouvrez le fichier dans Data Refinery. La conversion automatique est appliquée si nécessaire pour les sources de données basées sur des fichiers uniquement. (Elle ne s'applique pas à une source de données provenant d'une connexion de base de données.)
Pour confirmer le type de données dans lequel les données de chaque colonne ont été converties, sélectionnez Editer à partir de l'icône Débordement pour afficher les types de données. Les informations incluent le format des données de date ou d'horodatage.
Si les données sont converties en un type Entier ou Décimal, vous pouvez spécifier les caractères séparateur décimal et séparateur de milliers à utiliser dans toutes les colonnes concernées. Les chaînes converties en type Décimal utilisent le point comme séparateur décimal et la virgule comme séparateur de milliers (format anglo-saxon). Vous pouvez sinon opter pour la virgule comme séparateur décimal et le point ou un autre symbole ou caractère comme séparateur de milliers. Le symbole décimal et le séparateur de milliers ne peuvent pas être les mêmes.
Les données source sont lues de gauche à droite jusqu'à ce qu'un caractère de
terminaison ou un caractère non reconnu soit rencontré. Par exemple, si vous convertissez les données de chaîne 12,834
en décimal et que vous ne spécifiez pas ce qu'il faut faire avec la virgule (,), les données seront tronquées à 12
. De la même manière, si la donnée source contient plusieurs points (.) et que vous choisissez le point comme caractère séparateur décimal,
le premier point dans la donnée sera interprété comme le séparateur décimal et la donnée sera tronquée à partir des chiffres suivant le second point. Une chaîne source de 1.834.230,000
est convertie en valeur 1.834
.
L'opération Convertir le type de colonne convertit automatiquement ces formats de date et d'horodatage :
- Date :
ymd
,ydm
- Horodatage :
ymdHMS
,ymdHM
,ydmHMS
,ydmHM
Les chaînes de date et d'horodatage doivent utiliser quatre chiffres pour l'année.
Vous pouvez appliquer manuellement l'opération Convertir le type de colonne pour modifier le type de données d'une colonne à n'importe quel point du flux de Data Refinery. Vous pouvez créer une nouvelle colonne pour y placer le résultat de cette opération ou vous pouvez écraser la colonne existante.
Astuce: Le type de données d'une colonne détermine les opérations que vous pouvez utiliser. Le fait de changer son type de données peut avoir un impact sur la nature des opérations pertinentes pour cette colonne.
Vidéo : Opération 'Convertir le type de colonne'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Convertir le type de colonne convertit automatiquement la première colonne de Chaîne en Entier. Vous pouvez modifier les types de données des trois autres colonnes.
- Pour modifier le type de données de la colonne européenne de Chaîne en Décimale, sélectionnez la colonne, puis modifiez l'étape de l'opération Convertir le type de colonne.
- Pour modifier le type de données de la colonne européenne de Chaîne en Décimale, sélectionnez la colonne, puis modifiez l'étape de l'opération Convertir le type de colonne.
- Sélectionnez Décimale.
- La colonne utilise la virgule comme délimiteur ; sélectionnez donc Virgule (,) pour le symbole décimal.
- Sélectionnez la colonne suivante, DATETIME. Sélectionnez Horodatage et un format.
- Cliquez sur Postuler (Apply).
- Les colonnes sont maintenant des types de données Entier, Décimale, Date et Horodatage. L'étape Convertir le type de colonne dans le panneau Etapes est mise à jour.
Convertir la valeur de colonne en manquante
Convertir les valeurs de la colonne sélectionnée en valeurs manquantes si elles correspondent à des valeurs dans la colonne spécifiée ou qu'elles correspondent à une valeur spécifiée.
Vidéo : Opération 'Convertir une valeur de colonne en valeur manquante'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Convertir une valeur de colonne en valeur manquante convertit les valeurs d'une colonne sélectionnée en valeurs manquantes si elles correspondent aux valeurs d'une colonne spécifiée ou si elles correspondent à une valeur spécifiée.
- Une valeur manquante équivaut à une valeur NULL SQL, qui est une zone sans valeur. Elle est différente d'une valeur zéro ou d'une valeur contenant des espaces.
- Vous pouvez utiliser la valeur de l'opération Convertir une valeur de colonne en valeur manquante lorsque vous pensez que les données seraient mieux représentées comme valeurs manquantes. Par exemple, lorsque vous souhaitez utiliser des valeurs manquantes dans une opération Remplacer les valeurs manquantes ou dans une opération Filtrer.
- Utilisez la valeur de l'opération Convertir une valeur de colonne en valeur manquante pour modifier les valeurs en valeurs manquantes en fonction d'une valeur correspondante.
- Il est noter que la colonne DESC comporte de nombreuses lignes dont la valeur est CANCELLED ORDER. Convertissez les chaînes CANCELLED ORDER en valeurs manquantes.
- L'opération Convertir une valeur de colonne en valeur manquante figure sons la catégorie CLEANSE.
- Entrez la chaîne à remplacer par des valeurs manquantes.
- Les valeurs qui étaient précédemment CANCELLED ORDER sont désormais des valeurs manquantes.
Extraire la valeur de date ou d'heure
Extraire une partie sélectionnée d'une valeur de date ou d'heure d'une colonne avec un type de données de date ou d'horodatage.
Vidéo : Opération 'Extraire la valeur de date ou d'heure'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Extraire la valeur de date ou d'heure extrait la partie sélectionnée d'une valeur de date ou d'heure d'une colonne dont le type de données est date ou horodatage.
- La colonne DATE est un type de données Chaîne. Commencez par utiliser l'opération Convertir le type de colonne pour convertir le type de colonne en type de données Date.
- Sélectionnez l'opération Convertir le type de colonne dans le menu de la colonne DATE. Sélectionnez Date.
- Sélectionnez un format de date.
- La colonne DATE est désormais un type de données Date.
- Le format de date ISO est utilisé lorsque le type de données Chaîne a été converti en type de données Date. Par exemple, la chaîne 01/08/2018 a été convertie en 2018-01-08.
- A présent, vous pouvez extraire la partie année de la date dans une nouvelle colonne.
- L'opération Extraire la valeur de date ou d'heure figure sous la catégorie CLEANSE.
- Sélectionnez Année pour la partie de la date à extraire et entrez YEAR pour le nouveau nom de colonne.
- La partie année de la colonne DATE se trouve dans la nouvelle colonne, YEAR.
- Le panneau Etapes affiche l'opération Extraire la valeur d date ou d'heure.
Filtrer
Filtrer les lignes par les colonnes sélectionnées. Conservez les lignes avec les valeurs de colonne sélectionnées, filtrez toutes les autres lignes.
Pour ces opérateurs de chaîne Filtrer, ne mettez pas la valeur entre guillemets. Si la valeur contient des guillemets, mettez une barre oblique. Par exemple : \"text\"
- Contient
- Ne contient pas
- Commence par
- Ne commence pas par
- TERMINER AVEC
- Ne se termine pas par
Ce qui suit est les opérateurs pour les colonnes numériques, de chaîne et booléennes (logiques), ainsi que pour les colonnes de date et d'horodatage :
Opérateur | Numérique | Chaîne | Booléen | Date et horodatage |
---|---|---|---|---|
Contient | ✓ | |||
Ne contient pas | ✓ | |||
Ne se termine pas par | ✓ | |||
Ne commence pas par | ✓ | |||
Se termine par | ✓ | |||
Est compris entre deux numéros | ✓ | |||
Est vide | ✓ | ✓ | ✓ | |
Est égal à | ✓ | ✓ | ✓ | |
Est faux | ✓ | |||
Est supérieure à | ✓ | ✓ | ||
Est supérieur ou égal à | ✓ | ✓ | ||
Est dans | ✓ | ✓ | ||
Est inférieur à | ✓ | ✓ | ||
Est inférieur ou égal à | ✓ | ✓ | ||
N'est pas vide | ✓ | ✓ | ✓ | |
N'est pas égal à | ✓ | ✓ | ✓ | |
N'est pas dans | ✓ | ✓ | ||
N'est pas null | ✓ | |||
Est null | ✓ | ✓ | ||
Est vrai | ✓ | |||
Commence par | ✓ |
Vidéo : Opération Filtrer
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- Utilisez l'opération Filtrer pour filtrer les lignes en fonction des colonnes sélectionnées. Vous pouvez appliquer plusieurs conditions en une seule opération Filtrer.
- Utilisez une expression régulière pour filtrer toutes les lignes, à l'exception de celles sur lesquelles la chaîne de la colonne Emp ID commence par 8.
- Filtrez les lignes en fonction de deux abréviations d'état.
- Cliquez sur Postuler (Apply). Seules les lignes sur lesquelles ID Emp commence par 8 et dont l'état est AR ou TX figurent dans la table.
- Les lignes sont désormais filtrées par AR et PA. L'étape Filtrer dans le panneau Etapes est mise à jour.
Supprimer la colonne
Supprimer la colonne sélectionnée.
Vidéo : opération de suppression de colonne
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- Utilisez l'opération Supprimer une colonne pour supprimer rapidement une colonne d'un actif de données.
- Le moyen le plus rapide de supprimer une colonne est à partir du menu de la colonne.
- Le nom de la colonne supprimée se trouve dans le panneau Etapes.
- Supprimez une autre colonne.
- Le nom de la colonne supprimée se trouve dans le panneau Etapes.
Supprimer les doublons
Retirer des lignes avec des valeurs de colonne en double.
Vidéo : Opération 'Retirer les doublons'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Retirer les doublons supprime les lignes comportant des valeurs de colonne en double.
- L'ensemble de données comporte 43 lignes. De nombreuses lignes de la colonne APPLYCODE comportent des valeurs en double. Nous voulons réduire l'ensemble de données aux lignes sur lesquelles chaque valeur de la colonne APPLYCODE ne se produit qu'une seule fois.
- Sélectionnez l'opération Retirer les doublons dans le menu de la colonne APPLYCODE.
- L'opération Supprimer les doublons a supprimé chaque occurrence d'une valeur en double. L'ensemble de données comporte désormais 4 lignes.
Supprimer les lignes vides
Retirer les lignes dont la valeur est vide ou manquante pour la colonne sélectionnée.
Vidéo : Opération 'Retirer les lignes vides'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Retirer les lignes vides supprime les lignes comportant une valeur à blanc ou manquante pour la colonne sélectionnée.
- Une valeur manquante équivaut à une valeur NULL SQL, qui est une zone sans valeur. Elle est différente d'une valeur zéro ou d'une valeur contenant des espaces.
- L'ensemble de données comporte 43 lignes. De nombreuses lignes de la colonne TRACK comportent des valeurs manquantes. Nous voulons réduire l'ensemble de données aux lignes comportant une valeur dans la colonne TRACK.
- Sélectionnez l'opération Retirer les lignes vides dans le menu de la colonne TRACK.
- L'opération Retirer les lignes vides a supprimé chaque ligne comportant une valeur à blanc ou manquante dans la colonne TRACK. L'ensemble de données comporte désormais 21 lignes.
Remplacez les valeurs manquantes
Remplacez les valeurs manquantes dans la colonne par une valeur spécifiée ou avec la valeur d'une colonne spécifiée dans la même ligne.
Vidéo : Opération 'Remplacer les valeurs manquantes'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Remplacer les valeurs manquantes remplace les valeurs manquantes dans une colonne par une valeur spécifiée ou par la valeur d'une colonne spécifiée sur cette même ligne.
- La colonne STATE contient de nombreuses lignes comportant des valeurs vides. Nous voulons remplacer ces valeurs vides par une chaîne.
- L'opération Remplacer les valeurs manquantes figure sons la catégorie CLEANSE.
- Pour la colonne Etat, remplacez les valeurs manquantes par la chaîne Incomplete.
- Les valeurs manquantes comportent maintenant la valeur Incomplete.
- Le panneau Etapes affiche l'opération Remplacer les valeurs manquantes.
Remplacez la sous-chaîne
Remplacez la sous-chaîne spécifiée par le texte spécifié.
Vidéo : Opération 'Remplacer une sous-chaîne'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Remplacer une sous-chaîne remplace une sous-chaîne par du texte que vous spécifiez.
- La colonne DECLINE comporte de nombreuses lignes incluant la chaîne BANC. Nous voulons remplacer cette chaîne par BANK.
- L'opération Remplacer une sous-chaîne figure sons la catégorie CLEANSE.
- Entrez la chaîne à remplacer et la chaîne de remplacement.
- Toutes les occurrences de la chaîne BANC ont été remplacées par BANK.
- Le panneau Etapes affiche l'opération Remplacer une sous-chaîne.
Substituer
Rendez illisible les informations sensibles de la vue en substituant une chaîne aléatoire de caractères pour les données réelles dans la colonne sélectionnée.
Vidéo : Opération Substituer
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Substituer dissimule les informations sensibles en remplaçant les données par une chaîne de caractères aléatoire dans la colonne sélectionnée.
- Le moyen le plus rapide de remplacer les données dans une colonne est de sélectionner Substituer dans le menu de la colonne.
- L'opération Substituer s'affiche dans le panneau Etapes.
- Remplacez les valeurs d'une autre colonne.
- La seconde opération Substituer s'affiche dans le panneau Etapes.
Texte
Vous ne pouvez appliquer des opérations textuelles qu'à des colonnes contenant des chaînes. Vous pouvez créer une nouvelle colonne pour héberger le résultat d'une opération ou vous pouvez remplacer la colonne existante.
Texte > Réduire les espaces
Réduisez plusieurs espaces consécutifs dans le texte à un seul espace.
Texte > Chaîne de concaténation
Associez une chaîne quelconque au texte. Vous pouvez ajouter la chaîne au début du texte et/ou ajouter la chaîne au texte.
Texte > minuscule
Convertissez le texte en minuscules.
Texte > Nombre de caractères
Renvoyez le nombre de caractères dans le texte.
Texte > caractères de remplissage
Extrayez le texte avec la chaîne spécifiée. Indiquez si vous souhaitez remplir le texte à gauche, à droite ou à gauche et à droite.
Texte > Sous-chaîne
Créez des sous-chaînes à partir du texte qui commence à la position spécifiée et avec une longueur spécifiée.
Texte > Titre du titre
Convertissez le texte en dossier de titre.
Texte > Guillemets
Supprimez les guillemets simples ou doubles du texte.
Texte > espaces
Supprimez les espaces de début, de fin et d'appoint à partir du texte.
Texte > Majuscule
Convertissez le texte en majuscules.
Vidéo : Opération Texte
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- Vous ne pouvez appliquer une opération Texte à des colonnes contenant des chaînes. Créez une colonne pour le résultat ou remplacez la colonne existante.
- Commencez par concaténer une chaîne aux valeurs de la colonne WORD.
- Opérations Texte disponibles.
- Concaténez la chaîne à droite, ajoutez un espace et tapez up.
- Les valeurs de la colonne WORD sont ajoutées avec un espace et le mot up.
- L'opération Texte s'affiche dans le panneau Etapes.
- Ensuite, remplissez les valeurs de la colonne ANIMAL à l'aide d'une chaîne.
- Remplissez les valeurs de la colonne ANIMAL à l'aide de perluètes (&) à droite pour un minimum de 7 caractères.
- Les valeurs de la colonne ANIMAL sont remplies à l'aide du symbole & de sorte que chaque chaîne contient au moins sept caractères.
- Il est à noter que les valeurs opossum, pangolin, platypus et hedgehog n'ont pas de caractère de remplissage car ces chaînes comportent déjà au moins sept caractères.
- Ensuite, utilisez Sous-chaîne pour supprimer le caractère t de la colonne ID.
- Sélectionnez Position 2 pour lancer la nouvelle chaîne à cette position. Sélectionnez Longueur 4 pour une chaîne de quatre caractères.
- Le caractère t initial dans la colonne ID est supprimé dans la colonne NEW-ID.
DE CALCUL
Calculer
Effectuez un calcul avec une autre colonne ou avec une valeur spécifiée. Les opérateurs sont les suivants :
- Ajout
- Département
- Élévation à une puissance
- Est compris entre deux numéros
- Est égal à
- Est supérieure à
- Est supérieur ou égal à
- Est inférieur à
- Est inférieur ou égal à
- N'est pas égal à
- Modulo
- Multiplication
- Soustraction
Vidéo : Opération Calculer
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Calculer effectue un calcul, tel que l'addition ou la soustraction, avec une autre colonne ou avec une valeur spécifiée.
- Sélectionnez la colonne pour commencer.
- Calculs disponibles
- A présent, sélectionnez la deuxième colonne pour le calcul Addition.
- Appliquez ensuite la modification.
- La colonne d'ID est mise à jour et le panneau Etapes affiche l'opération terminée.
- Vous pouvez également accéder aux opérations à partir du menu de la colonne.
- A présent, sélectionnez Is between two numbers. Définissez la plage et créez une nouvelle colonne pour les résultats.
- La nouvelle colonne s'affiche dans la table et la nouvelle opération de calcul s'affiche dans le panneau Etapes.
- A présent, sélectionnez Is equal to pour comparer deux colonnes, puis créez une colonne pour les résultats.
- La nouvelle colonne s'affiche dans la table et la nouvelle opération de calcul s'affiche dans le panneau Etapes.
Mathématiques
Vous pouvez appliquer des opérations mathématiques uniquement à des colonnes numériques. Vous pouvez créer une nouvelle colonne pour héberger le résultat d'une opération ou vous pouvez remplacer la colonne existante.
Mathématiques> Valeur absolue
Obtenez la valeur absolue d'un nombre.
Exemple : La valeur absolue de 4 et de -4 est 4.
Mathématiques > Arc cosinus
Récupérez l'arc cosinus d'un angle.
Mathématiques > plafond
Obtenir l'entier le plus proche de la valeur supérieure, également connu sous le nom de plafond du nombre.
Exemples : Le plafond de 2,31 est 3. Le plafond de -2,31 est -2.
Mathématiques > Exposant
Obtenez un nombre élevé à la puissance de la valeur de colonne.
Mathématiques > Plancher
Obtenez l'entier le plus proche de la valeur inférieure, également connu sous le nom de plancher du nombre.
Exemple : Le plancher de 2,31 est 2. Le plancher de -2,31 est -3.
Mathématiques > Cycle
Obtenez du nombre entier le plus proche de la valeur de la colonne. Si la valeur de colonne est un nombre entier, il est renvoyé.
Maths > Racine carrée
Récupérez la racine carrée de la valeur de la colonne.
Vidéo : Opération mathématique
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- Appliquez une opération mathématique aux valeurs d'une colonne. Créez une colonne pour les résultats ou remplacez la colonne existante.
- Opérations mathématiques disponibles
- Appliquer une valeur absolue aux valeurs de la colonne.
- Créez une colonne pour les résultats.
- La nouvelle colonne s'ajoute à la table et l'opération mathématique s'affiche dans le panneau Etapes.
- Vous pouvez également accéder à l'opération à partir du menu de la colonne.
- Appliquer un arrondi aux valeurs de la colonne ANGLE.
- Créez une colonne pour les résultats.
- La nouvelle colonne s'ajoute à la table et la nouvelle opération mathématique s'affiche dans le panneau Etapes.
ORGANISATION
Agrégat
Appliquer les calculs récapitulatifs aux valeurs d'une ou de plusieurs colonnes. Chaque regroupement crée une nouvelle colonne. Vous pouvez également sélectionner les groupes par colonnes pour regrouper la nouvelle colonne par une autre colonne qui définit une caractéristique du groupe, par exemple un département ou un ID. Vous pouvez regrouper plusieurs colonnes. Vous pouvez combiner plusieurs agrégations en une seule opération.
Les opérations d'agrégation disponibles dépendent du type de données.
Données numériques :
- Compter les valeurs uniques
- Minimum
- Valeur maximale
- Somme
- Ecart type
- Moyenne
Données de chaîne :
- Combiner les valeurs de ligne
- Compter les valeurs uniques
Vidéo : Opération Agréger
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Agréger applique des calculs récapitulatifs aux valeurs d'une ou plusieurs colonnes. Chaque regroupement crée une nouvelle colonne.
- Les agrégations disponibles varient selon si les données sont des données de type numérique ou chaîne.
- Les opérateurs disponibles sont fonction du type de données de la colonne. Opérateurs disponibles pour les données numériques.
- Lorsque la colonne de texte UniqueCarrier est sélectionnée, vous pouvez voir les opérateurs disponibles pour les données de type chaîne.
- Nous allons compter le nombre de valeurs uniques dans la colonne UniqueCarrier. Cette agrégation va afficher le nombre de compagnies aériennes dans l'ensemble de données.
- Nous avons 22 compagnies aériennes dans la nouvelle colonne des compagnies aériennes. Les autres colonnes sont supprimées.
- L'opération Agréger s'affiche dans le panneau Etapes.
- Recommençons l'opération pour montrer une agrégation sur les données numériques.
- Afficher la moyenne des retards à l'arrivée.
- La valeur moyenne de tous les retards à l'arrivée se trouve dans la nouvelle colonne MeanArrDelay. Les autres colonnes sont supprimées.
- Vous pouvez également regrouper la colonne agrégée avec une autre colonne qui définit une caractéristique du groupe.
- Modifiez l'étape Agréger en ajoutant un choix de regroupement, afin de voir la moyenne des retards à l'arrivée par ligne aérienne.
- Regroupez les résultats en fonction de la colonne UniqueCarrier.
- Les retards à l'arrivée moyens sont maintenant regroupés par compagnie aérienne.
- Le panneau Etapes affiche l'opération Agréger.
Concaténation
Concaténez les valeurs de deux colonnes ou plus.
Vidéo : Opération Concaténer
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Concaténer concatène les valeurs d'au moins deux colonnes.
- L'opération Concaténer se trouve sous la catégorie ORGANIZE.
- Sélectionnez les colonnes à concaténer.
- Sélectionnez un séparateur à utiliser entre les valeurs concaténées.
- Entrez un nom pour la colonne des valeurs concaténées.
- La nouvelle colonne peut s'afficher en tant que colonne la plus à droite dans le jeu de données ou en regard de la colonne d'origine.
- Conservez les colonnes d'origine et appliquez les modifications.
- La nouvelle colonne DATE affiche les valeurs concaténées des trois autres colonnes avec un séparateur de point-virgule.
- L'opération Concaténer s'affiche dans le panneau Etapes.
- La colonne DATE est un type de données Chaîne. Utilisez l'opération Convertir le type de colonne pour convertir le type de colonne en type de données Date.
- Sélectionnez l'opération Convertir le type de colonne dans le menu de la colonne DATE. Sélectionnez Date.
- Sélectionnez un format de date et créez une colonne pour le résultat.
- Placez la nouvelle colonne en regard de la colonne d'origine et appliquez les modifications.
- La nouvelle colonne s'affiche avec le format de date converti.
- L'opération Convertir le type de colonne s'affiche dans le panneau Etapes.
- Le format de date ISO est utilisé lorsque le type de données Chaîne a été converti en type de données Date. Par exemple, la chaîne 2004;2;3 a été convertie en 2004-02-03.
Remplacer conditionnel
Remplacez les valeurs d'une colonne en fonction des conditions.
Vidéo : Opération 'Remplacement conditionnel'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Remplacement conditionnel permet de remplacer les valeurs d'une colonne en fonction des conditions.
- Commencez par définir des conditions pour remplacer les données de la colonne de type chaîne CODE, puis créez une colonne pour les résultats.
- Opérateurs de condition disponibles pour les données de type chaîne.
- Ajoutez la première condition - CONDITION 1 : CODE est égal à la valeur C ; à remplacer par COMPLETE.
- Ajoutez une deuxième condition - CONDITION 2 : CODE est égal à la valeur I ; à remplacer par INCOMPLETE.
- Indiquez ce qu'il faut faire des valeurs qui ne remplissent pas les conditions. Ici, nous allons entrer deux guillemets pour indiquer une chaîne vide.
- Créez une colonne pour les résultats.
- La nouvelle colonne STATUS indique les remplacements conditionnels à partir de la colonne CODE.
- L'opération Remplacement conditionnel s'affiche dans le panneau Etapes.
- Ensuite, définissez des conditions pour remplacer les données de la colonne de type entier INPUT, puis créez une colonne pour les résultats.
- Opérateurs de condition disponibles pour les données numériques.
- Ajoutez la première condition - CONDITION 1 : INPUT est inférieur ou égal à la valeur 3 ; à remplacer par la valeur LOW.
- Ajoutez une deuxième condition - CONDITION 2 : INPUT est compris entre les valeurs 4, 5 et 6 ; à remplacer par la valeur MED.
- Ajoutez une troisième condition - CONDITION 3 : INPUT est supérieur ou égal à la valeur 7 ; à remplacer par la valeur HIGH.
- Indiquez ce qu'il faut faire des valeurs qui ne remplissent pas les conditions.
- Créez une colonne pour les résultats.
- La nouvelle colonne RATING indique les remplacements conditionnels à partir de la colonne INPUT.
- L'opération Remplacement conditionnel s'affiche dans le panneau Etapes.
Jointure
Combiner des données à partir de deux fichiers en fonction d'une comparaison des valeurs dans les colonnes de clé spécifiées. Indiquez le type de jointure à effectuer, sélectionnez les colonnes (clés de jointure) dans les deux jeux de données à comparer et sélectionnez les colonnes de votre choix dans le jeu de données généré.
Dans les deux jeux de données, les colonnes de clé de jointure doivent être de types de données compatibles. Si l'opération de jointure est la première étape que vous ajoutez, vérifiez si l'opération Convertir le type de colonne convertit automatiquement le type de données des colonnes de clé de jointure dans le premier fichier lorsque vous avez ouvert le fichier dans Data Refinery. En outre, selon l'emplacement de l'opération de Jointure dans le flux de Dara Refinery, vous pouvez utiliser l'opération Convertir le type de colonne pour vérifier que les types de données des colonnes de clé de jointure correspondent. Cliquez sur une étape précédente dans le panneau Étapes pour afficher la vue instantanée de l'étape.
Les types de jointure sont les suivants :
Type de jointure | Descriptif |
---|---|
Jointure gauche | Renvoie toutes les lignes du jeu de données d'origine et renvoie uniquement les lignes correspondantes dans le jeu de données de jointure. Renvoie une ligne dans le jeu de données d'origine pour chaque ligne correspondante dans le jeu de données de jointure. |
Jointure droite | Renvoie toutes les lignes du jeu de données de jointure et renvoie uniquement les lignes correspondantes dans le jeu de données d'origine. Renvoie une ligne dans le jeu de données de jointure pour chaque ligne correspondante dans le jeu de données d'origine. |
Jointure interne | Renvoie uniquement les lignes de chaque jeu de données qui correspondent à des lignes dans l'autre jeu de données. Renvoie une ligne dans le jeu de données d'origine pour chaque ligne correspondante dans le jeu de données de jointure. |
Jointure complète | Renvoie toutes les lignes des deux jeux de données. Incorpore des lignes du jeu de données d'origine aux lignes correspondantes dans le jeu de données de jointure. |
Semi-jointure | Renvoie uniquement les lignes du jeu de données d'origine qui correspondent à des lignes dans le jeu de données de jointure. Renvoie une ligne dans le jeu de données d'origine pour toutes les lignes correspondantes dans le jeu de données de jointure. |
Anti-jointure | Renvoie uniquement les lignes du jeu de données d'origine qui ne correspondent pas à des lignes dans le jeu de données de jointure. |
Vidéo : Opération Effectuer une jointure
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- Le fichier customers.csv contient des informations sur les clients de votre société et le fichier sales.csv contient des informations sur les représentants commerciaux de votre société.
- Les fichiers partagent la colonne SALESREP_ID.
- Le fichier customers.csv est ouvert dans Data Refinery.
- L'opération Effectuer une jointure peut combiner les données de ces deux fichiers en fonction d'une comparaison des valeurs dans la colonne SALESREP_ID.
- Vous souhaitez effectuer une jointure interne pour renvoyer uniquement les lignes de chaque fichier qui correspondent à des lignes dans l'autre fichier.
- Vous pouvez ajouter un suffixe personnalisé pour ajouter des colonnes qui existent dans les deux fichiers pour afficher le fichier source de cette colonne.
- Sélectionnez le fichier sales.csv à joindre au fichier customers.csv.
- Pour la clé de jointure, commencez à taper le nom de la colonne pour afficher une liste filtrée. La colonne SALESREP_ID relie les deux fichiers.
- Sélectionnez ensuite les colonnes à inclure. Les colonnes en double affichent le suffixe ajouté.
- A présent, appliquez les modifications.
- L'opération Effectuer une jointure s'affiche dans le panneau Etapes.
- A présent, le fichier est enrichi à l'aide des colonnes des fichiers customers.csv et sales.csv.
Renommer la colonne
Renommez la colonne sélectionnée.
Vidéo : opération " Renommer la colonne "
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- Utilisez l'opération Renommer la colonne pour renommer rapidement une colonne.
- Le moyen le plus rapide de renommer une colonne est de modifier le nom de la colonne dans la table.
- Modifiez le nom et appuyez sur Entrée sur votre clavier.
- L'étape Renommer la colonne affiche l'ancien nom et le nouveau nom.
- A présent, renommez une autre colonne.
- Le panneau Etapes indique que la colonne BANKS a été renommée en DOGS.
- A présent, renommez la dernière colonne.
- Le panneau Etapes indique que la colonne RATIOS a été renommée en BIRDS.
Exemple
Générez un sous-ensemble de vos données à l'aide de l'une des méthodes suivantes. Les étapes d'échantillonnage à partir d'opérations d'interface utilisateur s'appliquent uniquement lorsque le flux est exécuté.
- Echantillon aléatoire : pour chaque enregistrement de données du sous-ensemble, la probabilité d'être choisi est la même.
- Exemple stratifié : Divisez les données en un ou plusieurs sous-groupes appelés Strates. Ensuite, générez un échantillon aléatoire qui contient des données de chaque sous-groupe.
Vidéo : Opération Echantillon.
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Echantillon génère un sous-ensemble de vos données.
- Utilisez l'opération Echantillon lorsque vous avez une grande quantité de données et que vous souhaitez travailler sur un échantillon représentatif pour accélérer le prototypage.
- L'opération Echantillon se trouve dans la catégorie ORGANIZE.
- Choisissez l'une des deux méthodes pour créer un échantillon.
- Avec un échantillon aléatoire, chaque ligne a une probabilité égale d'être incluse dans les données de l'échantillon.
- Vous pouvez choisir un échantillon aléatoire par nombre de lignes ou par pourcentage de données.
- Un échantillon stratifié repose sur un échantillon aléatoire. Comme pour un échantillon aléatoire, vous spécifiez la quantité de données dans l'échantillon (lignes ou pourcentage).
- Avec un échantillon stratifié, vous divisez les données en un ou plusieurs sous-groupes appelés strates. Ensuite, vous générez un échantillon aléatoire qui contient des données personnalisées provenant de chaque sous-groupe.
- Pour la méthode, si vous choisissez Automatique, vous sélectionnez une seule colonne pour les strates.
- Si vous choisissez Manuel, vous spécifiez une ou plusieurs strates et pour chaque strate, vous spécifiez des conditions de filtre définissant les lignes dans chaque strate.
- Dans cet exemple de données de compagnies aériennes, nous allons créer deux strates. La première définit 50 % des résultats indiquant les aéroports de destination New York et la seconde définit les 50 % restants indiquant une distance de vol déterminée.
- Dans la zone de spécification des détails de cette strate, entrez le pourcentage de l'échantillon qui représentera les conditions que vous spécifiez dans cette première strate. Les pourcentages de strates doivent totaliser 100 %.
- Opérateurs disponibles pour les données de type chaîne.
- 50 % de l'échantillon contient les aéroports de destination dans la région de New York.
- Cliquez sur Enregistrer pour enregistrer les premières strates.
- La première strate, désignée par Strata0, comporte une seule condition. Dans cette strate, 50 % de l'échantillon doit satisfaire à la condition.
- Dans la zone de spécification des détails de cette strate, entrez le pourcentage de l'échantillon qui représentera les conditions que vous spécifiez dans la seconde strate.
- Opérateurs disponibles pour les données numériques.
- 50 % de l'échantillon sera destiné aux vols d'une distance supérieure à 500.
- Cliquez sur Enregistrer pour enregistrer la seconde strate.
- La seconde strate, désignée par Strata1, comporte une seule condition. Dans cette strate, 50 % de l'échantillon doit satisfaire à la condition.
- Si vous utilisez plusieurs strates, l'opération Echantillon applique en interne une opération Filtrer avec une condition OR sur les strates. En fonction des données, des conditions et de la taille de l'échantillon, les résultats de l'utilisation d'une seule strate comportant plusieurs conditions peuvent différer de l'utilisation de plus strates.
- Contrairement aux autres opérations Data Refinery, l'opération Echantillon ne modifie le fichier qu'une fois que vous aurez créé et exécuté un travail pour le flux Data Refinery.
- L'étape Echantillon s'affiche dans le panneau Etapes.
- Le fichier comporte plus de 10000 lignes.
- Enregistrez et créez un travail pour le flux Data Refinery.
- Le nouveau fichier d'actifs s'ajoute au projet pour la sortie du flux Data Refinery.
- Affichez le fichier de sortie.
- Il y a 10 lignes (50 % de l'échantillon) avec les aéroports de New York dans la colonne Dest, mais 17 lignes dans la colonne Distance dont les valeurs sont supérieures à 500.
- Ces résultats s'expliquent par le fait que les strates ont été appliquées avec une condition OR et qu'il y un chevauchement de données pour les conditions spécifiées dans les premières strates dont les lignes filtrées par destination contenant les aéroports de New York avaient des valeurs de distance supérieures à 500.
- Le fichier de sortie de Data Refinery montre la taille réduite.
Tri croissant
Trier toutes les lignes de la table par la colonne sélectionnée dans l'ordre croissant.
Tri décroissant
Trier toutes les lignes de la table par la colonne sélectionnée dans l'ordre décroissant.
Vidéo: Opération de tri
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- Triez rapidement toutes les lignes d'un ensemble de données en triant les lignes dans une colonne sélectionnée.
- Le moyen le plus rapide de trier des colonnes est à partir du menu de la colonne.
- Vous pouvez trier les lignes par ordre croissant ou décroissant.
- Triez par ordre croissant.
- L'ordre de toutes les lignes de la table est mis à jour par l'opération de tri de la première colonne.
- L'opération de tri s'affiche dans le panneau Etapes.
- Triez par ordre décroissant.
- L'ordre de toutes les lignes de la table est modifié par l'opération de tri de la deuxième colonne.
- La deuxième opération de tri s'affiche dans le panneau Etapes.
- Triez par ordre croissant.
- L'ordre de toutes les lignes de la table est modifié par l'opération de tri de la troisième colonne.
- La troisième opération de tri s'affiche dans le panneau Etapes.
Diviser la colonne
Divisez la colonne par des caractères non alphanumériques, la position, le modèle ou le texte.
Vidéo : Opération 'Fractionner la colonne'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Fractionner la colonne divise une colonne en deux colonnes ou plus en fonction de caractères non alphanumériques, du texte, de motif ou de position.
- Pour commencer, fractionnez la colonne YMD en colonnes YEAR, MONTH et DAY.
- L'opération de la colonne de fractionnement se trouve dans la catégorie ORGANISER.
- Sélectionnez d'abord la colonne YMD à fractionner.
- Les onglets proposent quatre choix pour les méthodes de fractionnement de la colonne.
- DEFAULT utilise tous les caractères non alphanumériques figurant dans les valeurs de colonne pour fractionner la colonne.
- Dans TEXT, vous sélectionnez un caractère ou vous entrez du texte pour fractionner la colonne.
- Dans PATTERN, vous entrez une expression régulière basée sur la syntaxe R pour déterminer l'endroit où fractionner la colonne.
- Dans POSITION, vous indiquez à quelle position fractionner la colonne.
- Nous voulons fractionner la colonne YMD à l'aide de l'astérisque (*), qui est un caractère non alphanumérique ; nous allons donc sélectionner l'onglet DEFAULT.
- Fractionner la colonne YMD en trois nouvelles colonnes : YEAR, MONTH et DAY.
- Les trois nouvelles colonnes YEAR, MONTH et DAY s'ajoutent au fichier.
- L'opération Fractionner la colonne s'affiche dans le panneau Etapes.
- Ensuite, fractionnez la colonne FLIGHT en deux colonnes, l'une pour le code de la compagnie aérienne et l'autre pour le numéro de vol. Etant donné que les codes de compagnie aérienne comportent deux caractères, nous pouvons fractionner la colonne par position.
- Cliquez sur l'onglet POSITION, puis tapez 2 dans la case Positions.
- Fractionnez la colonne FLIGHT en deux colonnes : AIRLINE et FLTNMBR.
- Les deux nouvelles colonnes AIRLINE et FLIGHTNBR s'ajoutent au fichier.
- L'opération Fractionner la colonne s'affiche dans le panneau Etapes.
Union
Combiner les lignes de deux jeux de données qui partagent le même schéma et filtrer les doublons. Si vous sélectionnez Autoriser un nombre différent de colonnes et autoriser les valeurs en double, l'opération est une commande UNION ALL
.
Vidéo : Opération Union
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Union combine les lignes de deux fichiers qui partagent le même schéma.
- Ce fichier comporte quatre colonnes et six lignes. Les types de données de gauche à droite sont Chaîne, Chaîne, Décimale, Chaîne.
- Lors du chargement du fichier dans Data Refinery, l'opération AUTOMATIQUE Convertir le type de colonne a converti automatiquement la colonne PRICE en type de données Décimale.
- Les colonnes du deuxième fichier doivent être compatibles avec les types de données de ce fichier.
- Sélectionnez le fichier à combiner avec le fichier en cours.
- Lorsque vous prévisualisez le nouveau fichier, vous constatez qu'il comporte également quatre colonnes. Cependant, la colonne PRICE est un type de données Chaîne.
- Avant d'appliquer l'opération Union, vous devez supprimer l'étape AUTOMATIQUE Convertir le type colonne de sorte que la colonne PRICE soit du même type de données que la colonne PRICE dans le nouveau fichier (Chaîne).
- La colonne PRICE est désormais du type de données chaîne.
- Maintenant, répétez l'opération d'union.
- Le nouveau fichier s'ajoute au fichier en cours. Le nombre de lignes du fichier est augmenté à 12.
- L'opération Union s'affiche dans le panneau Etapes.
- A présent, ajoutez un fichier comportant un nombre différent de colonnes. Les colonnes correspondantes doivent toujours être de types de données compatibles.
- Sélectionnez le fichier à combiner avec le fichier en cours.
- Lorsque vous prévisualisez le nouveau fichier, vous constatez qu'il comporte une colonne de plus que le fichier d'origine. La cinquième colonne est TYPE.
- Sélectionnez Autoriser un nombre différent de colonnes et autoriser les valeurs en double.
- Appliquer l'opération Union.
- Le nouveau fichier s'ajoute au fichier en cours. Le nombre de lignes du fichier est augmenté à 18.
- La colonne supplémentaire, TYPE, s'ajoute au fichier.
- L'opération Union s'affiche dans le panneau Etapes.
Astuce pour l'opération d'union : si vous recevez une erreur concernant des schémas incompatibles, vérifiez si l'opération automatique Convertir le type de colonne a modifié les types de données du premier ensemble de données. Supprimez l'étape Convertir le type de colonne et réessayez.
LANGAGE NATUREL
Supprimer les mots vides Supprimez les mots communs de la langue anglaise, tels que "le ou" et. Les mots vides ont généralement peu de valeur sémantique pour les algorithmes et les modèles d'analyse de texte. Retirez les mots vides pour réduire le volume de données et améliorer la qualité des données que vous utilisez pour entraîner des modèles d'apprentissage automatique.
Facultatif : pour confirmer les mots supprimés, appliquez l'opération de segmentation (par des mots) dans la colonne sélectionnée, puis affichez les statistiques pour les mots dans l'onglet Profil. Vous pouvez annuler l'étape de segmentation ultérieurement dans le flux Data Refinery.
Vidéo : Opération 'Retirer les mots vides'
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Retirer les mots vides supprime du fichier les mots courants de la langue française. Les mots vides ont généralement peu de valeur sémantique pour les algorithmes et les modèles d'analyse de texte. Retirez les mots vides pour réduire le volume de données et améliorer la qualité des données.
- L'opération Retirer les mots vides supprime les mots suivants : aucun, avec, à, ce, ces, comme, est, était, être, dans, de, depuis, et, il, ils, là, le, leur, mais, non, ou, par, pour, puis, que, sera, si, sont, sur, tel, un, une, vers.
- L'opération Retirer les mots vides figure dans la catégorie NATURAL LANGUAGE.
- Sélectionnez la colonne STRING.
- Cliquez sur Appliquer pour supprimer les mots d'arrêt.
- Les mots vides sont supprimés de la colonne STRING.
- L'opération Retirer les mots vides s'affiche dans le panneau Etapes.
Segmenter
Fractionner le texte anglais en mots, phrases, paragraphes, lignes, caractères ou par expression régulière.
Vidéo : Opération Segmenter
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Retranscription de la vidéo
- L'opération Segmenter fractionne le texte français en mots, phrases, paragraphes, lignes, caractères ou par expression régulière.
- L'opération Segmenter figure dans la catégorie NATURAL LANGUAGE.
- Sélectionnez la colonne STRING.
- Options de segmentation disponibles.
- Créez une colonne portant le nom WORDS.
- L'opération Segmenter a pris les mots de la colonne STRING et a créé une colonne, WORDS, avec une ligne pour chaque mot.
- L'opération Segmenter s'affiche dans le panneau Etapes.
Rubrique parent : Affinage des données