La bibliothèque Watson Natural Language Processing fournit des fonctions de traitement du langage naturel pour l'analyse de la syntaxe et des modèles pré-entraînés pour une grande variété de tâches de traitement de texte, telles que l'analyse des sentiments, l'extraction de mots clés et la classification. La bibliothèque de traitement automatique du langage naturel Watson est disponible uniquement pour Python.

Avec le traitement automatique du langage naturel Watson, vous pouvez transformer des données non structurées en données structurées, en rendant les données plus faciles à comprendre et transférables, en particulier si vous travaillez avec un mélange de données non structurées et structurées. Des exemples de telles données sont les dossiers des centres d'appels, les plaintes des clients, les postes de médias sociaux ou les rapports d'incidents. Les données non structurées font souvent partie d'un enregistrement de données plus grand qui inclut des colonnes avec des données structurées. Extraction de la signification et de la structure des données non structurées et combinaison de ces informations avec les données des colonnes de données structurées:

• Vous permet de mieux comprendre les données d'entrée
• Peut vous aider à prendre de meilleures décisions.

Le traitement automatique du langage naturel Watson fournit des modèles préformés dans plus de 20 langues. Ils sont gérés par une équipe d'experts et évalués en fonction de la qualité de chaque langue. Ces modèles préformés peuvent être utilisés dans des environnements de production sans que vous ayez à vous soucier des infractions de licence ou de propriété intellectuelle.

Bien que vous puissiez créer vos propres modèles, le moyen le plus simple de démarrer avec le traitement automatique du langage naturel Watson qui consiste à exécuter les modèles préformés sur un texte non structuré pour effectuer des tâches de traitement de langage.

Quelques exemples de tâches de traitement de langage disponibles dans les modèles pré-entraînés de Watson Natural Language Processing:

• Détection de langue: détection de la langue du texte d'entrée
• Syntaxe : marquage sémantique, lemmatisation, partie de l'étiquetage du discours et analyse syntaxique des dépendances
• Extraction d'entité s: trouver les mentions d'entités (personne, organisation ou date)
• Extraction d'expression de nom: extraire des expressions de nom à partir du texte d'entrée
• Classification de texte : analyser le texte, puis affecter un ensemble de balises prédéfinies ou de catégories en fonction de son contenu
• Classification des sentiments : le document d'entrée est-il positif, négatif ou neutre ?
• Classification de la tonalité : classifier le ton dans le document d'entrée (par exemple excité, frustré ou triste)
• Classification des émotions : classifier l'émotion du document d'entrée (comme la colère ou le dégoût)
• Extraction des mots clés : extrait des phrases du nom qui sont pertinentes dans le texte d'entrée
• Concepts: recherchez des concepts à partir de DBPedia dans le texte d'entrée
• Relations: détecter les relations entre deux entités
• Catégories hiérarchiques: affecter des noeuds individuels au sein d'une taxonomie hiérarchique au document d'entrée
• Incorporations : mapper des mots individuels ou des fragments de texte plus volumineux dans un espace vectoriel

Watson Natural Language Processing encapsule les fonctionnalités du langage naturel via des blocs et des flux de travaux. Les blocs et les flux de travaux prennent en charge les fonctions de chargement, d'exécution, d'entraînement et de sauvegarde d'un modèle.

Pour plus d'informations, voir Utilisation de modèles pré-entraînés.

Voici quelques exemples d'utilisation de la bibliothèque Watson Natural Language Processing:

Exécution de l'analyse de syntaxe sur un fragment de texte:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

Extraction d'entités à partir d'un fragment de texte:

import watson_nlp
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Pour obtenir des exemples d'utilisation de la bibliothèque Watson Natural Language Processing, voir Watson Natural Language Processing.