Extraction basée sur l'apprentissage automatique pour les entités générales

Les modèles d'extraction basés sur l'apprentissage automatique sont entraînés sur des données étiquetées pour les types d'entité plus complexes tels que la personne, l'organisation et l'emplacement.

Capacités

Les modèles d'entité extraient des entités du texte d'entrée. Les types d'entités suivants sont reconnus :

• Date :
• Durée
• Installation
• fonction géographique
• Intitulé du poste
• Emplacement
• Mesure
• Money
• Ordinal
• Organisation
• Personne
• Durée

Les flux de travaux et les blocs disponibles varient en fonction de l'environnement d'exécution utilisé.

Noms de flux de travaux

• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled: ce flux de travaux peut être utilisé sur les unités centrales et les processeurs graphiques.
• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled-cpu: ce flux de travaux est optimisé pour les environnements d'exécution basés sur l'UC.

Langues prises en charge

L'extraction d'entité est disponible pour les langues suivantes.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn

Pour une liste des codes de langue et des langues correspondantes, voir Codes de langue

Exemple de code

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Sortie de l'exemple de code :

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

Extraction basée sur des règles pour les entités générales

Le modèle basé sur des règles entity-mentions_rbr_xx_stock identifie les entités syntaxiquement régulières.

Nom de bloc entity-mentions_rbr_xx_stock

Capacités

L'extraction basée sur des règles traite les types d'entité standard syntaxiquement. L'entité extrait des entités du texte d'entrée. Les types d'entités suivants sont reconnus :

• PhoneNumber
• EmailAddress
• Nombre
• Pourcentage
• Adresse IP
• HashTag
• TwitterHandle
• URLDate

Langues prises en charge

L'extraction d'entité est disponible pour les langues suivantes. Pour obtenir la liste des codes de langue et de la langue correspondante, voir Codes de langue.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn, zh-tw

Dépendances sur d'autres blocs

Aucun

Exemple de code

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is [email protected]')
print(rbr_entity_mentions)

Sortie de l'exemple de code :

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "[email protected]"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Extraction basée sur des règles pour les entités PII

Le modèle à base de règles entity-mentions_rbr_multi_pii gère la majorité des types en identifiant les formats communs des entités PII et en effectuant des totaux de contrôle ou des validations possibles pour chaque type d'entité. Par exemple, les candidats à un numéro de carte de crédit sont validés à l'aide de l'algorithme de Luhn.

Nom de bloc entity-mentions_rbr_multi_pii

Capacités

Le bloc d'entités entity-mentions_rbr_multi_pii reconnaît les types d'entités suivants:

Certains noms de type d'entité PII sont propres à chaque pays. Le _ dans les types d'entité suivants est une marque de réservation pour un code pays.

• BankAccountNumber.BBAN._ : il s'agit de numéros de compte bancaire nationaux plus variables et l'extraction est principalement spécifique à la langue sans algorithme de total de contrôle général.
• BankAccountNumber.IBAN._ : les IBAN très standardisés sont pris en charge de manière indépendante de la langue et avec un algorithme de total de contrôle.
• NationalNumber.NationalID._: Ces ID nationaux n'ont pas d'algorithme de total de contrôle (publié) et sont extraits en fonction de la langue.
• NationalNumber.Passport._ : les totaux de contrôle sont implémentés uniquement pour les pays dans lesquels un algorithme de total de contrôle existe. Il s'agit d'un langage extrait spécifiquement avec des restrictions de contexte supplémentaires.
• NationalNumber.TaxID._ : Ces ID n'ont pas d'algorithme de total de contrôle (publié) et sont extraits sur une base spécifique à la langue.

Les types d'entité disponibles pour chaque langue et le code pays à utiliser sont répertoriés dans le tableau suivant.

Dépendances sur d'autres blocs

Aucun

Exemple de code

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

Sortie de l'exemple de code :

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Rubrique parent: Watson Natural Language Processing