Extracción basada en machine learning para entidades generales

Los modelos de extracción basados en aprendizaje automático se entrenan en datos etiquetados para los tipos de entidad más complejos, como persona, organización y ubicación.

Prestaciones

Los modelos de entidad extraen entidades del texto de entrada. Se reconocen los tipos de entidades siguientes:

• Fecha
• Duración
• Recurso
• Característica geográfica
• Cargo
• Ubicación
• Medida
• Money
• Ordinal
• Organización
• Persona
• Hora

Los flujos de trabajo y bloques disponibles difieren, en función del tiempo de ejecución utilizado.

Nombres de flujo de trabajo

• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled: este flujo de trabajo se puede utilizar tanto en CPU como en GPU.
• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled-cpu: este flujo de trabajo está optimizado para tiempos de ejecución basados en CPU.

Idiomas soportados

La extracción de entidades está disponible para los siguientes idiomas.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn

Para consultar la lista de códigos lingüísticos y las lenguas correspondientes, véase Códigos lingüísticos

Ejemplo de código

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Ejemplo de salida de código:

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

Extracción basada en reglas para entidades generales

El modelo basado en reglas entity-mentions_rbr_xx_stock identifica entidades regulares sintácticamente.

Nombre de bloque entity-mentions_rbr_xx_stock

Prestaciones

La extracción basada en reglas maneja tipos de entidad regulares sintácticamente. El bloque de entidad extrae entidades del texto de entrada. Se reconocen los tipos de entidades siguientes:

• PhoneNumber
• EmailAddress
• Número
• Porcentaje
• Dirección IP
• HashTag
• TwitterHandle
• URLDate

Idiomas soportados

La extracción de entidades está disponible para los siguientes idiomas. Para obtener una lista de los códigos de idioma y el idioma correspondiente, consulte Códigos de idioma.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn, zh-tw

Dependencias de otros bloques

Ninguna

Ejemplo de código

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is [email protected]')
print(rbr_entity_mentions)

Ejemplo de salida de código:

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "[email protected]"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Extracción basada en reglas para entidades PII

El modelo basado en reglas entity-mentions_rbr_multi_pii maneja la mayoría de los tipos identificando formatos comunes de entidades PII y realizando una posible suma de comprobación o validaciones según corresponda para cada tipo de entidad. Por ejemplo, los candidatos de número de tarjeta de crédito se validan utilizando el algoritmo de Luhn.

Nombre de bloque entity-mentions_rbr_multi_pii

Prestaciones

El bloque de entidad entity-mentions_rbr_multi_pii reconoce los siguientes tipos de entidades:

Algunos nombres de tipo de entidad PII son específicos del país. El _ en los siguientes tipos de entidad es un marcador para un código de país.

• BankAccountNumber.BBAN._ : Son números de cuenta bancaria nacionales más variables y la extracción es principalmente específica del idioma sin un algoritmo de suma de comprobación general.
• BankAccountNumber.IBAN._ : Los IBAN altamente estandarizados están soportados de forma independiente del idioma y con un algoritmo de suma de comprobación.
• NationalNumber.NationalID._: estos ID nacionales no tienen un algoritmo de suma de comprobación (publicado) y se están extrayendo en una base específica del idioma.
• NationalNumber.Passport._ : Las sumas de comprobación sólo se implementan para los países donde existe un algoritmo de suma de comprobación. Se trata de un idioma extraído específicamente con restricciones de contexto adicionales.
• NationalNumber.TaxID._ : estos ID no tienen un algoritmo de suma de comprobación (publicado) y se están extrayendo en una base específica del idioma.

Los tipos de entidad disponibles para qué idiomas y qué código de país utilizar se listan en la tabla siguiente.

Dependencias de otros bloques

Ninguna

Ejemplo de código

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

Ejemplo de salida de código:

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Tema principal: Watson