Estrazione basata sull'apprendimento automatico per entità generali

I modelli di estrazione basati sull'apprendimento automatico vengono addestrati sui dati etichettati per i più complessi tipi di entità come persona, organizzazione e ubicazione.

Funzioni

I modelli di entità estraggono le entità dal testo di input. Sono riconosciuti i seguenti tipi di entità:

• Data
• Durata
• Funzione
• Funzione geografica
• Qualifica
• Ubicazione
• Misura
• Money
• Ordinale
• Organizzazione
• Persona
• Ora

I blocchi e i flussi di lavoro disponibili differiscono, a seconda del runtime utilizzato.

Nomi flusso di lavoro

• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled: questo flusso di lavoro può essere utilizzato su CPU e GPU.
• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled-cpu: questo workflow è ottimizzato per i runtime basati sulla CPU.

Lingue supportate

L'estrazione entità è disponibile per le seguenti lingue.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh - cn

Per un elenco dei codici delle lingue e delle lingue corrispondenti, vedere Codici delle lingue

Esempio di codice

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Output dell'esempio di codice

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

Estrazione basata su regole per entità generali

Il modello basato su regole entity-mentions_rbr_xx_stock identifica le entità sintatticamente regolari.

Nome blocco entity-mentions_rbr_xx_stock

Funzioni

L'estrazione basata su regole gestisce i tipi di entità sintatticamente regolari. Il blocco di entità estrae le entità dal testo di input. Sono riconosciuti i seguenti tipi di entità:

• PhoneNumber
• EmailAddress
• Numero
• Percentuale
• Indirizzo IP
• HashTag
• TwitterHandle
• URLDate

Lingue supportate

L'estrazione entità è disponibile per le seguenti lingue. Per un elenco dei codici lingua e della lingua corrispondente, consultare Codici lingua.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh - cn, zh - tw

Dipendenze da altri blocchi

Nessuna

Esempio di codice

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is [email protected]')
print(rbr_entity_mentions)

Output dell'esempio di codice

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "[email protected]"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Estrazione basata su regole per le entità PII

Il modello basato sulla regola entity-mentions_rbr_multi_pii gestisce la maggior parte dei tipi identificando i formati comuni delle entità PII ed eseguendo il checksum o le convalide possibili in base a ogni tipo di entità. Ad esempio, i candidati del numero di carta di credito vengono convalidati utilizzando l'algoritmo Luhn.

Nome blocco entity-mentions_rbr_multi_pii

Funzioni

Il blocco di entit ... entity-mentions_rbr_multi_pii riconosce i seguenti tipi di entit ...:

Alcuni nomi di tipi di entità PII sono specifici del paese. Il _ nei seguenti tipi di entità è un segnaposto per un codice paese.

• BankAccountNumber.BBAN._ : questi sono numeri di conti bancari nazionali più variabili e l'estrazione è per lo più specifica della lingua senza un algoritmo di checksum generale.
• BankAccountNumber.IBAN._ : gli IBAN altamente standardizzati sono supportati in modo indipendente dalla lingua e con un algoritmo di checksum.
• NationalNumber.NationalID._: questi ID nazionali non dispongono di un algoritmo checksum (pubblicato) e vengono estratti su una base specifica della lingua.
• NationalNumber.Passport._ : i checksum sono implementati solo per i paesi in cui esiste un algoritmo di checksum. Si tratta di una lingua specificatamente estratta con ulteriori limitazioni di contesto.
• NationalNumber.TaxID._ : questi ID non dispongono di un algoritmo checksum (pubblicato) e vengono estratti su una base specifica della lingua.

I tipi di entità disponibili per quali lingue e quale codice paese utilizzare sono elencati nella seguente tabella.

Dipendenze da altri blocchi

Nessuna

Esempio di codice

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

Output dell'esempio di codice

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Argomento principale: Watson Natural Language Processing task catalog