Auf maschinellem Lernen basierende Extraktion für allgemeine Entitäten

Die auf maschinellem Lernen basierenden Extraktionsmodelle werden mit beschrifteten Daten für komplexere Entitätstypen wie Person, Organisation und Standort trainiert.

Fähigkeiten

Die Entitätsmodelle extrahieren Entitäten aus dem Eingabetext. Folgende Entitätstypen werden erkannt:

• Datum
• Dauer
• Funktion
• Geografisches Objekt
• Jobbezeichnung
• Standort
• Maß
• Money
• Ordinalzahl
• Organisation
• Person
• Zeit

Die verfügbaren Workflows und Blöcke unterscheiden sich je nach verwendeter Laufzeit.

Workflownamen

• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled: Dieser Workflow kann auf CPUs und GPUs verwendet werden.
• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled-cpu: Dieser Workflow ist für CPU-basierte Laufzeiten optimiert

Unterstützte Sprachen

Die Entitätsextraktion ist für die folgenden Sprachen verfügbar:

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn

Eine Liste der Sprachcodes und der entsprechenden Sprachen finden Sie unter Sprachcodes

Codebeispiel

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Ausgabe des Codebeispiels:

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

Regelbasierte Extraktion für allgemeine Entitäten

Das regelbasierte Modell entity-mentions_rbr_xx_stock identifiziert Entitäten mit regulärer Syntax.

Blockname entity-mentions_rbr_xx_stock

Fähigkeiten

Die regelbasierte Extraktion verarbeitet Entitätstypen mit regulärer Syntax. Der Entitätsblock extrahiert Entitäten aus dem Eingabetext. Folgende Entitätstypen werden erkannt:

• PhoneNumber
• EmailAddress
• Zahl
• Prozent
• IP-Adresse
• HashTag
• TwitterHandle
• URL-Datum

Unterstützte Sprachen

Die Entitätsextraktion ist für die folgenden Sprachen verfügbar: Eine Liste der Sprachcodes und der entsprechenden Sprache finden Sie in Sprachcodes.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn, zh-tw

Abhängigkeiten von anderen Blöcken

Keine

Codebeispiel

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is [email protected]')
print(rbr_entity_mentions)

Ausgabe des Codebeispiels:

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "[email protected]"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Regelbasierte Extraktion für PII-Entitäten

Das regelbasierte Modell entity-mentions_rbr_multi_pii verarbeitet die meisten Typen, indem es allgemeine Formate von PII-Entitäten identifiziert und mögliche Kontrollsummen oder Validierungen für jeden Entitätstyp durchführt. Beispielsweise werden Kandidaten für Kreditkartennummern mit dem Luhn-Algorithmus validiert.

Blockname entity-mentions_rbr_multi_pii

Fähigkeiten

Der Entitätsblock entity-mentions_rbr_multi_pii erkennt die folgenden Typen von Entitäten:

Einige Namen von PII-Entitätstypen sind länderspezifisch. Die _ in den folgenden Entitätstypen ist ein Platzhalter für einen Landescode.

• BankAccountNumber.BBAN._ : Hierbei handelt es sich um mehr variable nationale Bankkontonummern, und die Extraktion ist meist sprachspezifisch ohne einen allgemeinen Kontrollsummenalgorithmus.
• BankAccountNumber.IBAN._ : Hochstandardisierte IBANs werden sprachunabhängig und mit einem Kontrollsummenalgorithmus unterstützt.
• NationalNumber.NationalID._: Diese nationalen IDs haben keinen (veröffentlichten) Kontrollsummenalgorithmus und werden auf sprachspezifischer Basis extrahiert.
• NationalNumber.Passport._ : Kontrollsummen werden nur für die Länder implementiert, in denen ein Kontrollsummenalgorithmus vorhanden ist. Diese sind speziell extrahierte Sprache mit zusätzlichen Kontexteinschränkungen.
• NationalNumber.TaxID._ : Diese IDs haben keinen (veröffentlichten) Kontrollsummenalgorithmus und werden auf sprachspezifischer Basis extrahiert.

Welche Entitätstypen für welche Sprachen verfügbar sind und welcher Landescode verwendet werden soll, ist in der folgenden Tabelle aufgeführt.

Abhängigkeiten von anderen Blöcken

Keine

Codebeispiel

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

Ausgabe des Codebeispiels:

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Übergeordnetes Thema: Watson Natural Language Processing-Taskkatalog