Extrakce na základě strojového učení pro obecné subjekty

Modely extrakce založené na strojovém učení jsou trénovány na označených datech pro složitější typy entit, jako např. osoba, organizace a umístění.

Funkce

Modely entit extrahují entity ze vstupního textu. Jsou rozpoznány následující typy entit:

• Datum
• Trvání
• Poskytovaná služba
• Geografická funkce
• Název pracovní pozice
• Lokalita
• Ukazatel
• MONEY
• Pořadové
• Organizace
• Osoba
• Čas

Dostupné sledy prací a bloky se liší v závislosti na použitém běhovém prostředí.

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

import watson_nlp

# Load Syntax Model for English, and the multilingual BERT Entity model 
syntax_model = watson_nlp.load('syntax_izumo_en_stock')
bert_entity_model = watson_nlp.load('entity-mentions_bert_multi_stock')

# Run the syntax model on the input text
syntax_prediction = syntax_model.run('IBM\'s CEO Arvind Krishna is based in the US')

# Run the entity mention model on the result of syntax model
bert_entity_mentions = bert_entity_model.run(syntax_prediction)
print(bert_entity_mentions.get_mention_pairs())

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

Extrakce na základě strojového učení pro entity PII

Názvy bloků entity-mentions_bilstm_en_pii

entity-mentions_bilstm_en_pii Model extrakce založený na strojovém učení je trénován na označených datech pro typy person a location.

Funkce

Blok entity-mentions_bilstm_en_pii rozpoznává následující typy entit:

Závislosti na jiných blocích

Před spuštěním bloku entity-mentions_bilstm_en_pii musí být spuštěn následující blok:

• syntax_izumo_en_stock

Ukázka kódu

import os

import watson_nlp

# Load Syntax and a Entity Mention BiLSTM model for English

syntax_model = watson_nlp.load('syntax_izumo_en_stock')

entity_model = watson_nlp.load('entity-mentions_bilstm_en_pii')

text = 'Denver is the capital of Colorado. The total estimated government spending in Colorado in fiscal year 2016 was $36.0 billion. IBM office is located in downtown Denver. Michael Hancock is the mayor of Denver.'

# Run the syntax model on the input text

syntax_prediction = syntax_model.run(text)

# Run the entity mention model on the result of the syntax analysis

entity_mentions = entity_model.run(syntax_prediction)

print(entity_mentions)

Výstup ukázky kódu:

{
  "mentions": [
    {
      "span": {
        "begin": 0,
        "end": 6,
        "text": "Denver"
      },
      "type": "Location",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.6885626912117004,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    },
    {
      "span": {
        "begin": 25,
        "end": 33,
        "text": "Colorado"
      },
      "type": "Location",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.8509215116500854,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    },
    {
      "span": {
        "begin": 78,
        "end": 86,
        "text": "Colorado"
      },
      "type": "Location",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.9928259253501892,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    },
    {
      "span": {
        "begin": 151,
        "end": 166,
        "text": "downtown Denver"
      },
      "type": "Location",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.48378944396972656,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    },
    {
      "span": {
        "begin": 168,
        "end": 183,
        "text": "Michael Hancock"
      },
      "type": "Person",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.9972871541976929,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "BiLSTM Entity Mentions",
    "version": "1.0.0"
  }
}

Extrakce na základě pravidel pro obecné entity

Model založený na pravidlech entity-mentions_rbr_xx_stock identifikuje syntakticky regulární entity.

Název bloku entity-mentions_rbr_xx_stock

Funkce

Extrakce na základě pravidel zpracovává syntakticky běžné typy entit. Blok entit extrahuje entity ze vstupního textu. Jsou rozpoznány následující typy entit:

• PhoneNumber
• EmailAddress
• Číslo
• Procento
• Adresa IP
• HashTag
• TwitterHandle
• Adresa URL

Podporované jazyky

Extrakce entit je k dispozici pro následující jazyky. Seznam kódů jazyků a odpovídajících jazyků viz Kódy jazyků.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn, zh-tw

Závislosti na jiných blocích

Není

Ukázka kódu

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is [email protected]')
print(rbr_entity_mentions)

Výstup ukázky kódu:

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "[email protected]"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Extrakce na základě pravidel pro entity PII

Model založený na pravidlech entity-mentions_rbr_multi_pii zpracovává většinu typů tak, že identifikuje běžné formáty entit PII a provádí možné kontrolní součty nebo ověření podle potřeby pro každý typ entity. Například kandidáti na číslo kreditní karty jsou ověřeni pomocí Luhnova algoritmu.

Název bloku entity-mentions_rbr_multi_pii

Funkce

Blok entit entity-mentions_rbr_multi_pii rozpoznává následující typy entit:

Některé názvy typů entit PII jsou specifické pro jednotlivé země. _ v následujících typech entit je zástupný symbol pro kód země.

• BankAccountNumber.BBAN._ : Jedná se o variabilnější čísla národních bankovních účtů a extrakce je většinou jazykově specifická bez obecného algoritmu kontrolního součtu.
• BankAccountNumber.IBAN._ : Vysoce standardizované sítě IBAN jsou podporovány způsobem nezávislým na jazyku a algoritmem kontrolního součtu.
• NationalNumber.NationalID._: Tato národní ID nemají (publikovaný) algoritmus kontrolního součtu a jsou extrahována na základě specifického jazyka.
• NationalNumber.Passport._ : Kontrolní součty jsou implementovány pouze pro země, kde existuje algoritmus kontrolního součtu. Jedná se konkrétně o extrahovaný jazyk s dalšími kontextovými omezeními.
• NationalNumber.TaxID._ : Tato ID nemají (publikovaný) algoritmus kontrolního součtu a jsou extrahována na základě specifického jazyka.

Typy entit, které jsou k dispozici pro které jazyky a který kód země použít, jsou uvedeny v následující tabulce.

Závislosti na jiných blocích

Není

Ukázka kódu

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

Výstup ukázky kódu:

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Nadřízené téma: Watson Katalog úloh zpracování přirozeného jazyka