Ekstrakcja oparta na uczeniu maszynowym dla jednostek ogólnych

Modele wyodrębniania oparte na uczeniu maszynowym są trenowane na podstawie danych oznaczonych etykietami dla bardziej złożonych typów jednostek, takich jak osoba, organizacja i lokalizacja.

Możliwości

Modele jednostek wyodrębniają jednostki z tekstu wejściowego. Rozpoznawane są następujące typy jednostek:

• Data
• Czas trwania
• Udogodnienia
• Cecha geograficzna
• Nazwa stanowiska
• Lokalizacja
• Pomiar
• money
• Porządkowy
• Organization (organizacja)
• Osoba
• Czas

Dostępne przepływy pracy i bloki różnią się w zależności od używanego środowiska wykonawczego.

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

import watson_nlp

# Load Syntax Model for English, and the multilingual BERT Entity model 
syntax_model = watson_nlp.load('syntax_izumo_en_stock')
bert_entity_model = watson_nlp.load('entity-mentions_bert_multi_stock')

# Run the syntax model on the input text
syntax_prediction = syntax_model.run('IBM\'s CEO Arvind Krishna is based in the US')

# Run the entity mention model on the result of syntax model
bert_entity_mentions = bert_entity_model.run(syntax_prediction)
print(bert_entity_mentions.get_mention_pairs())

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

Ekstrakcja oparta na uczeniu maszynowym dla jednostek PII

Nazwy bloków entity-mentions_bilstm_en_pii

Model wyodrębniania oparty na uczeniu maszynowym entity-mentions_bilstm_en_pii jest wytrenowany na podstawie danych oznaczonych etykietami dla typów person (osoba) i location(lokalizacja).

Możliwości

Blok entity-mentions_bilstm_en_pii rozpoznaje następujące typy jednostek:

Zależności od innych bloków

Przed uruchomieniem bloku entity-mentions_bilstm_en_pii należy uruchomić następujący blok:

• syntax_izumo_en_stock

Przykład kodu

import os

import watson_nlp

# Load Syntax and a Entity Mention BiLSTM model for English

syntax_model = watson_nlp.load('syntax_izumo_en_stock')

entity_model = watson_nlp.load('entity-mentions_bilstm_en_pii')

text = 'Denver is the capital of Colorado. The total estimated government spending in Colorado in fiscal year 2016 was $36.0 billion. IBM office is located in downtown Denver. Michael Hancock is the mayor of Denver.'

# Run the syntax model on the input text

syntax_prediction = syntax_model.run(text)

# Run the entity mention model on the result of the syntax analysis

entity_mentions = entity_model.run(syntax_prediction)

print(entity_mentions)

Dane wyjściowe przykładowego kodu:

{
  "mentions": [
    {
      "span": {
        "begin": 0,
        "end": 6,
        "text": "Denver"
      },
      "type": "Location",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.6885626912117004,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    },
    {
      "span": {
        "begin": 25,
        "end": 33,
        "text": "Colorado"
      },
      "type": "Location",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.8509215116500854,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    },
    {
      "span": {
        "begin": 78,
        "end": 86,
        "text": "Colorado"
      },
      "type": "Location",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.9928259253501892,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    },
    {
      "span": {
        "begin": 151,
        "end": 166,
        "text": "downtown Denver"
      },
      "type": "Location",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.48378944396972656,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    },
    {
      "span": {
        "begin": 168,
        "end": 183,
        "text": "Michael Hancock"
      },
      "type": "Person",
      "producer_id": {
        "name": "BiLSTM Entity Mentions",
        "version": "1.0.0"
      },
      "confidence": 0.9972871541976929,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "BiLSTM Entity Mentions",
    "version": "1.0.0"
  }
}

Wyodrębnianie oparte na regułach dla obiektów ogólnych

Model oparty na regułach entity-mentions_rbr_xx_stock identyfikuje składniowo zwykłe jednostki.

Nazwa bloku entity-mentions_rbr_xx_stock

Możliwości

Wyodrębnianie oparte na regułach obsługuje składniowo zwykłe typy jednostek. Blok jednostki wyodrębnia jednostki z tekstu wejściowego. Rozpoznawane są następujące typy jednostek:

• PhoneNumber
• EmailAddress
• Liczba
• Procent
• Adres IP
• HashTag
• TwitterHandle
• URLDate

Obsługiwane języki

Wyodrębnianie jednostek jest dostępne w następujących językach. Listę kodów języków i odpowiadających im języków zawiera sekcja Kody języków.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn, zh-tw

Zależności od innych bloków

Brak

Przykład kodu

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is [email protected]')
print(rbr_entity_mentions)

Dane wyjściowe przykładowego kodu:

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "[email protected]"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Ekstrakcja oparta na regułach dla jednostek PII

Model oparty na regułach entity-mentions_rbr_multi_pii obsługuje większość typów, identyfikując wspólne formaty jednostek PII i wykonując możliwe sumy kontrolne lub sprawdzenia poprawności odpowiednio dla każdego typu obiektu. Na przykład kandydaci na numer karty kredytowej są sprawdzani przy użyciu algorytmu Luhna.

Nazwa bloku entity-mentions_rbr_multi_pii

Możliwości

Blok jednostki entity-mentions_rbr_multi_pii rozpoznaje następujące typy jednostek:

Niektóre nazwy typów jednostek PII są specyficzne dla danego kraju. _ w następujących typach jednostek jest obiektem zastępczym dla kodu kraju.

• BankAccountNumber.BBAN._ : są to bardziej zmienne numery krajowych rachunków bankowych, a ekstrakcja jest w większości przypadków specyficzna dla języka bez ogólnego algorytmu sumy kontrolnej.
• BankAccountNumber.IBAN._ : wysoce standaryzowane IBAN są obsługiwane w sposób niezależny od języka i z algorytmem sumy kontrolnej.
• NationalNumber.NationalID._: te krajowe identyfikatory nie mają (opublikowanego) algorytmu sumy kontrolnej i są wyodrębniane w zależności od języka.
• NationalNumber.Passport._ : sumy kontrolne są implementowane tylko w krajach, w których istnieje algorytm sumy kontrolnej. Są to wyodrębnione języki z dodatkowymi ograniczeniami kontekstowymi.
• NationalNumber.TaxID._ : te identyfikatory nie mają (opublikowanego) algorytmu sumy kontrolnej i są wyodrębniane w zależności od języka.

W poniższej tabeli wymieniono typy jednostek dostępne dla poszczególnych języków oraz kody krajów, których należy użyć.

Zależności od innych bloków

Brak

Przykład kodu

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

Dane wyjściowe przykładowego kodu:

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Temat nadrzędny: Watson Katalog zadań przetwarzania języka naturalnego