エンティティー抽出

一般エンティティーの機械学習ベースの抽出

Copy link to section

機械学習ベースの抽出モデルは、個人、組織、場所など、より複雑なエンティティー・タイプのラベル付きデータに基づいてトレーニングされます。

機能

エンティティー・モデルは、入力テキストからエンティティーを抽出します。 以下のタイプのエンティティーが認識されます。

• 日付
• 期間
• ファシリティー
• 地理的特徴
• 役職
• 場所
• 測定
• 金銭
• 序数
• 組織
• 個人
• 時刻

使用可能なワークフローとブロックは、使用されるランタイムによって異なります。

ワークフロー名

• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled: このワークフローは、CPU と GPU の両方で使用できます。
• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled-cpu: このワークフローは、CPU ベースのランタイム用に最適化されています。

サポート対象言語

エンティティー抽出は、以下の言語で使用できます。

ar、cs、da、de、en、es、fi、fr、he、hi、it、ja、ko、nb、nl、nn、pt、ro、ru、sk、sv、tr、zh-cn

言語コードと対応する言語の一覧は、言語コードをご覧ください

コード・サンプル

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())
Copy to clipboardクリップボードにコピーされました

コード・サンプルの出力:

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

一般エンティティーのルール・ベース抽出

Copy link to section

ルール・ベース・モデルentity-mentions_rbr_xx_stockは、構文的に正規のエンティティーを識別します。

ブロック名 entity-mentions_rbr_xx_stock

機能

ルール・ベースの抽出では、構文的に正規のエンティティー・タイプが処理されます。 エンティティー・ブロックは、入力テキストからエンティティーを抽出します。 以下のタイプのエンティティーが認識されます。

• PhoneNumber
• EmailAddress
• 数値
• パーセント
• IPAddress
• HashTag
• TwitterHandle
• URLDate

サポート対象言語

エンティティー抽出は、以下の言語で使用できます。 言語コードおよび対応する言語のリストについては、『言語コード』を参照してください。

ar、cs、da、de、en、es、fi、fr、h、hi、it、ja、ko、nb、nl、nn、pt、ro、ru、sk、sv、tr、zh-cn、zh-tw

他のブロックへの依存関係

なし

コード・サンプル

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is john@us.ibm.com')
print(rbr_entity_mentions)
Copy to clipboardクリップボードにコピーされました

コード・サンプルの出力:

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "john@us.ibm.com"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}
Show more

PII エンティティーのルール・ベース抽出

Copy link to section

ルール・ベース・モデル entity-mentions_rbr_multi_pii は、PII エンティティーの共通フォーマットを識別し、エンティティー・タイプごとに適切なチェックサムまたは検証を実行することにより、大部分のタイプを処理します。 例えば、クレジット・カード番号の候補は Luhn アルゴリズムを使用して検証されます。

ブロック名 entity-mentions_rbr_multi_pii

機能

エンティティー・ブロック entity-mentions_rbr_multi_pii は、以下のタイプのエンティティーを認識します。

一部の PII エンティティー・タイプ名は、国ごとに固有です。 以下のエンティティー・タイプの _ は、国別コードのプレースホルダーです。

• BankAccountNumber.BBAN._ : これらは、より変動の大きい各国の銀行口座番号であり、抽出の大部分は、一般的なチェックサム・アルゴリズムを使用しない言語固有のものです。
• BankAccountNumber.IBAN._ : 高標準化 IBAN は、言語に依存せず、チェックサム・アルゴリズムを使用してサポートされます。
• NationalNumber.NationalID._: これらの国別 ID には (公開された) チェックサム・アルゴリズムがなく、言語固有のベースで抽出されています。
• NationalNumber.Passport._ : チェックサムは、チェックサム・アルゴリズムが存在する国に対してのみ実装されます。 これらは特別に抽出された言語であり、追加のコンテキスト制限があります。
• NationalNumber.TaxID._ : これらの ID には (公開された) チェックサム・アルゴリズムがなく、言語固有のベースで抽出されています。

以下の表に、どの言語でどのエンティティー・タイプを使用でき、どの国別コードを使用するかをリストします。

他のブロックへの依存関係

なし

コード・サンプル

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)
Copy to clipboardクリップボードにコピーされました

コード・サンプルの出力:

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}
Show more

親トピック: Watson Natural Language Processing タスク・カタログ