针对一般实体的基于机器学习的抽取

基于机器学习的抽取模型是根据更复杂的实体类型 (例如人员，组织和位置) 的标签数据进行训练的。

功能

实体模型从输入文本中抽取实体。 可识别以下类型的实体:

• 日期
• 持续时间
• 设施
• 地理特征
• 职位
• 位置
• 度量
• Money
• 有序
• 组织
• 员工
• 时间

可用的工作流程和块因所使用的运行时而异。

工作流程名称

• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled: 此工作流程可以在 CPU 和 GPU 上使用。
• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled-cpu: 此工作流程针对基于 CPU 的运行时进行了优化。

受支持的语言

实体抽取可用于以下语言。

ar ， cs ， da ， de ， en ， es ， fi ， fr ， he ， hi ， it ， ja ， ko ， nb ， nl ， nn ， pt ， ro ， ru ， sk ， sv ， tr ， zh-cn

有关语言代码和相应语言的列表，请参阅语言代码

代码样本

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

代码样本的输出:

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

常规实体的基于规则的抽取

基于规则的模型 entity-mentions_rbr_xx_stock 识别语法上的常规实体。

块名称 entity-mentions_rbr_xx_stock

功能

基于规则的抽取处理语法上的常规实体类型。 实体块从输入文本中抽取实体。 可识别以下类型的实体:

• PhoneNumber
• EmailAddress
• 编号
• %
• IPAddress
• HashTag
• TwitterHandle
• URLDate

受支持的语言

实体抽取可用于以下语言。 有关语言代码和相应语言的列表，请参阅 语言代码。

ar ， cs ， da ， de ， en ， es ， fi ， fr ， he ， hi ， it ， ja ， ko ， nb ， nl ， nn ， pt ， ro ， ru ， sk ， sv ， tr ， zh-cn ， zh-tw

对其他块的依赖关系

无

代码样本

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is [email protected]')
print(rbr_entity_mentions)

代码样本的输出:

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "[email protected]"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

PII 实体的基于规则的抽取

基于规则的模型 entity-mentions_rbr_multi_pii 通过识别 PII 实体的公共格式并根据每个实体类型的情况执行可能的校验和或验证来处理大多数类型。 例如，使用 Luhn 算法验证信用卡号候选者。

块名称 entity-mentions_rbr_multi_pii

功能

实体块 entity-mentions_rbr_multi_pii 识别以下类型的实体:

某些 PII 实体类型名称特定于国家或地区。 以下实体类型中的 _ 是国家或地区代码的占位符。

• BankAccountNumber.BBAN._ : 这些是比较多变的国家银行帐号，提取的大多是语言特定，没有一般的校验和算法。
• BankAccountNumber.IBAN._ : 以独立于语言的方式并通过校验和算法支持高度标准化的 IBAN。
• NationalNumber.NationalID._: 这些国家标识没有 (已发布) 校验和算法，并且是在特定于语言的基础上抽取的。
• NationalNumber.Passport._ : 仅对存在校验和算法的国家或地区实施校验和。 这些是具有其他上下文限制的特定抽取语言。
• NationalNumber.TaxID._ : 这些标识没有 (已发布) 校验和算法，并且是在特定于语言的基础上抽取的。

下表列出了哪些实体类型可用于哪些语言以及要使用的国家或地区代码。

对其他块的依赖关系

无

代码样本

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

代码样本的输出:

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

父主题: Watson Natural Language Processing 任务目录