일반 엔티티에 대한 기계 학습 기반 추출

기계 학습 기반 추출 모델은 개인, 조직 및 위치와 같은 보다 복잡한 엔티티 유형에 대해 레이블 지정된 데이터에 대해 훈련됩니다.

기능

엔티티 모델은 입력 텍스트에서 엔티티를 추출합니다. 다음 유형의 엔티티가 인식됩니다.

• 날짜
• 지속 기간
• 시설
• 지리적 특징
• 직책
• 위치
• 측도
• 화폐
• 순서형
• 조직
• 사람
• 시간

사용 가능한 워크플로우 및 블록은 사용되는 런타임에 따라 다릅니다.

워크플로우 이름

• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled: 이 워크플로우는 CPU및 GPU 모두에서 사용할 수 있습니다.
• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled-cpu: 이 워크플로우는 CPU 기반 런타임에 대해 최적화되어 있습니다.

지원되는 언어

엔티티 추출은 다음 언어로 사용할 수 있습니다.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn

언어 코드 및 해당 언어 목록은 언어 코드를 참조하세요

코드 샘플

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

코드 샘플의 출력:

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

일반 엔티티에 대한 규칙 기반 추출

규칙 기반 모델 entity-mentions_rbr_xx_stock은(는) 구문적으로 정규 엔티티를 식별합니다.

블록 이름 entity-mentions_rbr_xx_stock

기능

규칙 기반 추출은 구문적으로 일반 엔티티 유형을 처리합니다. 엔티티 블록은 입력 텍스트에서 엔티티를 추출합니다. 다음 유형의 엔티티가 인식됩니다.

• PhoneNumber
• EmailAddress
• 숫자
• 퍼센트
• IPAddress
• HashTag
• TwitterHandle
• URLDate

지원되는 언어

엔티티 추출은 다음 언어로 사용할 수 있습니다. 언어 코드 및 해당 언어 목록은 언어 코드를 참조하십시오.

ar, cs, da, de, en, es, fi, fr, 그, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn, zh-tw

다른 블록에 대한 종속성

없음

코드 샘플

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is [email protected]')
print(rbr_entity_mentions)

코드 샘플의 출력:

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "[email protected]"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

PII 엔티티에 대한 규칙 기반 추출

규칙 기반 모델 entity-mentions_rbr_multi_pii 는 PII 엔티티의 공통 형식을 식별하고 각 엔티티 유형에 적합하게 가능한 체크섬 또는 유효성 검증을 수행하여 대부분의 유형을 처리합니다. 예를 들어, 신용 카드 번호 후보는 Luhn 알고리즘을 사용하여 유효성 검증됩니다.

블록 이름 entity-mentions_rbr_multi_pii

기능

엔티티 블록 entity-mentions_rbr_multi_pii 는 다음 유형의 엔티티를 인식합니다.

일부 PII 엔티티 유형 이름은 국가에 따라 다릅니다. 다음 엔티티 유형의 _ 는 국가 코드의 플레이스홀더입니다.

• BankAccountNumber.BBAN._ : 이는 보다 가변적인 국내 은행 계좌 번호이며 추출은 일반 체크섬 알고리즘이 없는 대부분 언어에 특정합니다.
• BankAccountNumber.IBAN._ : 고도로 표준화된 IBAN은 언어 독립적인 방식으로 체크섬 알고리즘을 사용하여 지원됩니다.
• NationalNumber.NationalID._: 이러한 국가 ID에는 (공개된) 체크섬 알고리즘이 없으며 언어별로 추출됩니다.
• NationalNumber.Passport._ : 체크섬은 체크섬 알고리즘이 있는 국가에 대해서만 구현됩니다. 이는 추가 컨텍스트 제한사항이 있는 특별히 추출된 언어입니다.
• NationalNumber.TaxID._ : 이 ID에는 (공개된) 체크섬 알고리즘이 없으며 언어별로 추출됩니다.

사용할 언어 및 국가 코드에 사용 가능한 엔티티 유형은 다음 표에 나열되어 있습니다.

다른 블록에 대한 종속성

없음

코드 샘플

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

코드 샘플의 출력:

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

상위 주제: Watson Natural Language Processing 태스크 카탈로그