정규식을 사용하여 엔티티 발견

정규식 구성 작성

노트북 내부에 모듈 디렉토리를 작성하여 시작하십시오. 이는 RBR 훈련에 의해 작성된 파일을 저장하기 위해 임시로 사용되는 노트북 파일 시스템 내의 디렉토리입니다. 이 모듈 디렉토리는 사전 기반 엔티티 추출에 대해 작성하여 사용한 디렉토리와 동일할 수 있습니다. 사전 및 정규식은 동일한 훈련 실행에서 사용할 수 있습니다.

노트북에서 모듈 디렉토리를 작성하려면 코드 셀에 다음을 입력하십시오. 모듈 디렉토리에 대시(-)가 포함될 수 없습니다.

import os
import watson_nlp
module_folder = "NLP_RBR_Module_2"
os.makedirs(module_folder, exist_ok=True)

정규식 구성은 다음과 같은 속성을 가진 Python 사전입니다.

다음 헬퍼 메소드를 사용하여 정규식 구성을 로드할 수 있습니다.

• 단일 정규식 구성을 로드하려면 watson_nlp.toolkit.RegexConfig.load(<regex configuration>)을(를) 사용하십시오.
• 다중 정규식 구성을 로드하려면 watson_nlp.toolkit.RegexConfig.load_all([<regex configuration>)])을(를) 사용하십시오.

코드 샘플

이 샘플은 두 개의 서로 다른 정규식 구성을 로드하는 방법을 보여줍니다. 첫 번째 구성은 사용자 이름을 발견합니다. 그룹 속성을 사용하여 나중 단계에서 전체, 이름 및 성에 쉽게 액세스할 수 있습니다.

두 번째 구성에서는 모든 대문자의 시퀀스로 두문자어를 발견합니다. 이는 token_boundary 속성을 사용하여 대문자와 소문자를 모두 포함하는 단어의 일치를 방지합니다.

from watson_nlp.toolkit.rule_utils import RegexConfig

# Load some regex configs, for instance to match First names or acronyms
regexes = RegexConfig.load_all([
    {
        'name': 'full names',
        'regexes': ['([A-Z][a-z]*) ([A-Z][a-z]*)'],
        'groups': ['full name', 'first name', 'last name']
    },
    {
        'name': 'acronyms',
        'regexes': ['([A-Z]+)'],
        'groups': ['acronym'],
        'token_boundary': {
            'min': 1,
            'max': 1
        }
    }
])

정규 표현식을 포함하는 모델을 훈련합니다.

정규식 구성을 로드한 후 RBR.train() 메소드를 사용하여 RBR 모델을 작성하십시오. 메소드에서 다음을 지정합니다.

• 모듈 디렉토리
• 텍스트의 언어
• 사용할 정규식 구성

이는 사전 기반 추출로 RBR을 훈련하는 데 사용되는 것과 동일한 방법입니다. 동일한 메소드 호출에서 사전 구성을 전달할 수 있습니다.

코드 샘플

# Train the RBR model
custom_regex_block = watson_nlp.resources.feature_extractor.RBR.train(module_path=module_folder, language='en', regexes=regexes)

새 데이터에 모델 적용

사전을 교육한 후 기존의 선행 학습된 블록에서 사용하는 것처럼 run() 메소드를 사용하여 새 데이터에 모델을 적용하십시오.

코드 샘플

custom_regex_block.run('Bruce Wayne works for NASA')

코드 샘플의 출력:

{(0, 11): ['regex::full names'], (0, 5): ['regex::full names'], (6, 11): ['regex::full names'], (22, 26): ['regex::acronyms']}

일치하는 하위 그룹 또는 일치하는 텍스트를 표시하려면:

import json
# Get the raw response including matching groups
full_regex_result = custom_regex_block.executor.get_raw_response('Bruce Wayne works for NASA‘, language='en')
print(json.dumps(full_regex_result, indent=2))

코드 샘플의 출력:

{
  "annotations": {
    "View_full names": [
      {
        "label": "regex::full names",
        "fullname": {
          "location": {
            "begin": 0,
            "end": 11
          },
          "text": "Bruce Wayne"
        },
        "firstname": {
          "location": {
            "begin": 0,
            "end": 5
          },
          "text": "Bruce"
        },
        "lastname": {
          "location": {
            "begin": 6,
            "end": 11
          },
          "text": "Wayne"
        }
      }
    ],
    "View_acronyms": [
      {
        "label": "regex::acronyms",
        "acronym": {
          "location": {
            "begin": 22,
            "end": 26
          },
          "text": "NASA"
        }
      }
    ]
  },
...
}

상위 주제: 자신의 모델 만들기