사용자 정의 사전을 사용하여 엔티티 발견

사전 파일의 유형

Watson 자연어 처리는 두 가지 유형의 사전 파일을 지원합니다.

• 용어 목록(.dict에서 종료)

  용어 목록 예제:

  Arthur
  Allen
  Albert
  Alexa
  

• 테이블(.csv에서 종료)

  테이블의 예:

  "label", "entry"
  "ORGANIZATION", "NASA"
  "COUNTRY", "USA"
  "ACTOR", "Christian Bale"
  

동일한 추출 중에 여러 사전을 사용할 수 있습니다. 또한 두 유형 모두를 동시에 사용할 수 있습니다. 예를 들어, 세 개의 사전, 하나의 용어 목록 및 두 개의 테이블로 단일 추출을 실행할 수 있습니다.

사전 파일 작성

노트북 내부에 모듈 디렉토리를 작성하여 시작하십시오. 이것은 사전 파일을 저장하기 위해 임시로 사용될 노트북 파일 시스템 내의 디렉토리입니다.

노트북에서 사전 파일을 작성하려면 다음을 수행하십시오.

1. 모듈 디렉토리를 작성하십시오. 모듈 폴더의 이름에는 오류가 발생하므로 대시를 포함할 수 없습니다.

   import os
   import watson_nlp
   module_folder = "NLP_Dict_Module_1"
   os.makedirs(module_folder, exist_ok=True)
   

2. 사전 파일을 작성하고 이를 모듈 디렉토리에 저장하십시오. 외부 목록 또는 CSV 파일에서 읽거나 다음과 같은 사전 파일을 작성할 수 있습니다.

   # Create a term list dictionary
   term_file = "names.dict"
   with open(os.path.join(module_folder, term_file), 'w') as dictionary:
       dictionary.write('Bruce')
       dictionary.write('\n')
       dictionary.write('Peter')
       dictionary.write('\n')
   
   # Create a table dictionary
   table_file = 'Places.csv'
   with open(os.path.join(module_folder, table_file), 'w') as places:
       places.write("\"label\", \"entry\"")
       places.write("\n")
       places.write("\"SIGHT\", \"Times Square\"")
       places.write("\n")
       places.write("\"PLACE\", \"5th Avenue\"")
       places.write("\n")
   

사전 로드 및 일치 옵션 구성

사전은 다음 헬퍼 메소드를 사용하여 로드할 수 있습니다.

• 단일 사전을 로드하려면 watson_nlp.toolkit.rule_utils.DictionaryConfig (<dictionary configuration>)을(를) 사용하십시오.
• 여러 사전을 로드하려면 watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([<dictionary configuration>)])을(를) 사용하십시오.

각 사전에 대해 사전 구성을 지정해야 합니다. 사전 구성은 다음과 같은 속성을 가진 Python 사전입니다.

코드 샘플

# Load the dictionaries
dictionaries = watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([{
    'name': 'Names',
    'source': term_file,
    'case':'insensitive'
}, {
    'name': 'places_and_sights_mappings',
    'source': table_file,
    'dict_type': 'table',
    'mappings': {
        'columns': ['label', 'entry'],
        'entry': 'entry'
    }
}])

사전을 포함하는 모델 훈련

사전을 로드한 후 사전 모델을 작성하고 RBR.train() 메소드를 사용하여 모델을 훈련하십시오. 메소드에서 다음을 지정합니다.

• 모듈 디렉토리
• 사전 항목의 언어
• 사용할 사전

코드 샘플

custom_dict_block = watson_nlp.resources.feature_extractor.RBR.train(module_folder,
language='en', dictionaries=dictionaries)

새 데이터에 모델 적용

사전을 교육한 후 기존의 선행 학습된 블록에서 사용하는 것처럼 run() 메소드를 사용하여 새 데이터에 모델을 적용하십시오.

코드 샘플

custom_dict_block.run('Bruce is at Times Square')

코드 샘플의 출력:

{(0, 5): ['Names'], (12, 24): ['SIGHT']}

사전의 레이블 또는 이름을 표시하려면 다음을 수행하십시오.

RBR_result = custom_dict_block.executor.get_raw_response('Bruce is at Times Square', language='en')
print(RBR_result)

레이블을 표시하는 출력:

{'annotations': {'View_Names': [{'label': 'Names', 'match': {'location': {'begin': 0, 'end': 5}, 'text': 'Bruce'}}], 'View_places_and_sights_mappings': [{'label': 'SIGHT', 'match': {'location': {'begin': 12, 'end': 24}, 'text': 'Times Square'}}]}, 'instrumentationInfo': {'annotator': {'version': '1.0', 'key': 'Text match extractor for NLP_Dict_Module_1'}, 'runningTimeMS': 3, 'documentSizeChars': 32, 'numAnnotationsTotal': 2, 'numAnnotationsPerType': [{'annotationType': 'View_Names', 'numAnnotations': 1}, {'annotationType': 'View_places_and_sights_mappings', 'numAnnotations': 1}], 'interrupted': False, 'success': True}}

상위 주제: 자신의 모델 만들기