辞書ファイルのタイプ

Watson Natural Language Processing は、以下の 2 つのタイプの辞書ファイルをサポートします。

• 用語リスト (末尾.dict)

  用語リストの例:

  Arthur
  Allen
  Albert
  Alexa
  

• 表 (末尾.csv)

  表の例:

  "label", "entry"
  "ORGANIZATION", "NASA"
  "COUNTRY", "USA"
  "ACTOR", "Christian Bale"
  

同じ抽出で複数の辞書を使用できます。 また、両方のタイプを同時に使用することもできます。例えば、3 つの辞書、1 つの用語リスト、および 2 つの表を使用して単一の抽出を実行できます。

辞書ファイルの作成

ノートブック内にモジュール・ディレクトリーを作成することから始めます。 これは、辞書ファイルを保管するために一時的に使用されるノートブック・ファイル・システム内のディレクトリーです。

ノートブックで辞書ファイルを作成するには、以下のようにします。

1. モジュール・ディレクトリーを作成します。 エラーの原因となるため、モジュール・フォルダーの名前にダッシュを含めることはできません。

   import os
   import watson_nlp
   module_folder = "NLP_Dict_Module_1"
   os.makedirs(module_folder, exist_ok=True)
   

2. 辞書ファイルを作成し、モジュール・ディレクトリーに保管します。 外部リストまたは CSV ファイルを読み込むことも、次のような辞書ファイルを作成することもできます。

   # Create a term list dictionary
   term_file = "names.dict"
   with open(os.path.join(module_folder, term_file), 'w') as dictionary:
       dictionary.write('Bruce')
       dictionary.write('\n')
       dictionary.write('Peter')
       dictionary.write('\n')
   
   # Create a table dictionary
   table_file = 'Places.csv'
   with open(os.path.join(module_folder, table_file), 'w') as places:
       places.write("\"label\", \"entry\"")
       places.write("\n")
       places.write("\"SIGHT\", \"Times Square\"")
       places.write("\n")
       places.write("\"PLACE\", \"5th Avenue\"")
       places.write("\n")
   

辞書のロードとマッチング・オプションの構成

辞書は、以下のヘルパー・メソッドを使用してロードできます。

• 単一の辞書をロードするには、watson_nlp.toolkit.rule_utils.DictionaryConfig (<dictionary configuration>)を使用します。
• 複数の辞書をロードするには、watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([<dictionary configuration>)])を使用します。

辞書ごとに、辞書構成を指定する必要があります。 辞書構成は、以下の属性を持つ Python 辞書です。

コード・サンプル

# Load the dictionaries
dictionaries = watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([{
    'name': 'Names',
    'source': term_file,
    'case':'insensitive'
}, {
    'name': 'places_and_sights_mappings',
    'source': table_file,
    'dict_type': 'table',
    'mappings': {
        'columns': ['label', 'entry'],
        'entry': 'entry'
    }
}])

辞書を含むモデルのトレーニング

辞書をロードした後、辞書モデルを作成して、RBR.train()メソッドを使用してモデルをトレーニングします。 メソッドで、以下を指定します。

• モジュール・ディレクトリー
• 辞書エントリーの言語
• 使用する辞書

コード・サンプル

custom_dict_block = watson_nlp.resources.feature_extractor.RBR.train(module_folder,
language='en', dictionaries=dictionaries)

新規データへのモデルの適用

辞書をトレーニングした後、事前にトレーニングされた既存のブロックで使用するように、run()メソッドを使用して新規データにモデルを適用します。

コード・サンプル

custom_dict_block.run('Bruce is at Times Square')

コード・サンプルの出力:

{(0, 5): ['Names'], (12, 24): ['SIGHT']}

辞書のラベルまたは名前を表示するには、以下のようにします。

RBR_result = custom_dict_block.executor.get_raw_response('Bruce is at Times Square', language='en')
print(RBR_result)

ラベルを示す出力:

{'annotations': {'View_Names': [{'label': 'Names', 'match': {'location': {'begin': 0, 'end': 5}, 'text': 'Bruce'}}], 'View_places_and_sights_mappings': [{'label': 'SIGHT', 'match': {'location': {'begin': 12, 'end': 24}, 'text': 'Times Square'}}]}, 'instrumentationInfo': {'annotator': {'version': '1.0', 'key': 'Text match extractor for NLP_Dict_Module_1'}, 'runningTimeMS': 3, 'documentSizeChars': 32, 'numAnnotationsTotal': 2, 'numAnnotationsPerType': [{'annotationType': 'View_Names', 'numAnnotations': 1}, {'annotationType': 'View_places_and_sights_mappings', 'numAnnotations': 1}], 'interrupted': False, 'success': True}}

親トピック: 独自のモデルの作成