Rilevazione di entità con un dizionario personalizzato

Tipi di file dizionari

Watson Natural Language Processing supporta due tipi di file dizionari:

• Elenco termini (terminati in .dict)

  Esempio di elenco a termine:

  Arthur
  Allen
  Albert
  Alexa
  

• Tabella (chiusura in .csv)

  Esempio di tabella:

  "label", "entry"
  "ORGANIZATION", "NASA"
  "COUNTRY", "USA"
  "ACTOR", "Christian Bale"
  

È possibile utilizzare più dizionari durante la stessa estrazione. È inoltre possibile utilizzare entrambi i tipi contemporaneamente, ad esempio, eseguire un'estrazione singola con tre dizionari, un elenco a termine e due tabelle.

Creazione di file dizionari

Iniziare creando una directory di modulo all'interno del tuo notebook. Si tratta di una directory all'interno del file system del notebook che verrà utilizzato temporaneamente per memorizzare i tuoi file dizionari.

Per creare file dizionari nel tuo notebook:

1. Creare una directory del modulo. Da notare che il nome della cartella del modulo non può contenere alcuna trattazione in quanto ciò causera ' errori.

   import os
   import watson_nlp
   module_folder = "NLP_Dict_Module_1"
   os.makedirs(module_folder, exist_ok=True)
   

2. Creare file dizionari, e memorizzarli nella directory del modulo. È possibile leggere in un elenco esterno o in un file CSV oppure è possibile creare file dizionari come:

   # Create a term list dictionary
   term_file = "names.dict"
   with open(os.path.join(module_folder, term_file), 'w') as dictionary:
       dictionary.write('Bruce')
       dictionary.write('\n')
       dictionary.write('Peter')
       dictionary.write('\n')
   
   # Create a table dictionary
   table_file = 'Places.csv'
   with open(os.path.join(module_folder, table_file), 'w') as places:
       places.write("\"label\", \"entry\"")
       places.write("\n")
       places.write("\"SIGHT\", \"Times Square\"")
       places.write("\n")
       places.write("\"PLACE\", \"5th Avenue\"")
       places.write("\n")
   

Caricamento dei dizionari e configurazione delle opzioni corrispondenti

I dizionari possono essere caricati utilizzando i seguenti metodi helper.

• Per caricare un singolo dizionario, utilizzare watson_nlp.toolkit.rule_utils.DictionaryConfig (<dictionary configuration>)
• Per caricare più dizionari, utilizzare watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([<dictionary configuration>)])

Per ogni dizionario è necessario specificare una configurazione dizionario. La configurazione del dizionario è un dizionario Python , con i seguenti attributi:

Esempio di codice

# Load the dictionaries
dictionaries = watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([{
    'name': 'Names',
    'source': term_file,
    'case':'insensitive'
}, {
    'name': 'places_and_sights_mappings',
    'source': table_file,
    'dict_type': 'table',
    'mappings': {
        'columns': ['label', 'entry'],
        'entry': 'entry'
    }
}])

Formazione di un modello che contiene dizionari

Dopo aver caricato i dizionari, creare un modello di dizionario e formare il modello utilizzando il metodo RBR.train() . Nel metodo, specificare:

• La directory del modulo
• La lingua delle voci del dizionario
• I dizionari da utilizzare

Esempio di codice

custom_dict_block = watson_nlp.resources.feature_extractor.RBR.train(module_folder,
language='en', dictionaries=dictionaries)

Applicazione del modello su nuovi dati

Dopo aver addestrato i dizionari, applicare il modello su nuovi dati utilizzando il metodo run() , come si utilizzerebbe su uno qualsiasi dei blocchi pre - formati esistenti.

Esempio di codice

custom_dict_block.run('Bruce is at Times Square')

Output dell'esempio di codice:

{(0, 5): ['Names'], (12, 24): ['SIGHT']}

Per mostrare le etichette o il nome del dizionario:

RBR_result = custom_dict_block.executor.get_raw_response('Bruce is at Times Square', language='en')
print(RBR_result)

Output che mostra le etichette:

{'annotations': {'View_Names': [{'label': 'Names', 'match': {'location': {'begin': 0, 'end': 5}, 'text': 'Bruce'}}], 'View_places_and_sights_mappings': [{'label': 'SIGHT', 'match': {'location': {'begin': 12, 'end': 24}, 'text': 'Times Square'}}]}, 'instrumentationInfo': {'annotator': {'version': '1.0', 'key': 'Text match extractor for NLP_Dict_Module_1'}, 'runningTimeMS': 3, 'documentSizeChars': 32, 'numAnnotationsTotal': 2, 'numAnnotationsPerType': [{'annotationType': 'View_Names', 'numAnnotations': 1}, {'annotationType': 'View_places_and_sights_mappings', 'numAnnotations': 1}], 'interrupted': False, 'success': True}}

Argomento principale: Creazione dei propri modelli