Tipos de archivos de diccionario

Watson Natural Language Processing da soporte a dos tipos de archivos de diccionario:

• Lista de términos (finaliza en .dict)

  Ejemplo de una lista de términos:

  Arthur
  Allen
  Albert
  Alexa
  

• Tabla (finaliza en .csv)

  Ejemplo de una tabla:

  "label", "entry"
  "ORGANIZATION", "NASA"
  "COUNTRY", "USA"
  "ACTOR", "Christian Bale"
  

Puede utilizar varios diccionarios durante la misma extracción. También puede utilizar ambos tipos al mismo tiempo, por ejemplo, ejecutar una única extracción con tres diccionarios, una lista de términos y dos tablas.

Creación de archivos de diccionario

Empiece creando un directorio de módulos dentro del cuaderno. Se trata de un directorio dentro del sistema de archivos del cuaderno que se utilizará temporalmente para almacenar los archivos de diccionario.

Para crear archivos de diccionario en el cuaderno:

1. Cree un directorio de módulo. Tenga en cuenta que el nombre de la carpeta del módulo no puede contener guiones, ya que esto causará errores.

   import os
   import watson_nlp
   module_folder = "NLP_Dict_Module_1"
   os.makedirs(module_folder, exist_ok=True)
   

2. Cree archivos de diccionario y almacénelos en el directorio del módulo. Puede leer una lista externa o un archivo CSV, o puede crear archivos de diccionario como:

   # Create a term list dictionary
   term_file = "names.dict"
   with open(os.path.join(module_folder, term_file), 'w') as dictionary:
       dictionary.write('Bruce')
       dictionary.write('\n')
       dictionary.write('Peter')
       dictionary.write('\n')
   
   # Create a table dictionary
   table_file = 'Places.csv'
   with open(os.path.join(module_folder, table_file), 'w') as places:
       places.write("\"label\", \"entry\"")
       places.write("\n")
       places.write("\"SIGHT\", \"Times Square\"")
       places.write("\n")
       places.write("\"PLACE\", \"5th Avenue\"")
       places.write("\n")
   

Carga de los diccionarios y configuración de opciones de coincidencia

Los diccionarios se pueden cargar utilizando los siguientes métodos de ayuda.

• Para cargar un solo diccionario, utilice watson_nlp.toolkit.rule_utils.DictionaryConfig (<dictionary configuration>)
• Para cargar varios diccionarios, utilice watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([<dictionary configuration>)])

Para cada diccionario, debe especificar una configuración de diccionario. La configuración del diccionario es un diccionario Python, con los atributos siguientes:

Ejemplo de código

# Load the dictionaries
dictionaries = watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([{
    'name': 'Names',
    'source': term_file,
    'case':'insensitive'
}, {
    'name': 'places_and_sights_mappings',
    'source': table_file,
    'dict_type': 'table',
    'mappings': {
        'columns': ['label', 'entry'],
        'entry': 'entry'
    }
}])

Entrenamiento de un modelo que contiene diccionarios

Después de haber cargado los diccionarios, cree un modelo de diccionario y entrene el modelo utilizando el método RBR.train(). En el método, especifique:

• El directorio del módulo
• El idioma de las entradas del diccionario
• Los diccionarios para utilizar

Ejemplo de código

custom_dict_block = watson_nlp.resources.feature_extractor.RBR.train(module_folder,
language='en', dictionaries=dictionaries)

Aplicación del modelo en datos nuevos

Después de haber entrenado los diccionarios, aplique el modelo en los datos nuevos utilizando el método run(), tal como se utilizaría en cualquiera de los bloques entrenados previamente existentes.

Ejemplo de código

custom_dict_block.run('Bruce is at Times Square')

Ejemplo de salida de código:

{(0, 5): ['Names'], (12, 24): ['SIGHT']}

Para mostrar las etiquetas o el nombre del diccionario:

RBR_result = custom_dict_block.executor.get_raw_response('Bruce is at Times Square', language='en')
print(RBR_result)

Salida que muestra las etiquetas:

{'annotations': {'View_Names': [{'label': 'Names', 'match': {'location': {'begin': 0, 'end': 5}, 'text': 'Bruce'}}], 'View_places_and_sights_mappings': [{'label': 'SIGHT', 'match': {'location': {'begin': 12, 'end': 24}, 'text': 'Times Square'}}]}, 'instrumentationInfo': {'annotator': {'version': '1.0', 'key': 'Text match extractor for NLP_Dict_Module_1'}, 'runningTimeMS': 3, 'documentSizeChars': 32, 'numAnnotationsTotal': 2, 'numAnnotationsPerType': [{'annotationType': 'View_Names', 'numAnnotations': 1}, {'annotationType': 'View_places_and_sights_mappings', 'numAnnotations': 1}], 'interrupted': False, 'success': True}}

Tema principal: Crear sus propios modelos