Estrazione delle opinioni delle destinazioni con un modello di trasformatore personalizzato

Formato dei dati di input per l'addestramento

Copy link to section

È necessario fornire un dataset di formazione e sviluppo alla funzione di formazione. I dati di sviluppo sono di solito circa il 10% dei dati di formazione. Ogni esempio di addestramento o sviluppo è rappresentato come un oggetto JSON. Deve avere un testo e un campo target_menzioni . Il testo rappresenta il testo di esempio di addestramento e il campo target_menzionato è un array, che contiene una voce per ogni citazione di destinazione con il suo testo, ubicazionee opinione.

Considera l'utilizzo di Watson Knowledge Studio per consentire agli esperti in materia del tuo dominio di annotare facilmente il testo e creare dati di formazione.

Di seguito è riportato un esempio di array con dati di addestramento di esempio:

[
  {
    "text": "Those waiters stare at you your entire meal, just waiting for you to put your fork down and they snatch the plate away in a second.",
    "target_mentions": [
      {
        "text": "waiters",
        "location": {
          "begin": 6,
          "end": 13
        },
        "sentiment": "negative"
      }
    ]
  }
]
Copy to clipboardCopiato negli appunti

I dataset di formazione e sviluppo vengono creati come flussi di dati da array di oggetti JSON. Per creare i flussi di dati, è possibile utilizzare il metodo di utilità read_json_to_stream. Richiede il modello di analisi della sintassi per il linguaggio dei dati di input.

Codice di esempio:

import watson_nlp
from watson_nlp.toolkit.targeted_sentiment.training_data_reader import read_json_to_stream

training_data_file = 'train_data.json'
dev_data_file = 'dev_data.json'

# Load the syntax analysis model for the language of your input data
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Prepare train and dev data streams
train_stream = read_json_to_stream(json_path=training_data_file, syntax_model=syntax_model)
dev_stream = read_json_to_stream(json_path=dev_data_file, syntax_model=syntax_model)
Copy to clipboardCopiato negli appunti

Caricamento delle risorse del modello preaddestrate

Copy link to section

Il modello Slate IBM Foundation preaddestrato deve essere caricato prima di passarlo all'algoritmo di addestramento.

Per un elenco dei modelli Slate disponibili, vedere questa tabella:

Per caricare il modello:

# Load the pretrained Slate IBM Foundation model
pretrained_model_resource = watson_nlp.load('<pretrained Slate model>')
Copy to clipboardCopiato negli appunti

Addestramento del modello

Copy link to section

Per tutte le opzioni disponibili per la configurazione dell'addestramento di sentiment transformer, immettere:

help(watson_nlp.blocks.targeted_sentiment.SequenceTransformerTSA.train)
Copy to clipboardCopiato negli appunti

Il metodo train creerà un nuovo modello di blocco delle opinioni delle destinazioni.

Di seguito è riportata una chiamata di esempio che utilizza i dati di input e il modello preaddestrato dalla sezione precedente (Addestramento del modello):

# Train the model
custom_tsa_model = watson_nlp.blocks.targeted_sentiment.SequenceTransformerTSA.train(
    train_stream,
    dev_stream,
    pretrained_model_resource,
    num_train_epochs=5
)
Copy to clipboardCopiato negli appunti

Applicazione del modello ai nuovi dati

Copy link to section

Dopo aver addestrato il modello su un dataset, applica il modello ai nuovi dati utilizzando il metodo run() , come si utilizzerebbe su uno qualsiasi dei blocchi preaddestrati esistenti. Poiché il modello personalizzato creato è un modello di blocchi, devi eseguire l'analisi della sintassi sul testo di input e passare i risultati ai metodi run() .

Codice di esempio:

input_text = 'new input text'

# Run syntax analysis first
syntax_model = watson_nlp.load('syntax_izumo_en_stock')
syntax_analysis = syntax_model.run(input_text, parsers=('token',))

# Apply the new model on top of the syntax predictions
tsa_predictions = custom_tsa_model.run(syntax_analysis)
Copy to clipboardCopiato negli appunti

Memorizzazione e caricamento del modello

Copy link to section

Il modello di opinione delle destinazioni personalizzate può essere archiviato come qualsiasi altro modello come descritto in Salvataggio e caricamento dei modelli personalizzati, utilizzando ibm_watson_studio_lib.

Per caricare il modello di opinione delle destinazioni personalizzate, sono richiesti ulteriori passi:

1. Assicurati di avere un token di accesso nella pagina Controllo accesso nella scheda Gestisci del progetto. Solo gli amministratori del progetto possono creare token di accesso. Il token di accesso può avere le autorizzazioni di accesso Visualizzatore o Editor . Solo gli editor possono inserire il token in un notebook.

2. Aggiungere il token del progetto al notebook facendo clic su Altro> Inserisci token del progetto dalla barra delle azioni del notebook. Quindi eseguire la cella.

   Eseguendo la cella di codice nascosto inserito, viene creato un oggetto wslib che è possibile utilizzare per le funzioni nella libreria ibm-watson-studio-lib . Per informazioni sulle funzioni ibm-watson-studio-lib disponibili, vedi Using ibm - watson - studio - lib for Python.

3. Scaricare ed estrarre il modello nell'ambiente di runtime locale:

   import zipfile
   model_zip = 'custom_TSA_model_file'
   model_folder = 'custom_TSA'
   wslib.download_file('custom_TSA_model', file_name=model_zip)
   
   with zipfile.ZipFile(model_zip, 'r') as zip_ref:
     zip_ref.extractall(model_folder)
   Copy to clipboardCopiato negli appunti

4. Caricare il modello dalla cartella estratta:

   custom_TSA_model = watson_nlp.load(model_folder)
   Copy to clipboardCopiato negli appunti

Argomento principale: Creazione di propri modelli