用于训练的输入数据格式

您需要为训练功能提供训练和开发数据集。 开发数据通常是训练数据的 10% 左右。 每个训练或开发样本都表示为 JSON 对象。 它必须具有 文本 和 标签 字段。 text 表示训练示例文本， labels 字段是一个数组，其中正好包含一个 正， 中性或 负的标签。

以下是具有样本训练数据的数组的示例:

  [
      {
      "text": "I am happy",
      "labels": ["positive"]
      },
      {
      "text": "I am sad",
      "labels": ["negative"]
      },
      {
      "text": "The sky is blue",
      "labels": ["neutral"]
      }
  ]

训练和开发数据集将创建为来自 JSON 对象数组的数据流。 要创建数据流，可以使用实用程序方法 prepare_data_from_json:

import watson_nlp
from watson_nlp.toolkit.sentiment_analysis_utils.training import train_util as utils

training_data_file = "train_data.json"
dev_data_file = "dev_data.json"

train_stream = utils.prepare_data_from_json(training_data_file)
dev_stream = utils.prepare_data_from_json(dev_data_file)

装入预训练的模型资源

需要先装入预先训练的 Slate IBM Foundation 模型，然后再将其传递到训练算法。 此外，您需要装入输入文本中使用的语言的语法分析模型。

要装入模型:

# Load the pretrained Slate IBM Foundation model
pretrained_model_resource = watson_nlp.load('<pretrained Slate model>')

# Download relevant syntax analysis models
syntax_model_en = watson_nlp.load('syntax_izumo_en_stock')
syntax_model_de = watson_nlp.load('syntax_izumo_de_stock')

# Create a list of all syntax analysis models
syntax_models = [syntax_model_en, syntax_model_de]

训练模型

对于可用于配置观点变换器训练的所有选项，请输入:

help(watson_nlp.workflows.sentiment.AggregatedSentiment.train_transformer)

train_transformer 方法创建工作流程模型，该模型自动运行语法分析和已训练的观点分类。 在后续步骤中，启用语言检测，以便工作流程模型可以在没有任何先决条件信息的情况下对输入文本运行。

以下是使用先前部分中的输入数据和预训练模型 (训练模型) 的样本调用:

from watson_nlp.workflows.sentiment import AggregatedSentiment

sentiment_model = AggregatedSentiment.train_transformer(
          train_data_stream = train_stream,
          dev_data_stream = dev_stream,
          syntax_model=syntax_models,
         	pretrained_model_resource=pretrained_model_resource,
          label_list=['negative', 'neutral', 'positive'],
          learning_rate=2e-5,
          num_train_epochs=10,
          combine_approach="NON_NEUTRAL_MEAN",
          keep_model_artifacts=True
        )
lang_detect_model = watson_nlp.load('lang-detect_izumo_multi_stock')

sentiment_model.enable_lang_detect(lang_detect_model)

在新数据上应用模型

在数据集上训练模型后，使用 run() 方法在新数据上应用模型，就像在任何现有预训练块上使用一样。

样本代码：

input_text = 'new input text'
sentiment_predictions = sentiment_model.run(input_text)

父主题: 创建您自己的模型