0 / 0
Go back to the English version of the documentation
Watson Natural Language Processing 库
Last updated: 2024年11月21日
Watson Natural Language Processing 库

Watson Natural Language Processing 库提供了用于语法分析的自然语言处理函数,以及用于各种文本处理任务 (例如观点分析,关键字抽取和分类) 的预训练模型。 Watson Natural Language Processing 库仅适用于 Python 。

借助 Watson Natural Language Processing ,您可以将非结构化数据转换为结构化数据,从而使数据更易于理解和传输,尤其是在使用非结构化数据和结构化数据的混合时。 此类数据的示例包括呼叫中心记录,客户投诉,社交媒体帖子或问题报告。 非结构化数据通常是包含具有结构化数据的列的较大数据记录的一部分。 从非结构化数据中提取含义和结构,并将此信息与结构化数据列中的数据组合在一起:

  • 让您更深入地了解输入数据
  • 可以帮助您做出更好的决策。

Watson Natural Language Processing 提供 20 多种语言的预训练模型。 他们由专门的专家团队组织,并对每种特定语言的质量进行评估。 这些经过预先训练的模型可以在生产环境中使用,而不必担心许可证或知识产权违规。

虽然您可以创建自己的模型,但开始使用 Watson Natural Language Processing 的最简单方法是在非结构化文本上运行预先训练的模型以执行语言处理任务。

Watson Natural Language Processing 预训练模型中提供的语言处理任务的一些示例:

  • 语言检测: 检测输入文本的语言
  • 语法: 记号化,词法化,部分语音标记和依赖关系解析
  • 实体抽取: 查找实体的提及项 (例如,人员,组织或日期)
  • 名词短语抽取: 从输入文本中抽取名词短语
  • 文本分类: 分析文本,然后根据其内容分配一组预定义的标记或类别
  • 观点分类: 输入文档是正面,负面还是中性?
  • 音色分类: 在输入文档中对音色进行分类 (如兴奋,沮丧或悲伤)
  • 情绪分类: 对输入文档的情绪进行分类 (如愤怒或厌恶)
  • 关键字抽取: 抽取在输入文本中相关的名词短语
  • 概念: 在输入文本中从 DBPedia 查找概念
  • 关系: 检测两个实体之间的关系
  • 分层类别: 将分层分类法中的各个节点分配给输入文档
  • 嵌入: 将单个词或更大的文本片段映射到向量空间中

Watson Natural Language Processing 通过块和工作流程封装自然语言功能。 块和工作流程支持用于装入,运行,训练和保存模型的功能。

有关更多信息,请参阅 使用预先训练的模型

有关如何使用 Watson Natural Language Processing 库的一些示例:

对文本片段运行语法分析:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

从文本片段中抽取实体:

import watson_nlp
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

有关如何使用 Watson Natural Language Processing 库的示例,请参阅 Watson Natural Language Processing 库用法样本

在 Notebook 中使用 Watson Natural Language Processing

您可以在此处列出的任何环境中运行使用 Watson Natural Language Processing 库的 Python Notebook。 GPU 环境模板包含 Watson Natural Language Processing 库。

DO + NLP: 指示环境模板包含用于对决策优化问题进行建模和求解的 CPLEX 和 DOcplex 库以及 Watson Natural Language Processing 库。

~: 表示环境模板需要watsonx.aiStudio Professional 计划。 请参阅产品套餐

包含 Watson Natural Language Processing 库的环境模板
名称 硬件配置 每小时 CUH 速率
NLP + DO 运行时 24.1 on Python 3.11 XS 2vCPU 和 8 GB RAM 6
GPU V100 运行时间 24.1 on Python 3.11 ~ 40 vCPU + 172 GB + 1 NVIDIA ® V100 (1 GPU) 68
GPU 2xV100 运行时间 24.1 on Python 3.11 ~ 80 vCPU + 344 GB + 2 NVIDIA ® V100 (2 GPU) 136

通常,这些环境足以运行使用预构建模型的 Notebook。 如果你需要一个更大的环境,例如训练你自己的模型,你可以创建一个包含Watson自然语言处理库的自定义模板。

  • 通过选择引擎类型 Default,所需硬件配置大小以及选择 NLP + DO Runtime 24.1 on Python 3.11 作为软件版本,创建不含 GPU 的定制模板。
  • 通过选择引擎类型 GPU,所需硬件配置大小,并选择 GPU Runtime 24.1 on Python 3.11 作为软件版本,创建具有 GPU 的定制模板。

了解更多信息

父主题: Notebook 和脚本

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more