Watson Natural Language Processing 语法块封装了语法分析功能。
块名称
syntax_izumo_<language>_stock
syntax_izumo_<language>_stock-dp
受支持的语言
语法分析块可用于以下语言。 有关语言代码和相应语言的列表,请参阅 语言代码。
要用于模型 syntax_izumo_<language>_stock
的语言代码 :af , ar , bs , ca , cs , da , de , el , en , es , fi , fr , he , hi , hr , it , ja , ko , nb , nl , nn , pl , pt , ro , ru , sk , sr , sv , tr , zh_cn , zh_tw
要用于模型 syntax_izumo_<language>_stock-dp
的语言代码 :af , ar , bs , ca , cs , da , de , el , en , es , fi , fr , he , hi , hr , it , ja , ko , nb , nl , nn , pl , pt , ro , ru , sk , sr , sv , tr , zh
任务 | 所支持语言的代码 |
---|---|
记号化 | af , ar , bs , ca , cs , da , de , el , en , es , fi , fr , he , hi , hr , it , ja , ko , nb , nl , nn , pl , pt , ro , ru , sk , sr , sv , tr , zh_cn , zh_tw , zh |
词性标记 | af , ar , bs , ca , cs , da , de , nl , nn , el , en , es , fi , fr , he , hi , hr , it , ja , ko , nb , pl , pt , ro , ru , sk , sr , sv , tr , zh_cn , zh_tw , zh |
词形还原 | af , ar , bs , ca , cs , da , de , el , en , es , fi , fr , he , hi , hr , it , ja , ko , nb , nl , nn , pl , pt , ro , ru , sk , sr , sv , tr , zh_cn , zh_tw , zh |
句子检测 | af , ar , bs , ca , cs , da , de , el , en , es , fi , fr , he , hi , hr , it , ja , ko , nb , nl , nn , pl , pt , ro , ru , sk , sr , sv , tr , zh_cn , zh_tw , zh |
段落检测 | af , ar , bs , ca , cs , da , de , el , en , es , fi , fr , he , hi , hr , it , ja , ko , nb , nl , nn , pl , pt , ro , ru , sk , sr , sv , tr , zh_cn , zh_tw , zh |
依赖关系解析 | af , ar , bs , cs , da , de , en , es , fi , fr , hi , hr , it , ja , nb , nl , nn , pt , ro , ru , sk , sr , sv |
功能
使用此块可执行诸如语句检测,记号化,词性标记,词性化和不同语言的依赖关系解析之类的任务。 对于大多数任务,您可能只需要语句检测,记号化和词性标记。 对于这些用例,请使用 syntax_model_xx_stock
模型。 如果要运行依赖关系解析,请使用 syntax_model_xx_stock-dp
模型。
词性 (POS) 标记和依赖关系的分析遵循通用词性标记集 (通用 POS 标记) 和通用依赖关系 v2 标记集 (通用依赖关系关系)。
下表显示了基于相同示例的每个任务的功能以及解析结果。
功能 | 示例 | 解析器属性 |
---|---|---|
记号化 | "我不喜欢 Mondays" --> "I" , "do" , "n ' t" , "like" , "Mondays" | 标记 |
部分-Of_Speech 检测 | "我不喜欢星期一" --> "我" \POS_PRON , "do "\POS_AUX , "n' t" \POS_PART , "like "\POS_VERB ," Mondays " \POS_PROPN | part_of_speech |
词形还原 | "I don't like Mondays" --> "I", "do", "not", "like", "Monday" | 词条 |
依赖关系解析 | "I don't like Mondays" --> "I"-SUBJECT->"like"<-OBJECT-"Mondays" | 依赖关系 |
句子检测 | "I don't like Mondays" --> returns this sentence | 语句 |
段落检测 (目前段落检测仍是实验性的,并将类似的结果返回到句子检测。) | "我不喜欢蒙天" --> 返回此句为段落 | 语句 |
对其他块的依赖关系
无
代码样本
import watson_nlp
# Load Syntax for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')
# Detect tokens, lemma and part-of-speech
text = 'I don\'t like Mondays'
syntax_prediction = syntax_model.run(text, parsers=('token', 'lemma', 'part_of_speech'))
# Print the syntax result
print(syntax_prediction)
代码示例的输出:
{
"text": "I don't like Mondays",
"producer_id": {
"name": "Izumo Text Processing",
"version": "0.0.1"
},
"tokens": [
{
"span": {
"begin": 0,
"end": 1,
"text": "I"
},
"lemma": "I",
"part_of_speech": "POS_PRON"
},
{
"span": {
"begin": 2,
"end": 4,
"text": "do"
},
"lemma": "do",
"part_of_speech": "POS_AUX"
},
{
"span": {
"begin": 4,
"end": 7,
"text": "n't"
},
"lemma": "not",
"part_of_speech": "POS_PART"
},
{
"span": {
"begin": 8,
"end": 12,
"text": "like"
},
"lemma": "like",
"part_of_speech": "POS_VERB"
},
{
"span": {
"begin": 13,
"end": 20,
"text": "Mondays"
},
"lemma": "Monday",
"part_of_speech": "POS_PROPN"
}
],
"sentences": [
{
"span": {
"begin": 0,
"end": 20,
"text": "I don't like Mondays"
}
}
],
"paragraphs": [
{
"span": {
"begin": 0,
"end": 20,
"text": "I don't like Mondays"
}
}
]
}