Watson 자연어 처리 구문 블록은 구문 분석 기능을 캡슐화합니다.
블록 이름.
syntax_izumo_<language>_stocksyntax_izumo_<language>_stock-dp
지원되는 언어
구문 분석 블록은 다음 언어로 사용할 수 있습니다. 언어 코드 및 해당 언어 목록은 언어 코드를 참조하십시오.
모델 syntax_izumo_<language>_stock에 사용할 언어 코드: af, ar, bs, ca, cs, da, de, el, en, es, fi, fr, he, hi, hr, it, ja, ko, nb, nl, nn, pl, pt, ro, ru, sk, sr, sv, tr, zh_cn, zh_tw
모델 syntax_izumo_<language>_stock-dp에 사용할 언어 코드: af, ar, bs, ca, cs, da, de, el, en, es, fi, fr, he, hi, hr, it, ja, ko, nb, nl, nn, pl, pt, ro, ru, sk, sr, sv, tr, zh
| 태스크 | 지원되는 언어 코드 |
|---|---|
| 토큰화 | af, ar, bs, ca, cs, da, de, el, en, es, fi, fr, 그, hi, hr, it, ja, ko, nb, nl, nn, pl, pt, ro, ru, sk, sr, sv, tr, zh_cn, zh_tw, zh |
| 품사 태깅 | af, ar, bs, ca, cs, da, de, nl, nn, el, en, es, fi, fr, 그, hi, hr, it, ja, ko, nb, pl, pt, ro, ru, sk, sr, sv, tr, zh_cn, zh_tw, zh |
| 표제어 | af, ar, bs, ca, cs, da, de, el, en, es, fi, fr, 그, hi, hr, it, ja, ko, nb, nl, nn, pl, pt, ro, ru, sk, sr, sv, tr, zh_cn, zh_tw, zh |
| 문장 감지 | af, ar, bs, ca, cs, da, de, el, en, es, fi, fr, 그, hi, hr, it, ja, ko, nb, nl, nn, pl, pt, ro, ru, sk, sr, sv, tr, zh_cn, zh_tw, zh |
| 단락 감지 | af, ar, bs, ca, cs, da, de, el, en, es, fi, fr, 그, hi, hr, it, ja, ko, nb, nl, nn, pl, pt, ro, ru, sk, sr, sv, tr, zh_cn, zh_tw, zh |
| 종속성 구문 분석 | af, ar, bs, cs, da, de, en, es, fi, fr, hi, hr, it, ja, nb, nl, nn, pt, ro, ru, sk, sr, sv |
기능
이 블록을 사용하여 구문 감지, 토큰화, 품사 태그 지정, 표제어 및 종속성 구문 분석과 같은 태스크를 서로 다른 언어로 수행할 수 있습니다. 대부분의 태스크에는 문장 발견, 토큰화 및 품사 태그 지정만 필요합니다. 이러한 유스 케이스의 경우 syntax_model_xx_stock 모델을 사용하십시오. 종속성 구문 분석을 실행하려면 syntax_model_xx_stock-dp 모델을 사용하십시오.
POS(품사) 태깅 및 종속성에 대한 분석은 음성 태그셋(범용 POS 태그) 및 Universal Dependencies v2 태그셋(유니버셜 종속성 관계)의 범용 파트를 따릅니다.
다음 테이블은 동일한 예제를 기반으로 각 태스크의 기능과 구문 분석에 대한 결과를 보여줍니다.
| 기능 | 예 | 구문 분석기 속성 |
|---|---|---|
| 토큰화 | "I don't like Mondays" --> "I" , "do", "n't", "like", "Mondays" | 토큰 |
| Part-Of_Speech 감지 | "I don't like Mondays" --> "I"\POS_PRON, "do"\POS_AUX, "n't"\POS_PART, "like"\POS_VERB, "Mondays"\POS_PROPN | part_of_speech |
| 표제어 | "I don't like Mondays" --> "I", "do", "not", "like", "Monday" | 표제어(lemma) |
| 종속성 구문 분석 | "I don't like Mondays" --> "I"-SUBJECT->"like"<-OBJECT-"Mondays" | 종속성 |
| 문장 감지 | "I don't like Mondays" -- > 이 문장을 리턴합니다. | 문장 |
| 단락 감지(현재 단락 발견은 여전히 실험적이며 문장 감지와 유사한 결과를 리턴합니다.) | "I don't like Mondays" -- > 이 문장을 단락으로 리턴합니다. | 문장 |
다른 블록에 대한 종속성
없음
코드 샘플
import watson_nlp
# Load Syntax for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')
# Detect tokens, lemma and part-of-speech
text = 'I don\'t like Mondays'
syntax_prediction = syntax_model.run(text, parsers=('token', 'lemma', 'part_of_speech'))
# Print the syntax result
print(syntax_prediction)
코드 샘플의 출력:
{
"text": "I don't like Mondays",
"producer_id": {
"name": "Izumo Text Processing",
"version": "0.0.1"
},
"tokens": [
{
"span": {
"begin": 0,
"end": 1,
"text": "I"
},
"lemma": "I",
"part_of_speech": "POS_PRON"
},
{
"span": {
"begin": 2,
"end": 4,
"text": "do"
},
"lemma": "do",
"part_of_speech": "POS_AUX"
},
{
"span": {
"begin": 4,
"end": 7,
"text": "n't"
},
"lemma": "not",
"part_of_speech": "POS_PART"
},
{
"span": {
"begin": 8,
"end": 12,
"text": "like"
},
"lemma": "like",
"part_of_speech": "POS_VERB"
},
{
"span": {
"begin": 13,
"end": 20,
"text": "Mondays"
},
"lemma": "Monday",
"part_of_speech": "POS_PROPN"
}
],
"sentences": [
{
"span": {
"begin": 0,
"end": 20,
"text": "I don't like Mondays"
}
}
],
"paragraphs": [
{
"span": {
"begin": 0,
"end": 20,
"text": "I don't like Mondays"
}
}
]
}