Watson 자연어 처리 라이브러리

Watson Natural Language Processing 라이브러리는 감성 분석, 키워드 추출 및 분류와 같은 다양한 텍스트 처리 태스크에 대한 구문 분석 및 사전 훈련된 모델을 위한 자연어 처리 기능을 제공합니다. Watson 자연어 처리 라이브러리는 Python에만 사용할 수 있습니다.

Watson 자연어 처리를 사용하면 비정형 데이터를 구조화된 데이터로 변환하여 데이터를 더 쉽게 이해하고 전송할 수 있습니다. 특히 비정형 데이터와 구조화된 데이터를 혼합하여 작업하는 경우에는 전송할 수 있습니다. 이러한 데이터의 예로 콜 센터 레코드, 고객 불만, 소셜 미디어 포스트 또는 문제점 보고서가 있습니다. 구조화되지 않은 데이터는 종종 구조화된 데이터가 있는 컬럼을 포함하는 더 큰 데이터 레코드의 일부입니다. 구조화되지 않은 데이터에서 의미 및 구조를 추출하고 이 정보를 구조화된 데이터의 컬럼에 있는 데이터와 결합합니다.

• 입력 데이터에 대한 심층적인 이해를 제공합니다.
• 더 나은 의사결정을 내리는 데 도움을 줄 수 있습니다.

Watson 자연어 처리는 20개 이상의 언어로 선행 학습된 모델을 제공합니다. 이들은 전문가들로 구성된 전담 팀에 의해 관리되고 각 특정 언어의 품질에 대해 평가됩니다. 이러한 사전 훈련된 모델은 라이센스 또는 지적 재산권 침해에 대해 걱정하지 않아도 프로덕션 환경에서 사용할 수 있습니다.

사용자 고유의 모델을 작성할 수 있지만 Watson 자연어 처리를 시작하는 가장 쉬운 방법은 비구조화된 텍스트에서 선행 학습된 모델을 실행하여 언어 처리 태스크를 수행하는 것입니다.

Watson Natural Language Processing 사전 훈련된 모델에서 사용 가능한 언어 처리 태스크의 몇 가지 예는 다음과 같습니다.

• 언어 발견: 입력 텍스트의 언어 발견
• 구문: 토큰화, 표제어, 음성 태그 지정 및 종속성 구문 분석
• 엔티티 추출: 엔티티(예: 개인, 조직 또는 날짜)의 언급을 찾습니다.
• 명사 구문 추출: 입력 텍스트에서 명사 구문 추출
• 텍스트 분류: 텍스트를 분석한 후 컨텐츠에 따라 사전 정의된 태그 또는 카테고리 세트를 지정합니다.
• 심리 분류: 입력 문서 양수, 음수 또는 중립적입니까?
• 톤 분류: 입력 문서에서 어조를 분류합니다(예: 흥분됨, 좌절감 또는 슬픈 경우).
• 정서 분류: 입력 문서의 감정(예: 분노 또는 혐오)을 분류합니다.
• 키워드 추출: 입력 텍스트와 관련된 명사 구문의 추출
• 개념: 입력 텍스트에서 DBPedia의 개념 찾기
• 관계: 두 엔티티 간의 관계 발견
• 계층 구조 카테고리: 계층 구조 분류 내의 개별 노드를 입력 문서에 지정합니다.
• 임베드: 개별 단어 또는 대형 텍스트 스니펫을 벡터 공간으로 맵핑

Watson 자연어 처리는 블록 및 워크플로우를 통해 자연어 기능을 캡슐화합니다. 블록 및 워크플로우는 모델을 로드, 실행, 훈련 및 저장하는 기능을 지원합니다.

자세한 정보는 사전 훈련된 모델에 대한 작업을 참조하십시오.

Watson Natural Language Processing 라이브러리를 사용하는 방법에 대한 몇 가지 예는 다음과 같습니다.

텍스트 스니펫에서 구문 분석 실행:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

텍스트 스니펫에서 엔티티 추출:

import watson_nlp
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Watson Natural Language Processing 라이브러리 사용 방법의 예는 Watson Natural Language Processing 라이브러리 사용 샘플을 참조하십시오.