Biblioteka Watson Natural Language Processing udostępnia funkcje przetwarzania języka naturalnego na potrzeby analizy składni i gotowych do użycia modeli wstępnie wytrenowanych dla wielu różnych zadań przetwarzania tekstu, takich jak analiza odczuć, wyodrębnianie słów kluczowych i klasyfikacja. Biblioteka Watson Natural Language Processing jest dostępna tylko dla języka Python .

Produkt Watson Natural Language Processing umożliwia przekształcanie danych nieustrukturyzowanych w dane ustrukturyzowane, co ułatwia ich zrozumienie i przenoszenie, zwłaszcza w przypadku pracy z danymi nieustrukturyzowanymi i ustrukturyzowanymi. Przykładami takich danych są rekordy centrum zgłoszeniowego, skargi klientów, wypowiedzi w mediach społecznościowych lub raporty o problemach. Dane nieustrukturyzowane są często częścią większego rekordu danych, który obejmuje kolumny z danymi ustrukturyzowanymi. Wyodrębnianie znaczenia i struktury z danych nieustrukturyzowanych oraz łączenie tych informacji z danymi w kolumnach danych ustrukturyzowanych pozwala lepiej zrozumieć dane wejściowe i ułatwia podejmowanie lepszych decyzji.

Watson Natural Language Processing udostępnia wstępnie wytrenowane modele w ponad 20 językach. Są one kurowane przez dedykowany zespół ekspertów, i oceniane pod względem jakości na każdym konkretnym języku. Te wstępnie wytrenowane modele mogą być używane w środowiskach produkcyjnych bez konieczności martwienia się o naruszenie licencji lub praw własności intelektualnej.

Chociaż można tworzyć własne modele, najprostszym sposobem na rozpoczęcie pracy z produktem Watson Natural Language Processing jest uruchomienie wstępnie wytrenowanych modeli na nieustrukturyzowanym tekście w celu wykonania zadań związanych z przetwarzaniem języka.

Oto kilka przykładów zadań przetwarzania języka dostępnych w wstępnie wytrenowanych modelach Watson Natural Language Processing:

• Wykrywanie języka: wykrywanie języka tekstu wejściowego
• Składnia: tokenizacja, lematyzacja, oznaczanie części mowy i analizowanie zależności
• Wyodrębnianie jednostek: wyszukiwanie wzmianek o jednostkach (takich jak osoba, organizacja lub data)
• Wyodrębnianie fraz rzeczowników: wyodrębnianie fraz rzeczowników z tekstu wejściowego
• Klasyfikacja tekstu: analizuj tekst, a następnie przypisz zestaw predefiniowanych znaczników lub kategorii na podstawie ich zawartości
• Klasyfikacja odczuć: czy dokument wejściowy jest pozytywny, negatywny lub neutralny?
• Klasyfikacja tonów: klasyfikuje ton w dokumencie wejściowym (jak podekscytowany, sfrustrowany lub smutny)
• Klasyfikacja emocji: klasyfikuje emocje dokumentu wejściowego (takie jak gniew lub odrazę)
• Wyodrębnianie słów kluczowych: wyodrębnianie fraz rzeczowników, które są istotne w tekście wejściowym
• Pojęcia: znajdź pojęcia z DBPedia w tekście wejściowym
• Relacje: wykrywanie relacji między dwoma jednostkami
• Kategorie hierarchiczne: przypisywanie pojedynczych węzłów w ramach systematyki hierarchicznej do dokumentu wejściowego
• Osadzenia: odwzoruj pojedyncze słowa lub większe fragmenty tekstu na przestrzeń wektorową

Watson Natural Language Processing obudowuje funkcje języka naturalnego za pomocą bloków i przepływów pracy. Bloki i przepływy pracy obsługują funkcje ładowania, uruchamiania, trenowania i zapisywania modelu.

Więcej informacji na ten temat zawiera sekcja Praca z wstępnie wytrenowanymi modelami.

Poniżej znajduje się kilka przykładów użycia biblioteki Watson Natural Language Processing:

Wykonywanie analizy składni na fragmencie kodu:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

Wyodrębnianie jednostek z fragmentu kodu:

import watson_nlp
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Przykłady korzystania z biblioteki Watson Natural Language Processing można znaleźć w sekcji Watson Natural Language Processing library usage samples(Przykłady użycia biblioteki przetwarzania języka naturalnego).