Translation not up to date
Watson Natural Language Processing udostępnia wstępnie wyszkolone modele w ponad 20 językach. Są one kurowane przez dedykowany zespół ekspertów, i ocenione pod kątem jakości na każdym konkretnym języku. Te wstępnie wyszkolone modele mogą być używane w środowiskach produkcyjnych bez konieczności martwienia się o licencje lub naruszenia własności intelektualnej.
Ładowanie i uruchamianie modelu
Aby załadować model, należy najpierw znać jego nazwę. Nazwy modeli są zgodne ze standardową konwencją kodują typ modelu (np. klasyfikację lub wyodrębnianie jednostek), typ algorytmu (np. BERT lub SVM), kod języka i szczegóły systemu typów.
Aby znaleźć model zgodny z potrzebami, należy skorzystać z katalogu zadań. Patrz katalog zadań NLPWatson.
Oczekiwane dane wejściowe dla danej klasy bloku (na przykład dla modelu Mentions Entity) można znaleźć za pomocą programu help() w klasie bloku run() :
import watson_nlp
help(watson_nlp.blocks.keywords.TextRank.run)
Watson Natural Language Processing wzbogaca funkcjonalność języka naturalnego za pomocą bloków i przepływów pracy. Każdy blok lub przepływ pracy obsługuje funkcje do:
load(): ładowanie modelurun(): uruchom model w argumentach wejściowychtrain(): szkolenie modelu na podstawie własnych danych (nie wszystkie bloki i przepływy pracy wspomagają szkolenia)save(): zapisz model, który został przeszkolony w oparciu o własne dane
Bloki
Istnieją dwa typy bloków:
Przepływy pracy uruchamiają jeden blok w dokumencie wejściowym, w potoku.
Bloki, które działają bezpośrednio na dokumencie wejściowym
Przykładem bloku, który działa bezpośrednio na dokumencie wejściowym jest blok składni, który wykonuje operacje przetwarzania języka naturalnego, takie jak tokenizacja, lematyzacja, część oznaczania mowy lub analizowanie zależności.
Przykład: uruchamianie analizy składni na fragmencie kodu:
import watson_nlp
# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')
# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)
Bloki zależne od innych bloków
Bloki, które zależą od innych bloków, nie mogą być stosowane bezpośrednio w dokumencie wejściowym. Są one stosowane na wyjściu jednego lub większej liczby bloków przedeeding. Na przykład blok ekstrakcji słów kluczowych jest zależny od bloku fraz składni i rzeczowników.
Bloki te mogą być ładowane, ale mogą być uruchamiane tylko w określonej kolejności w dokumencie wejściowym. Na przykład:
import watson_nlp
text = "Anna went to school at University of California Santa Cruz. \
Anna joined the university in 2015."
# Load Syntax, Noun Phrases and Keywords models for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')
noun_phrases_model = watson_nlp.load('noun-phrases_rbr_en_stock')
keywords_model = watson_nlp.load('keywords_text-rank_en_stock')
# Run the Syntax and Noun Phrases models
syntax_prediction = syntax_model.run(text, parsers=('token', 'lemma', 'part_of_speech'))
noun_phrases = noun_phrases_model.run(text)
# Run the keywords model
keywords = keywords_model.run(syntax_prediction, noun_phrases, limit=2)
print(keywords)
Przepływy pracy
Przepływy pracy są predefiniowanymi rurociągami na całej trasie z surowego dokumentu do końcowego bloku, w którym wszystkie niezbędne bloki są połączone w łańcuchy w ramach potoku przepływu pracy. Na przykład blok Mentions Entity, oferowany w środowisku wykonawczym 22.2 , wymaga wyników analizy składni, więc proces na całej trasie będzie następujący: text text-> Syntax analysis-> Entity Mentions-> Entity Mentions wyniki. Począwszy od środowiska wykonawczego 23.1, można wywołać przepływ pracy Mencje obiektów. Zapoznaj się z następującym przykładem:
import watson_nlp
# Load the workflow model
mentions_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
mentions_workflow.run('IBM announced new advances in quantum computing', language_code="en")
Temat nadrzędny: Watson Natural Language Processing library