La libreria Watson Natural Language Processing fornisce funzioni di elaborazione del linguaggio naturale per l'analisi della sintassi e modelli pre - addestrati per un'ampia varietà di attività di elaborazione del testo, come l'analisi delle opinioni, l'estrazione delle parole chiave e la classificazione. La libreria Watson Natural Language Processing è disponibile solo per Python .
Con Watson Natural Language Processing, è possibile trasformare dati non strutturati in dati strutturati, rendendo i dati più facili da comprendere e trasferibili, in particolare se si lavora con un mix di dati non strutturati e strutturati. Esempi di tali dati sono i record del call center, i reclami dei clienti, i post sui social media o i report dei problemi. I dati non strutturati fanno spesso parte di un record di dati più grande che include colonne con dati strutturati. Estrarre significato e struttura dai dati non strutturati e combinare queste informazioni con i dati nelle colonne di dati strutturati:
- Fornisce una comprensione più approfondita dei dati di input
- Può aiutarti a prendere decisioni migliori.
Watson Natural Language Processing fornisce modelli pre - formati in oltre 20 lingue. Sono curati da un team dedicato di esperti, e valutati per la qualità su ogni lingua specifica. Questi modelli pre - formati possono essere utilizzati in ambienti di produzione senza che si debba preoccupare di licenze o infrazioni di proprietà intellettuale.
Sebbene sia possibile creare i propri modelli, il modo più semplice per iniziare con Watson Natural Language Processing è quello di eseguire i modelli pre - formati su testo non strutturato per eseguire le attività di elaborazione della lingua.
Alcuni esempi di attività di elaborazione del linguaggio disponibili in modelli pre - addestrati di Watson Natural Language Processing:
- Rilevamento lingua: rileva la lingua del testo di immissione
- Sintassi: tokenizzazione, lemmatizzazione, parte di tag speech e parsing di dipendenza
- Estrazione entità: trovare menzioni di entità (come persona, organizzazione o data)
- Estrazione della frase del nome: estrarre le frasi del nome dal testo di input
- Classificazione del testo: analizzare testo e poi assegnare una serie di tag o categorie pre - definite in base al suo contenuto
- Classificazione del sentiment: il documento di input è positivo, negativo o neutro?
- Classifica dei toni: classifica il tono nel documento di input (come eccitato, frustrato o triste)
- Classificazione delle emozioni: classifica l'emozione del documento di input (come la rabbia o il disgusto)
- Estrazione delle parole chiave: estrarre frasi sostante che sono rilevanti nel testo di input
- Concetti: trova concetti da DBPedia nel testo di input
- Relazioni: rileva le relazioni tra due entità
- Categorie gerarchiche: assegnare singoli nodi all'interno di una tassonomia gerarchica al documento di input
- Embeddings: mappa singole parole o frammenti di testo più grandi in uno spazio vettoriale
Watson Natural Language Processing incorpora la funzionalità del linguaggio naturale tramite blocchi e flussi di lavoro. Blocchi e flussi di lavoro supportano funzioni per caricare, eseguire, addestrare e salvare un modello.
Per ulteriori informazioni, fai riferimento a Utilizzo dei modelli pre - addestrati.
Alcuni esempi su come utilizzare la libreria Watson Natural Language Processing:
Esecuzione dell'analisi della sintassi su un frammento di testo:
import watson_nlp
# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')
# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)
Estrazione di entità da un frammento di testo:
import watson_nlp
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())
Per esempi su come utilizzare la libreria Watson Natural Language Processing, fare riferimento a Watson Natural Language Processing library usage samples.
Utilizzo di Watson Natural Language Processing in un notebook
Puoi eseguire i tuoi notebook Python che utilizzano la libreria Watson Natural Language Processing in uno qualsiasi degli ambienti qui elencati. I modelli di ambiente GPU includono la libreria Watson Natural Language Processing.
DO + NLP: indica che il template ambiente include sia le librerie CPLEX che DOcplex per modellare e risolvere i problemi di ottimizzazione delle decisioni e la libreria Watson Natural Language Processing.
~: indica che il modello di ambiente richiede il piano watsonx.ai Studio Professional. Vedi Piani dell'offerta.
Nome | Configurazione hardware | Tariffa CUH all'ora |
---|---|---|
NLP + DO Runtime 24.1 su Python 3.11 XS | 2vCPU e 8 GB di RAM | 6 |
GPU V100 Runtime 24.1 su Python 3.11 ~ | 40 vCPU + 172 GB + 1 Nvidia ® V100 (1 GPU) | 68 |
GPU 2xV100 Runtime 24.1 su Python 3.11 ~ | 80 vCPU + 344 Gb + 2 NVIDIA ® V100 (2 GPU) | 136 |
Normalmente questi ambienti sono sufficienti per eseguire notebook che utilizzano modelli precostruiti. Se avete bisogno di un ambiente più ampio, ad esempio per addestrare i vostri modelli, potete creare un modello personalizzato che includa la libreria Watson Natural Language Processing.
- Creare un modello personalizzato senza GPU selezionando il tipo di motore
Default
, la dimensione di configurazione hardware necessaria e scegliendoNLP + DO Runtime 24.1 on Python 3.11
come versione del software. - Crea un template personalizzato con GPU selezionando il tipo di motore
GPU
, la dimensione di configurazione hardware di cui hai bisogno e scegliendoGPU Runtime 24.1 on Python 3.11
come versione software.
Ulteriori informazioni
- Creazione del proprio modello di ambiente
- Distribuzione dei modelli di elaborazione del linguaggio naturale nel runtime watsonx.ai
Argomento principale: Notebook e script