0 / 0
Torna alla versione inglese della documentazione
Watson Libreria di elaborazione della lingua naturale
Ultimo aggiornamento: 21 nov 2024
Watson Libreria di elaborazione della lingua naturale

La libreria Watson Natural Language Processing fornisce funzioni di elaborazione del linguaggio naturale per l'analisi della sintassi e modelli pre - addestrati per un'ampia varietà di attività di elaborazione del testo, come l'analisi delle opinioni, l'estrazione delle parole chiave e la classificazione. La libreria Watson Natural Language Processing è disponibile solo per Python .

Con Watson Natural Language Processing, è possibile trasformare dati non strutturati in dati strutturati, rendendo i dati più facili da comprendere e trasferibili, in particolare se si lavora con un mix di dati non strutturati e strutturati. Esempi di tali dati sono i record del call center, i reclami dei clienti, i post sui social media o i report dei problemi. I dati non strutturati fanno spesso parte di un record di dati più grande che include colonne con dati strutturati. Estrarre significato e struttura dai dati non strutturati e combinare queste informazioni con i dati nelle colonne di dati strutturati:

  • Fornisce una comprensione più approfondita dei dati di input
  • Può aiutarti a prendere decisioni migliori.

Watson Natural Language Processing fornisce modelli pre - formati in oltre 20 lingue. Sono curati da un team dedicato di esperti, e valutati per la qualità su ogni lingua specifica. Questi modelli pre - formati possono essere utilizzati in ambienti di produzione senza che si debba preoccupare di licenze o infrazioni di proprietà intellettuale.

Sebbene sia possibile creare i propri modelli, il modo più semplice per iniziare con Watson Natural Language Processing è quello di eseguire i modelli pre - formati su testo non strutturato per eseguire le attività di elaborazione della lingua.

Alcuni esempi di attività di elaborazione del linguaggio disponibili in modelli pre - addestrati di Watson Natural Language Processing:

  • Rilevamento lingua: rileva la lingua del testo di immissione
  • Sintassi: tokenizzazione, lemmatizzazione, parte di tag speech e parsing di dipendenza
  • Estrazione entità: trovare menzioni di entità (come persona, organizzazione o data)
  • Estrazione della frase del nome: estrarre le frasi del nome dal testo di input
  • Classificazione del testo: analizzare testo e poi assegnare una serie di tag o categorie pre - definite in base al suo contenuto
  • Classificazione del sentiment: il documento di input è positivo, negativo o neutro?
  • Classifica dei toni: classifica il tono nel documento di input (come eccitato, frustrato o triste)
  • Classificazione delle emozioni: classifica l'emozione del documento di input (come la rabbia o il disgusto)
  • Estrazione delle parole chiave: estrarre frasi sostante che sono rilevanti nel testo di input
  • Concetti: trova concetti da DBPedia nel testo di input
  • Relazioni: rileva le relazioni tra due entità
  • Categorie gerarchiche: assegnare singoli nodi all'interno di una tassonomia gerarchica al documento di input
  • Embeddings: mappa singole parole o frammenti di testo più grandi in uno spazio vettoriale

Watson Natural Language Processing incorpora la funzionalità del linguaggio naturale tramite blocchi e flussi di lavoro. Blocchi e flussi di lavoro supportano funzioni per caricare, eseguire, addestrare e salvare un modello.

Per ulteriori informazioni, fai riferimento a Utilizzo dei modelli pre - addestrati.

Alcuni esempi su come utilizzare la libreria Watson Natural Language Processing:

Esecuzione dell'analisi della sintassi su un frammento di testo:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

Estrazione di entità da un frammento di testo:

import watson_nlp
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Per esempi su come utilizzare la libreria Watson Natural Language Processing, fare riferimento a Watson Natural Language Processing library usage samples.

Utilizzo di Watson Natural Language Processing in un notebook

Puoi eseguire i tuoi notebook Python che utilizzano la libreria Watson Natural Language Processing in uno qualsiasi degli ambienti qui elencati. I modelli di ambiente GPU includono la libreria Watson Natural Language Processing.

DO + NLP: indica che il template ambiente include sia le librerie CPLEX che DOcplex per modellare e risolvere i problemi di ottimizzazione delle decisioni e la libreria Watson Natural Language Processing.

~: indica che il modello di ambiente richiede il piano watsonx.ai Studio Professional. Vedi Piani dell'offerta.

Modelli di ambiente che includono la libreria Watson Natural Language Processing
Nome Configurazione hardware Tariffa CUH all'ora
NLP + DO Runtime 24.1 su Python 3.11 XS 2vCPU e 8 GB di RAM 6
GPU V100 Runtime 24.1 su Python 3.11 ~ 40 vCPU + 172 GB + 1 Nvidia ® V100 (1 GPU) 68
GPU 2xV100 Runtime 24.1 su Python 3.11 ~ 80 vCPU + 344 Gb + 2 NVIDIA ® V100 (2 GPU) 136

Normalmente questi ambienti sono sufficienti per eseguire notebook che utilizzano modelli precostruiti. Se avete bisogno di un ambiente più ampio, ad esempio per addestrare i vostri modelli, potete creare un modello personalizzato che includa la libreria Watson Natural Language Processing.

  • Creare un modello personalizzato senza GPU selezionando il tipo di motore Default, la dimensione di configurazione hardware necessaria e scegliendo NLP + DO Runtime 24.1 on Python 3.11 come versione del software.
  • Crea un template personalizzato con GPU selezionando il tipo di motore GPU, la dimensione di configurazione hardware di cui hai bisogno e scegliendo GPU Runtime 24.1 on Python 3.11 come versione software.

Ulteriori informazioni

Argomento principale: Notebook e script

Ricerca e risposta AI generativa
Queste risposte sono generate da un modello di lingua di grandi dimensioni in watsonx.ai basato sul contenuto della documentazione del prodotto. Ulteriori informazioni