Utilizzare la funzione di analisi del testo di AutoAI's per eseguire l'analisi del testo degli esperimenti. Ad esempio, eseguire l'analisi delle opinioni di base per prevedere un risultato basato su commenti di testo.
Panoramica sull'analisi del testo
Quando si crea un esperimento che utilizza la funzione di analisi del testo, il processo AutoAI utilizza l'algoritmo word2vec per convertire il testo in vettori, quindi confronta i vettori per stabilire l'impatto sulla colonna di previsione.
L'algoritmo word2vec prende un corpus di testo come input e produce un insieme di vettori. Trasformando il testo in una rappresentazione numerica, può rilevare e confrontare parole simili. Quando viene addestrato con dati sufficienti, word2vec può effettuare previsioni accurate sul significato di una parola o sulla relazione con altre parole. Le previsioni possono essere utilizzate per analizzare il testo e indovinare il significato nelle applicazioni di analisi delle opinioni.
Durante la fase di progettazione della funzione dell'addestramento dell'esperimento, 20 funzioni vengono generate per la colonna di testo utilizzando l'algoritmo word2vec . Il rilevamento automatico delle funzioni di testo si basa sull'analisi del numero di valori univoci in una colonna e del numero di token in un record (numero minimo = 3). Se il numero di valori univoci è inferiore al numero di tutti i valori divisi per 5, la colonna non viene considerata come testo.
Una volta completato l'esperimento, è possibile esaminare i risultati di progettazione della funzione dalla pagina di dettagli della pipeline. È anche possibile salvare una pipeline come notebook, in cui è possibile esaminare le trasformazioni e visualizzare una visualizzazione delle trasformazioni.
Esempio: analisi dei commenti dei clienti
In questo esempio, i commenti per una società di autonoleggio fittizia vengono utilizzati per formare un modello che prevede una valutazione di soddisfazione quando viene inserito un nuovo commento.
Guarda questo breve video per vedere questo esempio e leggi ulteriori dettagli sulla funzione di testo sotto il video.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.
Trascrizione del video Ora Trascrizione 00:00 In questo video vedrai come creare un esperimento AutoAI per eseguire l'analisi delle opinioni su un file di testo. 00:09 È possibile utilizzare la progettazione della funzione di testo per eseguire l'analisi del testo nei propri esperimenti. 00:15 Ad esempio, eseguire l'analisi delle opinioni di base per prevedere un risultato basato su commenti di testo. 00:22 Iniziare un progetto e aggiungere un asset a tale progetto, un nuovo esperimento AutoAI . 00:29 Fornire un nome, una descrizione, selezionare un servizio di machine learning e quindi creare l'esperimento. 00:38 Quando viene visualizzato il builder di esperimenti AutoAI , è possibile aggiungere il data set. 00:43 In questo caso, il dataset è già memorizzato nel progetto come asset di dati. 00:48 Selezionare l'asset da aggiungere all'esperimento. 00:53 Prima di continuare, visualizzare l'anteprima dei dati. 00:56 Questo dataset ha due colonne. 00:59 Il primo contiene i commenti dei clienti e il secondo contiene 0, per "Non soddisfatto", o 1, per "Soddisfatto". 01:08 Questa non è una previsione di serie temporali, quindi selezionare "No" per tale opzione. 01:13 Quindi selezionare la colonna da prevedere, che è "Soddisfazione" in questo esempio. 01:19 AutoAI determina che la colonna di soddisfazione contiene due valori possibili, rendendola adatta per un modello di classificazione binario. 01:28 E la classe positiva è 1, per "Soddisfatti". 01:32 Aprire le impostazioni dell'esperimento se si desidera personalizzarlo. 01:36 Nel pannello dell'origine dati, verranno visualizzate alcune opzioni per l'ingegneria delle funzioni di testo. 01:41 È possibile selezionare automaticamente le colonne di testo oppure è possibile esercitare un maggiore controllo specificando manualmente le colonne per la progettazione di funzioni di testo. 01:52 È inoltre possibile selezionare il numero di vettori da creare per ogni colonna durante la progettazione delle funzioni di testo. 01:58 Un numero più basso è più veloce e un numero più alto è più accurato, ma più lento. 02:03 Ora, eseguire l'esperimento per visualizzare le trasformazioni e l'avanzamento. 02:09 Quando si crea un esperimento che utilizza la funzione di analisi del testo, il processo AutoAI utilizza l'algoritmo word2vec per trasformare il testo in vettori, quindi confronta i vettori per stabilire l'impatto sulla colonna di previsione. 02:23 Durante la fase di progettazione della funzione dell'addestramento dell'esperimento, vengono create venti funzioni per la colonna testo utilizzando l'algoritmo word2vec . 02:33 Una volta completato l'esperimento, è possibile esaminare i risultati di progettazione della funzione dalla pagina di dettagli della pipeline. 02:40 Nel pannello di riepilogo delle funzioni, è possibile esaminare le trasformazioni del testo. 02:45 È possibile notare che AutoAI ha creato diverse funzioni di testo applicando la funzione algoritmo agli elementi della colonna, insieme all'importanza della funzione che mostra le funzioni che contribuiscono maggiormente all'output della previsione. 02:59 È possibile salvare questa pipeline come modello o come notebook. 03:03 Il notebook contiene il codice per visualizzare le trasformazioni e le visualizzazioni di tali trasformazioni. 03:09 In questo caso, creare un modello. 03:13 Utilizzare il link per visualizzare il modello. 03:16 Ora, promuovere il modello a uno spazio di distribuzione. 03:23 Questi sono i dettagli del modello e da qui è possibile distribuire il modello. 03:28 In questo caso, sarà una distribuzione online. 03:36 Al termine, aprire la distribuzione. 03:39 Nell'app di test, è possibile specificare uno o più commenti da analizzare. 03:46 Quindi, fare clic su "Previsione". 03:49 Si prevede che il primo cliente non sarà soddisfatto del servizio. 03:54 Si prevede che il secondo cliente sarà soddisfatto del servizio. 03:59 Trova ulteriori video nella documentazione Cloud Pak for Data as a Service .
Data una serie di dati che contiene una colonna di commenti di revisione per l'esperienza di noleggio (Customer_service) e una colonna che contiene una valutazione di soddisfazione binaria (Satisfaction) dove 0 rappresenta un commento negativo e 1 rappresenta un commento positivo, l'esperimento viene addestrato per prevedere una valutazione di soddisfazione quando viene immesso un nuovo feedback.
Addestramento di un esperimento di trasformazione del testo
Dopo aver caricato il dataset e specificato la colonna di previsione (Soddisfazione), l'opzione Impostazioni esperimento seleziona l'opzione Utilizza progettazione della funzione testo .
Notare alcuni dettagli per l'ottimizzazione dell'esperimento di analisi del testo:
- È possibile accettare la selezione predefinita della selezione automatica delle colonne di testo oppure è possibile esercitare un maggiore controllo specificando manualmente le colonne per la progettazione della funzione di testo.
- Durante l'esecuzione dell'esperimento, viene generato un valore predefinito di 20 funzioni per la colonna di testo utilizzando l'algoritmo
word2vec. È possibile modificare tale valore per aumentare o diminuire il numero di funzioni. Più vettori si generano, più accurati sono i modelli, ma più lunghi sono i tempi di addestramento. - La parte restante delle opzioni si applica a tutti i tipi di esperimenti in modo da poter ottimizzare come gestire i dati di addestramento finali.
Eseguire l'esperimento per visualizzare le trasformazioni in corso.
Selezionare il nome di una pipeline, quindi fare clic su Riepilogo funzioni per esaminare le trasformazioni del testo.
È anche possibile salvare la pipeline dell'esperimento come notebook e rivedere le trasformazioni come visualizzazione.
Distribuzione e calcolo del punteggio di un modello di trasformazione del testo
Quando si calcola il punteggio di questo modello, immettere nuovi commenti per ottenere una previsione con un punteggio di confidenza che indica se il commento risulta in una valutazione di soddisfazione positiva o negativa.
Ad esempio, inserendo il commento " Ci sono volute quasi tre ore per ottenere una macchina. Era assurdo " prevede un punteggio di soddisfazione di 0 con un punteggio di confidenza del 95%.
Passi successivi
Creazione di un esperimento di previsione di serie temporali
Argomento principale: Creazione di un modello AutoAI