AutoAI prepara automaticamente i dati, applica gli algoritmi e tenta di creare le pipeline del modello più adatte ai tuoi dati e al tuo caso di utilizzo. Scopri come valutare le pipeline del modello in modo da poterne salvare una come modello.
Revisione dei risultati dell'esperimento
Durante l'addestramento AutoAI , il dataset viene suddiviso in una parte di addestramento e in una parte di esclusione. La parte di addestramento viene utilizzata dalle fasi di addestramento AutoAI per generare le pipeline del modello AutoAI e i punteggi di convalida incrociata utilizzati per classificarli. Dopo l'addestramento AutoAI , la parte di hold-out viene utilizzata per la valutazione del modello di pipeline risultante e il calcolo delle informazioni sulle prestazioni come le curve ROC e le matrici di confusione, che vengono mostrate nella classifica. Il rapporto di formazione / hold - out è di 90/10.
Man mano che la formazione procede, ti viene presentata un'infografica dinamica e una classifica. Passare il puntatore del mouse sui nodi nell'infografica per esplorare i fattori condivisi dalle pipeline e le relative proprietà univoche. Per una guida ai dati nell'infografica, fare clic sulla scheda Legenda nel riquadro delle informazioni. In alternativa, per visualizzare una vista diversa della creazione della pipeline, fare clic sulla scheda Dettagli esperimento del pannello di notifica, quindi fare clic su Cambia viste per visualizzare la mappa di avanzamento. In una delle due viste, fare clic su un nodo della pipeline per visualizzare la pipeline associata nella classifica. La classifica contiene le pipeline del modello classificate in base ai punteggi di convalida incrociata.
Visualizza le trasformazioni della pipeline
Passare con il mouse su un nodo nell'infografica per visualizzare le trasformazioni per una pipeline. La sequenza di trasformazioni dei dati è costituita da un trasformatore di pre - elaborazione e da una sequenza di trasformatori di dati, se è stata eseguita la progettazione della funzione per la pipeline. L'algoritmo è determinato dalla selezione del modello e dai passi di ottimizzazione durante il training AutoAI .
Vedi Dettagli di implementazione per esaminare i dettagli tecnici per la creazione delle pipeline.
Visualizza la classifica
A ogni pipeline del modello viene assegnato un punteggio per le varie metriche e quindi viene classificata. La metrica di classificazione predefinita per modelli di classificazione binari è l'area sotto la curva ROC. Per i modelli di classificazione a più classi la metrica predefinita è la precisione. Per i modelli di regressione, la metrica predefinita è l'RMSE (root mean - squared error). Le pipeline più classificate vengono visualizzate in una classifica, in modo da poter visualizzare ulteriori informazioni su di esse. La classifica fornisce anche l'opzione per salvare le pipeline di modelli selezionati dopo averle esaminate.
È possibile valutare le pipeline come segue:
- Fare clic su una pipeline nella classifica per visualizzare ulteriori dettagli sulle metriche e sulle prestazioni.
- Fare clic su Confronta per visualizzare il confronto tra le prime pipeline.
- Ordina la classifica in base a una metrica diversa.
Visualizzazione della matrice di confusione
Uno dei dettagli che puoi visualizzare per una pipeline per un esperimento di classificazione binaria è una matrice di Confusione .
La matrice di confusione si basa sui dati di holdout, che sono la porzione del dataset di addestramento che non viene utilizzata per l'addestramento della pipeline del modello, ma solo per misurare le prestazioni sui dati che non sono stati visualizzati durante l'addestramento.
In un problema di classificazione binaria con una classe positiva e una classe negativa, la matrice di confusione riepiloga le previsioni positive e negative del modello di pipeline in quattro quadranti a seconda della loro correttezza rispetto alle etichette di classe positive o negative del dataset di holdout.
Ad esempio, l'esperimento di esempio della banca cerca di identificare i clienti che prendono le promozioni che vengono loro offerte. La matrice di confusione per la pipeline di livello superiore è:
La classe positiva è 'yes ' (che significa che un utente accetta la promozione). È possibile vedere che la misurazione dei veri negativi, ovvero i clienti che il modello ha previsto correttamente rifiuterebbero le loro promozioni, è elevata.
Fare clic sugli elementi nel menu di navigazione per visualizzare altri dettagli sulla pipeline selezionata. Ad esempio, Importanza delle funzioni mostra quali funzioni di dati contribuiscono maggiormente all'output della previsione.
Salva una pipeline come modello
Quando si è soddisfatti di una pipeline, salvarla utilizzando uno dei seguenti metodi:
- Fare clic su Salva modello per salvare la pipeline candidata come modello nel proprio progetto in modo da poterla verificare e distribuire.
- Fare clic su Salva come notebook per creare e salvare un notebook generato automaticamente nel progetto. È possibile esaminare il codice o eseguire l'esperimento nel blocco note.
Passi successivi
Promuovi il modello preparato a uno spazio di distribuzione in modo da poterlo testare con nuovi dati e generare previsioni.
Ulteriori informazioni
Dettagli dell'implementazioneAutoAI
Argomento principale AutoAI