Węzeł ewaluacji umożliwia łatwą ewaluację i porównywanie modeli predykcyjnych w celu wybrania najlepszego modelu do danego zastosowania. Wykresy ewaluacyjne przedstawiają skuteczność modeli w przewidywaniu konkretnych wyników. Ich działanie polega na sortowaniu rekordów na podstawie wartości przewidywanej i ufności przewidywania, dzieleniu rekordów na grupy o równej wielkości (kwantyle), a następnie wykreśleniu wartości kryterium biznesowego dla każdego kwantyla, od najwyższego do najniższego. Modele wielokrotne prezentowane są jako osobne linie na wykresie.

Wyniki uzyskuje się poprzez zdefiniowanie konkretnej wartości lub zakresu wartości jako trafienia. Trafienia zwykle oznaczają sukces (np. sprzedaż klientowi) lub zdarzenie będące przedmiotem zainteresowania (np. konkretną diagnozę medyczną). Kryteria trafienia można zdefiniować w sekcji OPCJE właściwości węzła lub można użyć domyślnych kryteriów trafień w następujący sposób:

• Zmienne wynikowe typu Flaga nie wymagają dodatkowych objaśnień: trafienia odpowiadają wartościom prawda.
• W przypadku zmiennych wynikowych typu Nominalne trafieniem jest pierwsza wartość w zbiorze.
• W przypadku zmiennych wynikowych typu Ciągłe trafieniami są wartości większe od połowy zakresu wartości zmiennej.

Istnieje sześć typów wykresów ewaluacyjnych, a na każdym z nich wyróżnione jest inne kryterium ewaluacji.

wykresy korzyści

Korzyści zdefiniowane są jako proporcja łącznej liczby trafień w każdym kwantylu. Zyski są obliczane jako (number of hits in quantile / total number of hits) × 100%.

wykresy przyrostów

Przyrost porównuje odsetek rekordów w każdym kwantylu będących trafieniami z łącznym odsetkiem trafień w danych uczących. Jest on obliczany jako (hits in quantile / records in quantile) / (total hits / total records).

wykresy odpowiedzi

Odpowiedź jest to po prostu odsetek rekordów w kwantylu będących trafieniami. Odpowiedź jest obliczana jako (hits in quantile / records in quantile) × 100%.

wykresy zysków

Zysk równy jest przychodowi w każdy rekordzie pomniejszonemu o koszt w tym rekordzie. Zysk z kwantyla jest po prostu sumą zysków z wszystkich rekordów w tym kwantylu. Przyjmuje się, że przychody mają zastosowanie tylko do trafień, ale koszty — do wszystkich rekordów. Zyski i koszty mogą być stałe lub zdefiniowane przez zmienne w danych. Zyski są obliczane jako (sum of revenue for records in quantile − sum of costs for records in quantile).

Wykresy zwrotu z inwestycji

Zwrot z inwestycji (ROI — Return on investment) jest podobny do zysku w tym, że obliczany jest na podstawie przychodów i kosztów. Zwrot z inwestycji jest porównaniem zysków z kosztami z danego kwantyla. ROI jest obliczane jako (profits for quantile / costs for quantile) × 100%.

Wykresy ROC

Wykresy ROC (oceny poprawności klasyfikatora) mogą być używane tylko w przypadku klasyfikatorów binarnych. Za pomocą wykresów ROC można zwizualizować, uporządkować i wybrać klasyfikatory na podstawie ich skuteczności. Wykres ROC wykreśla stosunek wskaźnika prawdziwie dodatnich (czułości) do wskaźnika fałszywie dodatnich, tzn. jest to wykres czułości klasyfikatora. Wykres ROC przedstawia wzajemną zależność korzyści (obserwacji prawdziwie dodatnich) do kosztów (obserwacji fałszywie dodatnich). Obserwacja prawdziwie dodatnia zachodzi wtedy, gdy zdarzenie jest trafieniem i zostało sklasyfikowane jako trafienie. Wskaźnik prawdziwie dodatnich jest liczony jako iloraz obserwacji prawdziwie dodatnich do liczby wystąpień, które są faktycznie trafieniami. Obserwacja fałszywie dodatnia zachodzi wtedy, gdy zdarzenie jest nietrafione, lecz zostało sklasyfikowane jako trafienie. Wskaźnik fałszywie dodatnich jest liczony jako iloraz obserwacji prawdziwie dodatnich do liczby wystąpień, które nie są trafieniami.

Wykresy ewaluacyjne mogą być także skumulowane, tak aby każdy punkt był równy wartości odpowiedniego kwantyla plus wartości wszystkich wyższych kwantyli. Wykresy skumulowane zwykle lepiej obrazują ogólną wydajność modeli, natomiast wykresy nieskumulowane często lepiej nadają się do ujawniania konkretnych obszarów problemowych w modelach.