Der Evaluierungsknoten bietet eine unkomplizierte Möglichkeit, Vorhersagemodelle auszuwerten und miteinander zu vergleichen, um so das am besten geeignete Modell für die Anwendung zu ermitteln. Evaluierungsdiagramme zeigen die Leistung der Modelle beim Vorhersagen bestimmter Ergebnisse an. Sie sortieren Datensätze auf der Basis der vorhergesagten Werte und der Konfidenz der Vorhersage, teilen die Datensätze in Gruppen gleicher Größe (Quantile) auf und stellen anschließend den Wert des Geschäftskriteriums für jedes Quantil in absteigender Reihenfolge dar. Mehrere Modelle werden als separate Linien im Plot dargestellt.

Zur Handhabung der Ergebnisse wird ein bestimmter Wert oder Wertebereich als Treffer definiert. Ein Treffer weist in der Regel auf einen gewissen Erfolg hin (z. B. auf einen Verkauf an einen Kunden) oder auf ein relevantes Ereignis (z. B. auf eine bestimmte medizinische Diagnose). Im Abschnitt OPTIONEN der Knoteneigenschaften können Sie Trefferkriterien definieren oder Sie können die Standardtrefferkriterien verwenden:

• Ausgabefelder des Typs Kennzeichnen sind unkompliziert; ein Treffer steht für wahre Werte.
• Bei Ausgabefeldern des Typs Nominal definiert der erste Wert im Set einen Treffer.
• Bei Ausgabefeldern des Typs Stetig entspricht ein Treffer einem Wert, der größer ist als der Mittelpunkt des Bereichs für das betreffende Feld.

Es stehen sechs Typen von Evaluierungsdiagrammen zur Auswahl, bei denen der Schwerpunkt jeweils auf einem anderen Auswertungskriterium liegt.

Gewinndiagramme

Gewinne sind definiert als der Anteil an allen Treffern, der in den einzelnen Quantilen vorliegt. Gewinne werden als (number of hits in quantile / total number of hits) × 100%berechnet.

Liftdiagramme

Lift vergleicht den Prozentsatz der Datensätze in jedem Quantil, bei denen es sich um Treffer mit dem Gesamtprozentsatz an Treffern in den Trainingsdaten handelt. Sie wird als (hits in quantile / records in quantile) / (total hits / total records)berechnet.

Trefferdiagramme

Treffer bezeichnen einfach den Prozentsatz der Datensätze im Quantil, die die Auswahlkriterien erfüllen. Die Antwort wird als (hits in quantile / records in quantile) × 100%berechnet.

Profitdiagramme

Der Profit entspricht dem Umsatz für jeden Datensatz abzüglich der Kosten für den betreffenden Datensatz. Die Profite für ein Quantil entsprechen einfach der Summe der Profite für alle Datensätze im Quantil. Umsätze gelten definitionsgemäß nur für Treffer, Kosten dagegen für alle Datensätze. Die Profite und Kosten können fest sein oder auch durch Felder in den Daten definiert werden. Profite werden als (sum of revenue for records in quantile − sum of costs for records in quantile)berechnet.

ROI-Diagramme

ROI (Return-on-Investment- Investitionsertrag) ist dem Profit ähnlich, weil auch hier Umsatz und Kosten definiert werden. ROI vergleicht die Profite mit den Kosten für das Quantil. Der ROI wird wie folgt berechnet: (profits for quantile / costs for quantile) × 100%.

ROC-Diagramme

ROC (Receiver Operator Characteristic) kann nur mit binären Klassifikationsmerkmalen verwendet werden. Mithilfe von ROC können Klassifikationsmerkmale auf der Basis ihrer Leistung visualisiert, organisiert und ausgewählt werden. In einem ROC-Diagramm wird die "Wahr Positiv"-Rate (oder Sensitivität) gegenüber der "Falsch positiv"-Rate des Klassifikationsmerkmals dargestellt. In einem ROC-Diagramm werden die relativen Kompromisse zwischen Vorteilen (wahr positiv) und Kosten (falsch positiv) dargestellt. "Wahr positiv" ist eine Instanz, die einen Treffer darstellt und als Treffer klassifiziert wird. Daher wird die "Wahr positiv"-Rate als Anzahl der als "wahr positiv" erkannten Instanzen geteilt durch die Anzahl der Instanzen, die tatsächlich Treffer darstellen, berechnet. "Falsch positiv" ist eine Instanz, die ein Fehlschlag ist und als Treffer klassifiziert wird. Daher wird die "Falsch positiv"-Rate als Anzahl der als "falsch positiv" erkannten Instanzen geteilt durch die Anzahl der Instanzen, die tatsächlich Fehlschläge darstellen, berechnet.

Auch Evaluierungsdiagramme können kumulativ sein, sodass jeder Punkt dem Wert für das entsprechende Quantil zuzüglich aller höheren Quantile entspricht. Kumulative Diagramme geben die Gesamtleistung von Modellen in der Regel besser wieder; nicht kumulative Diagramme weisen dagegen häufig auf bestimmte Problembereiche in den Modellen hin.