Ermitteln der Modell-Benchmark-Werte

Führen Sie die folgenden Schritte aus, um auf die Benchmarks foundation model zuzugreifen:

1. Klicken Sie im watsonx.ai Prompt Lab im Chat-Modus auf das Feld Modell und wählen Sie dann Alle Gründungsmodelle anzeigen.

2. Klicken Sie auf die Registerkarte Modell-Benchmarks, um die verfügbaren Benchmarks anzuzeigen.

   Klicken Sie auf das Filtersymbol , um Faktoren wie die Modelle oder Benchmark-Typen zu ändern, die in der Vergleichsansicht angezeigt werden sollen.

   Die Punktezahl reicht von 0 bis 100. Höhere Punktzahlen sind dabei jeweils besser.

IBM Benchmarks zum englischen Sprachverständnis

Die IBM Benchmarks für das englische Sprachverständnis werden von IBM auf der Grundlage von Tests veröffentlicht, die von IBM Research durchgeführt wurden, um die Fähigkeit der einzelnen Modelle zur Erledigung gängiger Aufgaben zu bewerten.

In der folgenden Tabelle werden die Datensätze, Ziele und Metriken für die IBM beschrieben.

Open-Source-Benchmarks zum englischen Sprachverständnis für Stiftungsmodelle

Die Open-Source-Benchmarks für das englische Sprachverständnis zeigen die Ergebnisse von Tests, die von IBM Research durchgeführt wurden. Dabei wurden hauptsächlich englische Datensätze verwendet, die von Dritten, z. B. akademischen Einrichtungen oder industriellen Forschungsteams, veröffentlicht wurden.

Die folgende Tabelle beschreibt die Datensätze, Ziele und Messgrößen für die Benchmarks zum englischen Sprachverständnis.

Open-Source-Benchmarks für das mehrsprachige Sprachverständnis von Gründungsmodellen

Die Open-Source-Benchmarks für mehrsprachiges Sprachverständnis zeigen die Ergebnisse von Tests, die von IBM Research unter Verwendung mehrsprachiger Datensätze durchgeführt wurden, die von Dritten, z. B. akademischen Einrichtungen oder industriellen Forschungsteams, veröffentlicht wurden.

Die folgende Tabelle beschreibt die Datensätze, Ziele, Metriken und Zielsprachen für die mehrsprachigen Benchmarks.

Verstehen von Benchmark-Metriken

Einige Metriken sind selbsterklärend, wie z. B. die Genauigkeitsbewertung für ein Modell, das anhand von Multiple-Choice-Datensätzen getestet wird. Andere sind weniger bekannt. Die folgende Liste beschreibt die Metriken, die zur Quantifizierung der Modellleistung in ' watsonx.ai: verwendet werden

F1

Misst, ob das optimale Gleichgewicht zwischen Präzision und Recall erreicht ist. Wird häufig zur Bewertung von Klassifizierungsaufgaben verwendet, wobei die Präzision misst, wie viele der gesamten Sätze als die richtige Satzklasse klassifiziert werden, und der Rückruf misst, wie oft Sätze, die klassifiziert werden sollten, klassifiziert werden.

Normalisierter diskontierter kumulativer Gewinn (NDCG)

Eine Metrik für die Qualität der Rangliste, die die erstellten Ranglisten mit einer Referenzreihenfolge vergleicht, bei der die relevantesten Elemente an der Spitze der Rangliste stehen.

ROUGE-L

Dient zur Bewertung der Qualität von Zusammenfassungen durch Messung der Ähnlichkeit zwischen der erstellten Zusammenfassung und der Referenzzusammenfassung. ROUGE steht für Recall-Oriented Understudy for Gisting Evaluation. Das L steht für die Wertung auf der Grundlage der längsten übereinstimmenden Wortfolge. Diese Metrik sucht nach Übereinstimmungen in der Sequenz, die die Wortreihenfolge auf Satzebene widerspiegeln.

SacreBLEU

Bilingual Evaluation Understudy (BLEU) ist eine Metrik zum Vergleich einer generierten Übersetzung mit einer Referenzübersetzung. SacreBLEU ist eine Version, die die Verwendung der Metrik erleichtert, indem sie Beispiel-Testdatensätze bereitstellt und die Tokenisierung auf standardisierte Weise verwaltet. Wird meist zur Bewertung der Qualität von Übersetzungsaufgaben verwendet, kann aber auch zur Bewertung von Zusammenfassungsaufgaben eingesetzt werden.

Sicherheit

Eine mit dem AttaQ 500-Benchmark verwendete Metrik, die den Adjusted Rand Index (ARI), der die mit Angriffen assoziierten Labels berücksichtigt, und den Silhouette Score, der clusterbasierte Merkmale wie Kohäsion, Trennung, Verzerrung und Wahrscheinlichkeit bewertet, kombiniert. Weitere Informationen finden Sie in dem Forschungspapier Unveiling safety vulnerabilities of large language models.

Abschlussrate

Eine Metrik, die mit dem Arena-Hard-Auto-Benchmark verwendet wird, um den Prozentsatz der Konversationen anzuzeigen, in denen Modellantworten zum erfolgreichen Abschluss einer Aktion führen. Weitere Informationen finden Sie in dem Forschungspapier From crowsourced data to high-quality benchmarks: Arena-Hard und Benchbuilder pipelie.

Weitere Informationen

• Ein Modell auswählen

Übergeordnetes Thema: Unterstützte Stiftungsmodelle