Translation not up to date
Když konfigurujete vyhodnocení v produktu Watson OpenScale, můžete analyzovat výsledky vyhodnocení, abyste získali přehled o výkonu vašeho modelu. Panel dashboard poskytuje nástroje pro přezkoumání podrobností o výkonu, sdílení informací o výstrahách nebo tisk sestav.
Některé podrobnosti, které můžete přezkoumat z panelu dashboard, zahrnují:
- Přezkoumejte výsledky kvality, abyste viděli matici zmatení, která vám pomůže určit, zda váš nasazený model správně analyzoval vaše transakce.
- Zobrazte výsledky posunu, abyste viděli transakce, které jsou zodpovědné za pokles přesnosti, pokles konzistence dat, nebo obojí.
- Zkontrolujte výsledky vyhodnocení stavu modelu, kde můžete zobrazit souhrn metrik generovaných během posledního vyhodnocení s dlaždicemi záznamů s vyhodnocením, které korelují s různými dimenzemi.
Chcete-li zobrazit výsledky na řídicím panelu Náhledy, postupujte takto:
V produktu Watson Openscale klepněte na ikonu Aktivita
, abyste otevřeli panel dashboard náhledů.Vyberte dlaždici modelu implementace, kterou chcete zobrazit výsledky. Watson OpenScale zobrazuje výsledky vašeho posledního vyhodnocení.
Klepnutím na šipku
v sekci vyhodnocení zobrazíte vizualizace dat výsledků vyhodnocení v zadaném nastavení časového rámce a Rozsah dat . Poslední vyhodnocení pro vybraný časový rámec se zobrazí také během přidruženého rozsahu dat.Pomocí nabídky Akce můžete zobrazit podrobnosti o svém modelu výběrem libovolné z následujících voleb analýzy:
- Všechna vyhodnocení: U předprodukčních modelů zobrazte historii vašich vyhodnocení, abyste pochopili, jak se vaše výsledky mění v průběhu času.
- Porovnání: Porovnání modelů s maticovým grafem, který zvýrazňuje klíčové metriky, které vám pomohou určit, která verze modelu je připravena k produkci, nebo které modely mohou vyžadovat další trénování.
- Zobrazit informace o modelu: Zobrazte podrobnosti o modelu, abyste pochopili, jak je vaše prostředí implementace nastaveno.
- Stáhnout sestavu ve formátu PDF: Generovat souhrnnou sestavu modelu, která poskytuje všechny metriky a vysvětlení, proč byly hodnoceny tak, jak byly.
- Nastavit výstrahu: Odeslat výstrahy o narušení prahových hodnot na e-mailovou adresu.
Můžete také použít nabídku Akce ke správě dat pro vyhodnocení modelu. Další informace viz Odesílání transakcí modelu.
V grafech časových řad produkt Watson OpenScale zobrazuje agregovaná vyhodnocení jako datové body, které můžete vybrat pro zobrazení výsledků pro specifický čas. Časové razítko každého datového bodu, které se zobrazí, když ponecháte ukazatel myši na grafech časové řady, neodpovídá časovému razítku nejnovějšího vyhodnocení kvůli výchozímu chování agregace Watson OpenScale .
Analýza výsledků
Následující sekce popisují, jak můžete analyzovat výsledky z vyhodnocení modelu Watson OpenScale :
Produkt Watson OpenScale poskytuje výpočty pro následující typy datových sad, které vám pomohou zkontrolovat výsledky spravedlnosti:
- Vyvážený: Vyvážený výpočet zahrnuje požadavek na přidělení skóre, který je přijat za vybranou hodinu. Výpočet také zahrnuje více záznamů z předchozích hodin, pokud nebyl splněn minimální počet záznamů požadovaných pro vyhodnocení. Zahrnuje více zneklidněné a syntetizované záznamy, které se používají k testování odezvy modelu, když se změní hodnota monitorované funkce.
- Informační obsah: Skutečné požadavky na přidělení skóre přijaté modelem za vybranou hodinu.
- Školení: Záznamy trénovacích dat, které se používají k trénování modelu.
- Debiased: Výstup algoritmu debiasing po zpracování běhového prostředí a perturbed dat.
Pomocí grafu můžete sledovat skupiny, které mají zkreslení, a zobrazit procentní podíl očekávaných výsledků pro tyto skupiny. Můžete také zobrazit procentní podíl očekávaných výsledků pro referenční skupiny, což je průměr očekávaných výsledků pro všechny referenční skupiny. Grafy označují přítomnost zkreslení porovnáním poměru procenta očekávaných výsledků pro monitorované skupiny v rozsahu dat s procentem výsledků pro referenční skupiny.
Graf také zobrazuje distribuci referenčních a monitorovaných hodnot pro každou odlišenou hodnotu atributu v datech z tabulky informačního obsahu, která byla analyzována pro identifikaci zkreslení. Distribuce dat informačního obsahu se zobrazí pro každou odlišenou hodnotu atributů. Tato data můžete použít ke korelaci množství zkreslení s množstvím dat přijatých modelem. Můžete také zobrazit procento skupin s očekávanými výsledky, abyste identifikovali zdroje zkreslení, které zkreslilo výsledky, a vedlo ke zvýšení procenta očekávaných výsledků pro referenční skupiny.
Produkt Watson OpenScale zobrazuje matici zmatení, která vám pomůže určit, zda váš nasazený model nesprávně analyzoval vaše transakce. V případě binárních klasifikačních modelů jsou záznamy klasifikovány jako falešně pozitivní nebo falešně negativní a jako chybné přiřazení tříd pro modely s více třídami. V případě problémů s binární klasifikací produkt IBM Watson OpenScale přiřadí cílovou kategorii buď na úroveň
positive, nebonegative. V matici zmatení je popisek pro kladnou kategorii umístěn ve druhém řádku nebo sloupci.
Pro vyhodnocení posunu můžete zobrazit transakce, které jsou zodpovědné za pokles přesnosti, pokles konzistence dat nebo obojí. Můžete také zobrazit počet identifikovaných transakcí a funkce vašeho modelu, které jsou zodpovědné za sníženou přesnost nebo konzistenci dat.
Další informace naleznete v tématu Přezkoumání drift transakcí.
Když přezkoumáte výsledky vyhodnocení v2 , produkt Watson OpenScale zobrazí sbalitelné dlaždice, které můžete otevřít a zobrazit různé podrobnosti o metrikách. Můžete zobrazit historii toho, jak se každé skóre metriky mění v průběhu času pomocí grafu časové řady, nebo zobrazit podrobnosti o tom, jak se vypočítává výstup skóre a závěje funkcí. Můžete také zobrazit podrobnosti o každé funkci, abyste pochopili, jak přispívají ke skóre, které systém Watson OpenScale generuje.
Při kontrole výsledků vyhodnocení stavu modelu produkt Watson OpenScale poskytuje souhrn metrik generovaných během posledního vyhodnocení s dlaždicemi záznamů s vyhodnocením, které korelují s různými dimenzemi. V případě metrik s více dimenzemi můžete klepnout na rozevírací nabídku na dlaždicích a vybrat metriku, kterou chcete analyzovat. Chcete-li analyzovat, jak se metriky mění v průběhu času, můžete klepnutím na sbalitelné dlaždice pro každou kategorii zobrazit grafy časových řad.
Další informace viz Metriky vyhodnocení stavu modelu.
Nadřízené téma: Získání náhledů pomocí produktu Watson OpenScale