Translation not up to date
Vyhodnocení kvality produktu Watson OpenScale monitoruje schopnost vašeho modelu poskytovat správné výsledky na základě toho, jak dobře model provádí označené testovací data, která se nazývají zpětnovazební data.
Měření přesnosti modelu s hodnocením kvality
Hodnocení kvality monitorují, jak dobře váš model předpovídá přesné výsledky. Identifikuje, kdy se kvalita modelu snižuje, takže můžete svůj model vhodně přeškolit. Chcete-li model vyhodnotit, poskytněte data zpětné vazby, která jsou označená jako data, kde je znám výsledek. Vyhodnocení kvality používá sadu standardních metrik pro vědu dat k vyhodnocení, jak dobře model předpovídá výsledek, který odpovídá skutečným výsledkům v označené datové sadě.
Můžete nastavit přijatelné prahové hodnoty kvality pro metriky použité k vyhodnocení vašeho modelu. Můžete také nastavit velikost vzorku, což je počet řádků dat zpětné vazby, které mají být zváženého pro vyhodnocení.
Než začnete: Poskytování údajů zpětné vazby
Zpětná vazba dat je taková, že poskytuje seznam odpovědí se skutečnými sledovanými výsledky. Monitor může model spustit tak, jako by nebyly známy odpovědi, a pak porovnat předpokládané výsledky se skutečnými výsledky a poskytnout skóre přesnosti založené na metrikách kvality.
Chcete-li poskytnout údaje zpětné vazby, které budete používat k vyhodnocení modelu, klepněte na stránku Koncové body a proveďte jednu z následujících možností:
- Klepněte na volbu Odeslat data zpětné vazby a odešlete soubor s označenými daty.
- Klepněte na kartu Koncové body a zadejte koncový bod, který se připojí ke zdroji dat zpětné vazby.
Podrobné informace naleznete v tématu Správa dat zpětné vazby.
Nastavení prahových hodnot kvality
Jakmile jsou data zpětné vazby k dispozici pro vyhodnocení, nakonfigurujte nastavení monitorování. Nastavíte prahové hodnoty pro přijatelný výkon pro model v porovnání se známými výsledky.
Chcete-li nastavit prahové hodnoty, na kartě Kvalita klepněte na ikonu Upravit a zadejte hodnoty pro pole Prahová hodnota kvality , pak upravte hodnoty pro velikost vzorku.
Prahová hodnota kvality výstrahy
Vyberte hodnotu, která představuje přijatelnou úroveň přesnosti. Například ve vzorovém modelu Credit Risk Risk , který je k dispozici s automatickým nastavením, je výstraha pro oblast pod metrikou ROC nastavena na 95%. Pokud se naměřená kvalita modelu dips pod touto hodnotou spustí, spustí se výstraha. Typickou hodnotou pro plochu pod ROC je 80%.
Podrobnosti o standardních metrikách pro Monitor kvality naleznete v tématu Přehled metrik kvality.
Minimální a maximální velikost vzorku
Nastavením minimální velikosti vzorku zabráníte měření kvality, dokud nebude k dispozici minimální počet záznamů v datové sadě vyhodnocení. Tím je zajištěno, že velikost vzorku není příliš malá, aby došlo k posunu výsledků. Při každém spuštění kontroly kvality se používá minimální velikost vzorku k rozhodnutí o počtu záznamů, na kterých se provádí výpočet metrik kvality.
Maximální velikost vzorku pomáhá lépe spravovat čas a prostředky potřebné k vyhodnocení datové sady. Pokud je tato velikost překročena, jsou vyhodnoceny pouze nejnovější záznamy. Například v ukázce Model rizika německého kreditu je minimální velikost vzorku nastavena na hodnotu 50 a není zadána žádná maximální velikost, protože se jedná o malý vzorek.
Programově správa nastavení velikosti vzorku
Parametr max_rows_per_evaluation
pro monitor kvality můžete nakonfigurovat pomocí rozhraní Watson OpenScale SDK API. Tento parametr nastavuje maximální počet záznamů, které se zpracovávají při vyhodnocení kvality. V rámci služby zpětné vazby můžete povolit parametr enable_last_run_time_window
na úrovni odběru nebo úrovně proměnné prostředí. Pokud také v rámci služby zpětné vazby povolíte proměnnou prostředí enable_last_run_time_window
, bude monitor kvality zpracovávat pouze ty záznamy, které byly přidány od posledního vyhodnocení. Monitor kvality zobrazuje chybu, když v tomto období není dostatek záznamů ke zpracování pro vyhodnocení.
Další informace naleznete v ukázkovém zápisníku Watson OpenScale.
Další informace
Nadřízené téma: Konfigurace vyhodnocení modelu