Translation not up to date
Vyhodnocení posunu Watson OpenScale detekují pokles přesnosti a konzistence dat v modelu. Přesnost modelu se sníží, pokud dojde ke zvýšení transakcí podobných těm, které model nevyhodnotil správně v údajích o odborné přípravě.
Příklady vyhodnocení unášených sítí
Při konfiguraci Drift v produktu Watson OpenScaleje třeba určit přijatelnou přesnost tolerance přesnosti. Posun se měří jako pokles přesnosti v porovnání s přesností modelu v době školení. Například, pokud byla přesnost modelu v době školení 90% a v době běhu programu odhadovaná přesnost modelu je 80%, pak se model říká, že se dal unášet o 10%. V závislosti na případu použití budou vlastníci modelu ochotni tolerovat různé částky úletu. Proto funkce Watson OpenScale vám umožňuje uvést rozsah přesnosti posunu (označovaný jako prahová hodnota výstrahy Drift) pro každý model monitorovaný ve Watson OpenScale. Pokud se posun modelu dostane pod určenou prahovou hodnotu, bude vygenerována výstraha.
Používáte-li produkt IBM Watson Machine Learning a vaše data nepřesáhnou 500 MB, můžete svůj model online trénovat pomocí Watson OpenScale. Jinak musíte použít notebook k vycvičování modelu.
Než začnete
Než bude možné analyzovat model, musíte nakonfigurovat detekci driftu. Model detekce unášených sítí můžete vycvičit online pomocí uživatelského rozhraní nebo spuštěním kódu v notebooku. Konfigurace posunu je podporována pouze strukturovanými daty. Modely klasifikace podporují posun dat i přesnost, regresní modely podporují pouze unášení dat.
Jedná se o požadavky pro konfiguraci monitoru Drift:
- Poskytovatel Machine Learning musí být Watson Machine Learning
- Velikost dat o školení musí být menší než 500MB
- Data školení musí být hostována v produktu IBM Cloud Object Storage/Db2.
Chcete-li odeslat data o školení a nastavit Podrobnosti modelu pro detekci unášení, postupujte takto:
- Klepněte na volbu Odeslat data školení a odešlete soubor s označenými daty.
Podrobnosti naleznete v tématu Poskytnutí podrobností modelu.
Během tohoto procesu produkt IBM Watson OpenScale analyzuje váš model a vytváří doporučení na základě nejlogičtějších výsledků. Aby detekce driftu fungovala správně, datový typ vašeho sloupce předpovědi v datech o školení se musí shodovat s datovým typem stejného sloupce v datech informačního obsahu. Přiřaďte odpovídající řetězec nebo číselné typy do sloupců předpovědi a popisků. Chcete-li potvrdit datové typy, klepněte na volbu Podrobnosti modelu > Podrobnosti o výstupu modelu > Upravit. Tyto výběry se ujistěte, že máte přesné informace pro následující kroky konfigurace. Pokud z nějakého důvodu musíte změnit datové typy, musíte nově implementovat vyhodnocení, aby se změny projevily.
Na následujících stránkách karty Drift je třeba zadat následující informace:
Prahová hodnota výstrahy
Je povinný pouze pro modely typu klasifikace: IBM Watson OpenScale sleduje stupeň změny přesnosti modelu v porovnání s přesností v době školení. Prahová hodnota výstrahy, která musí být alespoň 5%, označuje stupeň tolerance pro změnu v čase.
Velikost vzorku
Nastavením minimální velikosti vzorku zabráníte měření úletu, dokud nebude k dispozici minimální počet záznamů v datové sadě vyhodnocení. Toto nastavení zajišťuje, že velikost vzorku není příliš malá, aby došlo k posunu výsledků. Při každém spuštění kontroly úletu se používá minimální velikost vzorku k rozhodnutí o počtu záznamů, na kterých výpočet provádí.
Postup konfigurace vyhodnocení posunu
Používáte-li produkt IBM Watson Machine Learning, máte možnost použít uživatelské rozhraní Watson OpenScale ke konfiguraci detekce unášení.
Chcete-li spustit proces konfigurace, na kartě Drift v rámečku Drift model klepněte na ikonu Upravit 
. Použijte volbu Vlak ve funkci Watson OpenScale .
Postupujte podle výzev a zadejte požadované informace. Když skončíte, souhrn vašich výběrů je předložen k přezkoumání. Chcete-li cokoli změnit, klepněte na ikonu Upravit pro tuto sekci. Jinak uložte svou práci.
Postup konfigurace úletu bez přeškolování
Překonfigurujte vyhodnocení posunu bez rekvalifikace modelu snosu, aby se aktualizovaly parametry bez dalšího zpracování. Aktualizate minimální velikost a prahovou hodnotu vzorku, abyste získali více dat na momentálně školenému modelu, aniž byste museli více zpracovávat náklady na zpracování. Je to jeden způsob, jak se vyhnout intenzivnímu využití CPU, když jsou základní data stabilní a chcete si prohlédnout velikost tendence s různými prahovými hodnotami.
Poznámka: Váš model úletu vyžaduje rekvalifikaci pouze v případě, že se změní údaje o školení nebo schématu.
Chcete-li spustit proces konfigurace, na kartě Drift , v poli Prahová hodnota posunu nebo Velikost vzorku klepněte na Upravit . Aktualizujte aktuální nastavení a uložte jej.
Postup konfigurace unášení pomocí notebooku
Zápisník můžete použít ke konfiguraci unášení za následujících okolností:
- Nechtěli byste sdílet data školení s produktem Watson OpenScale.
- Nemáte prostředky ke sdílení dat o školení pro Db2 nebo IBM Cloud Object Storage, což jsou jediné dvě umístění dat pro školení, která jsou podporována produktem Watson OpenScale.
Tato volba je užitečná, pokud nejsou data o školení uložena v databázi Db2 nebo IBM Cloud Object Storage. Pomocí zápisníku je nutné číst data o školení do datového rámce. Specializovaný notebook, který lze stáhnout z Watson OpenScale , pak vytvoří specializovaný výstup, který můžete nahrát na Watson OpenScale.
Chcete-li vygenerovat model detekce unášení, můžete spustit buňku, která nainstaluje balík produktu ibm-wos-utils>=4.5.0 a sci-kit se naučí verzi 1.0.2. Scikit-učit se verze 1.0.2 je zapotřebí k sestavení modelu.
Vytvořte zápisník pro generování modelu detekce unášení. Použijte ukázkový zápisník , který je k dispozici v produktu Watson OpenScale. Model detekce unášení je pro vás převeden do souborutar.gz .
Chcete-li spustit proces konfigurace, na kartě Drift v rámečku Drift model klepněte na Upravit . Použijte volbu Train in a data science notebook . Do zóny umístění můžete přetáhnout komprimovaný model detekce unášení do zóny.
Postupujte podle výzev a zadejte požadované informace. Když skončíte, souhrn vašich výběrů je předložen k přezkoumání. Chcete-li cokoli změnit, klepněte na volbu Upravit pro tuto sekci. Jinak uložte svou práci.
Další informace
Nadřízené téma: Konfigurace vyhodnocení modelu