Tento výukový program nastavuje řešení pro řešení rizik pro koncové uživatele s řešením Watson OpenScale a IBM OpenPages. Vaším cílem je vytvořit model a poté nastavit monitorování pro vyhodnocení modelu a jeho předpovědí. Pomocí IBM OpenPages můžete vytvořit model a sledovat jeho průběh prostřednictvím sledu prací. Poté vytvořte odběr mezi produkty IBM OpenPages a Watson OpenScale. Nakonec použijte produkt Watson OpenScale k vyhodnocení kvality a spravedlnosti modelu a k lepšímu pochopení toho, jak model určoval jeho předpokládané výsledky.
Přehled výukového programu
V tomto výukovém programu budete provádět následující úlohy:
- Vytvoření a implementace modelu v produktu IBM OpenPages pro přezkoumání před implementací.
- Chcete-li nastavit připojení mezi produktem IBM OpenPages Watson OpenScale, spusťte zápisník.
- Vyhodnoťte model pomocí metrik Watson OpenScale'.
Než začnete
Proveďte následující kroky, abyste se připravili na výukový program:
- Zajištění produktů Watson Studio, Watson OpenScalea IBM OpenPages.
- Vytvořte projekt s názvem
MRM — pre-prod
v produktu Watson Studio a přidružte jej k produktu Watson Machine Learning. - Stáhněte soubor OpenScale a OpenPages model risk management na soubor notebooku Cloud Pak for Data.ipynb.
- Databáze, jako například Db2 Warehouse nebo jiný zdroj dat, který je k dispozici v produktu Cloud Pak for Data.
Vytvoření modelu v produktu IBM OpenPages
Vytvoření modelu v produktu IBM OpenPages za účelem monitorování rizik, řízení a dodržování předpisů.
Úloha 1: Vytvoření modelu v produktu IBM OpenPages
- V nabídce IBM OpenPages klepněte na Inventář > Modely.
- Klepněte na volbu Nový.
- Vyplňte následující pole.
Poznámka: Další pole se objeví za Machine Learning Model je nastaven na Ano. {: note}
Název pole | Nastavit na hodnotu: |
---|---|
Popis | Vytvoření nového modelu pro OpenPages |
Stav modelu | NAVRŽENO |
Vlastník modelu | Název účtu |
Model nebo jiný než model | Model |
Model strojového učení | Ano |
Monitorováno pomocí produktu Watson Studio | Ano |
Nadřízené objekty | název organizace |
Uložením formuláře se vrátíte na domovskou stránku Modely .
Úloha 2: Přesun modelu prostřednictvím sledu prací kandidáta
- Na domovské stránce Modely klepněte na vytvořený model.
- Klepněte na ikonu Upravit a zadejte Kandidátský komentář. Toto pole popisuje, proč je navrhovaný model modelem a nikoli jiným modelem. (Může to vyjít ven)
- V dialogovém okně Akceklepněte na volbu Odeslat kandidáta na potvrzení a poté klepněte na tlačítko Pokračovat. V aktivním sledu prací se tento kandidát odešle na recenzenta ke schválení.
- Z rozevírací nabídky Akcevyberte volbu Potvrdit posouzení. V aktivním sledu prací recenzent potvrdí, že kandidát na model je model a kandidát na kandidáta je dokončen.
Úloha 3: Přesun modelu prostřednictvím sledu prací vývoje modelu do fáze přezkoumání před implementací
Chcete-li pokračovat ve sledování modelu prostřednictvím sledu prací kandidáta, postupujte takto:
- V rozevíracím seznamu Akceklepněte na volbu Spustit vývoj modelu.
- Vyplňte pole
Required fields
uvedené v části Všechny klíčové položky . - V části Vývoj modeluzadejte název vašeho účtu jako
Developer
. - V rozevíracím seznamu Akceklepněte na volbu Přiřadit k vývojáři a poté klepněte na volbu Potvrdit.
- Z rozevírací nabídky Akcevyberte volbu Odeslat pro přezkoumání před implementací.
Váš model je nyní připraven k vyhodnocení pomocí produktu Watson OpenScale.
Spuštění notebooku Watson OpenScale na IBM OpenPages
V produktu IBM Watson Studiovytvořte projekt a spusťte zápisník, abyste mohli provádět následující úlohy nastavení:
- Vytvořte dva strojové výukové modely.
- Připojte produkt Watson OpenScale k IBM OpenPages.
- Vytvořte implementace modelu a nakonfigurujte monitory v produktu Watson OpenScale.
Úloha 1: Vytvoření předprodukčního projektu v produktu Watson Studio
Vaším prvním úkolem je vytvořit projekt předcházející produkci, do kterého jste přidružili instanci produktu Watson Machine Learning .
- Vytvořte projekt, ve kterém lze zápisník spustit, a pojmenujte jej
MRM – Pre-prod
. - Přidružit záznam MRM-Pre-prod k instanci Watson Machine Learning .
Ujistěte se, že jste zajišťováni pro použití produktu Watson Studio, Watson Machine Learning a Watson OpenScale. Vytvořte projekt, ve kterém můžete spustit ukázku propojení procesů a pojmenujte jej Kreditní riziko. Vytvořte prostor implementace, ve kterém můžete zobrazit a testovat výsledky a pojmenujte jej úvěru-předprodukce. Zkopírujte identifikátor GUID prostoru z karty Spravovat. Tuto volbu budete potřebovat při spuštění notebooku. Stáhnout ukázkový soubor s tréninkovými daty
Úloha 3: Přidat ukázku zápisníku do projektu
Prostřednictvím zápisníku můžete nastavit připojení mezi produkty Watson OpenScale a IBM OpenPages. Toto připojení je nezbytné k vytvoření a implementaci předproduktivního modelu a ke konfiguraci implementačních implementací modelu v produktu Watson OpenScale.
- Klepněte na kartu Aktiva v projektu MRM-pre-prod a poté klepněte na volbu Nové aktivum.
- Vyhledejte a klepněte na volbu Editor notebooku Jupyter.
- Vyberte volbu Ze souborua odešlete nebo klepněte a přetáhněte soubor OpenScale a OpenPages Model risk management na soubor notebooku Cloud Pak for Data.isynb .
- Klepněte na volbu Vytvořit.
Úloha 4: Spuštění ukázkového zápisníku
Chcete-li vytvořit svůj předprodukční model, postupujte podle následujících kroků a spusťte zápisník.
- Na kartě Aktiva otevřete MRM E2E s OpenPages na CP4D notebooku.
- Protože zápisník je v režimu jen pro čtení, klepněte na ikonu Upravit a umístěte zápisník do režimu úprav.
- První buňka vyžaduje váš vstup.
- Do pole urlzadejte název hostitele Cloud Pak for Data začínající na https:// a stiskněte klávesu
Enter
.
Příklad: https://mycpdcluster.mycompany.com. - Pro hostzadejte jméno uživatele Cloud Pak for Data a stiskněte klávesu
Enter
. - Do pole passwordzadejte jméno uživatele Cloud Pak for Data a stiskněte klávesu
Enter
.
- Do pole urlzadejte název hostitele Cloud Pak for Data začínající na https:// a stiskněte klávesu
- Pověření databáze a schéma vyžadují váš vstup. Získejte pověření k databázi a název schématu od administrátora databáze.
- Do pole Pověření integračního systému (IBM OpenPages MRG)vložte adresu URL, jméno uživatele a heslo systému IBM OpenPages , které společnost IBM poskytla.
- Pro ID modeluotevřete model OpenPages a zkopírujte a vložte poslední číslice adresy URL.
Příklad:https://mrgbeta.op-ibm.com/app/jspview/react/grc/task-view/7916?"
. ID modelu je 7916. - Spusťte buňku přenosného počítače podle buňky. Můžete sledovat buňku průběhu podle buňky, povšimnout si hvězdičky "In []" a změnit na číslo, například "In [ 1]".
Poznámka: Ujistěte se, že jste si přečetli pokyny pro každou buňku, než ji spustíte a přesunete se do další buňky. Je možné, že budete potřebovat opustit zápisník a provést další úlohy. Například, budete muset ručně přidat implementované modely do panelu dashboard produktu OpenScale Insights * před spuštěním monitorů modelů. - Chcete-li zápisník restartovat a vymazat výstup, postupujte takto: Klepněte na volbu Kernel > Restartovat & Vymazat výstup.
Zobrazení poznatků v produktu Watson OpenScale
Předchozí model správy rizik modelu by měl generovat tři dlaždice, které můžete zobrazit: GermanCreditRiskModelPreProduction, GermanCreditRiskModelChallenger, GermanCreditRiskModel. Použijte produkt Watson OpenScale k vyhodnocení kvality, spravedlnosti a pochopení toho, jak modely dosáhly svého předvídaného výsledku.
Úloha 1: Zobrazit monitory modelu pro spravedlnost
Monitor spravedlnosti Watson OpenScale hodnotí poctivost vašeho modelu. Tyto metriky kvality určují, zda existuje zkreslení v předpokládaných výsledcích.
- Na panelu Panel dashboard Insightsvyberte model.
- V sekci Fairness klepněte na ikonu Konfigurovat . Monitor spravedlnosti používá nesourodý dopad k určení spravedlnosti. Dopad disparate porovnává procentní podíl příznivých výsledků monitorované skupiny na procentní podíl příznivých výsledků pro referenční skupinu.
- Chcete-li se vrátit na obrazovku s podrobnostmi o modelu, klepněte na volbu Přejít na souhrn modelu.
- Chcete-li zobrazit podrobnější výsledky spravedlnosti, klepněte na ikonu Šipka vpravo . Zde můžete překonfigurovat monitorované atributy a datovou sadu a zobrazit, jak se změny grafu změní.
- Chcete-li se vrátit k podrobnostem modelu, klepněte na navigační cestu modelu.
Úloha 2: Zobrazit monitory modelu pro kvalitu
Monitor kvality Watson OpenScale vyhodnocuje kvalitu vašeho modelu. Tyto metriky kvality určují, jak dobře váš model předpovídá výsledky.
- V sekci Kvalita klepněte na ikonu Konfigurovat . Monitor kvality používá mnoho metrik k určení kvality. Podrobné informace o těchto metrikách lze najít v tématu Přehled metrik kvality.
- Chcete-li se vrátit na obrazovku s podrobnostmi o modelu, klepněte na volbu Přejít na souhrn modelu.
- Chcete-li zobrazit podrobnější výsledky kvality, klepněte na ikonu šipka vpravo . Zde vidíte všechny výpočty metrik kvality a matoucí matrice zobrazující správná vzorová rozhodnutí spolu s falešnými pozitivními a nepravdivými negativy.
- Chcete-li se vrátit k podrobnostem modelu, klepněte na navigační cestu modelu.
Úloha 3: Zobrazit monitory modelu pro vysvětlitelnost
Je důležité pochopit, jak a proč model určil svůj předpovězený výsledek. Exploiovatelnost identifikuje funkce, které pozitivně a negativně ovlivňují predikovaný výsledek.
- V navigátoru Watson OpenScale klepněte na ikonu Vysvětlit transakci .
- Vyberte model ze seznamu Implementovaný model .
Seznam Poslední transakce zobrazuje všechny transakce, které jsou zpracovány vaším modelem. - Klepněte na volbu Vysvětlit ve sloupci Akce .
Stránka Podrobnosti transakce poskytuje analýzu a graf funkcí, které pozitivně a negativně ovlivnily předpovídaný výsledek transakce. - (Volitelné) Pro další analýzu klepněte na kartu Zkontrolovat .
Můžete nastavit nové hodnoty, chcete-li určit různé predikované výsledky pro transakci. Po nastavení nových hodnot můžete klepnutím na volbu Spustit analýzu zobrazit, jak mohou různé hodnoty měnit výsledek transakce.
Další kroky
Rozhraní API, sady SDK a výukové programy produktu Watson OpenScale