Zobrazit náhled výukového programu

V tomto výukovém programu dokončíte tyto úlohy:

• Nastavte předpoklady.
• Úloha 1: Spusťte zápisník pro nastavení monitorů.
• Úloha 2: Vyhodnocení modelu.
• Úloha 3: Sledování kvality monitorů modelu.
• Úloha 4: Sledovat monitory modelu pro spravedlnost.
• Úloha 5: Sledování vysvětlitelnosti monitorů modelu.
• Úloha 6: Povýšit model na předprodukční a schválit model.
• Vyčištění (volitelné)

Chcete-li zobrazit náhled kroků v tomto výukovém programu, podívejte se na toto video.

Toto video poskytuje vizuální metodu, jak se seznámit s koncepty a úlohami v této dokumentaci.

• Tipy pro dokončení tohoto výukového programu

  Použití obrazového videa v obraze

  Tip: Spusťte video a při procházení výukovým programem se video přesune do režimu obrazu v obraze. Zavřete video obsah pro nejlepší zážitek s obrazem v obraze. Můžete použít režim obrazu v obraze, takže můžete sledovat video po dokončení úloh v tomto výukovém programu. Klepněte na časová razítka pro každou úlohu, kterou chcete sledovat.

  Následující animovaný obrázek ukazuje, jak používat obrazový obraz v obraze a obsah:

  

  Získejte pomoc v komunitě

  Potřebujete-li pomoc s tímto výukovým programem, můžete položit otázku nebo najít odpověď v diskusním fóru komunity Cloud Pak for Data.

  Nastavení oken prohlížeče

  Chcete-li získat optimální zkušenost s dokončením tohoto výukového programu, otevřete Cloud Pak for Data v jednom okně prohlížeče a ponechte tuto stránku výukového programu otevřenou v jiném okně prohlížeče, abyste snadno přepínali mezi oběma aplikacemi. Zvažte uspořádání dvou oken prohlížeče vedle sebe, abyste usnadnili sledování.

  

  Tip: Pokud při provádění tohoto výukového programu v uživatelském rozhraní narazíte na asistovanou prohlídku, klepněte na Možná později.

  
  Zpět na začátek
  

• Nastavení předpokladů

  Dokončete výukový program Sestavit a implementovat model .

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 00:47.

  Dokončete výukový program Sestavit a implementovat model pro vytvoření, povýšení a implementaci modelu strojového učení, který se používá v tomto výukovém programu.

  Poskytování služeb

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 01:14.

  Důležité: Watson OpenScale je k dispozici pouze v regionech Dallas a Frankfurt. Po dokončení výukového programu Sestavení a implementace modelu byste měli používat oblast Dallas. Je-li to nutné, přepněte se do oblasti Dallasu, než budete pokračovat.

  Kromě služeb nezbytných k dokončení Sestavit a nasadit výukový program modelupotřebujete také zajistit službu Watson OpenScale . Chcete-li ověřit nebo zajistit nezbytné služby, postupujte takto:

  1. V produktu Cloud Pak for Dataověřte, že se nacházíte v regionu Dallas. Pokud ne, klepněte na rozevírací nabídku regionu a vyberte volbu Dallas.
     

  2. V navigační nabídce Cloud Pak for Data vyberte volbu Služby > Instance služeb.

  3. Pomocí rozevíracího seznamu Produkt určete, zda existuje instance služby Watson OpenScale .

  4. Pokud potřebujete vytvořit instanci služby Watson OpenScale , klepněte na volbu Přidat službu.

  5. Vyberte volbu Watson OpenScale.

     1. Jako oblast vyberte Dallas.

     2. Vyberte plán Lite .

     3. Klepněte na volbu Vytvořit.

  6. Pro Výukový program pro sestavení a implementaci modelubyly vyžadovány následující další služby:

     • Watson Studio
     • Watson Machine Learning
     • Watson Knowledge Catalog
     • Cloud Object Storage

  Zkontrolujte svůj pokrok

  Následující obrázek zobrazuje zajištěné instance služby. Nyní jste připraveni spustit tento výukový program.
  
  

  

  
  Zpět na začátek
  

• Úloha 1: Spuštění zápisníku pro nastavení monitorů

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 01:55.

  
  

  Spusťte druhý zápisník zahrnutý v ukázkovém projektu pro:

  • Načtěte model a implementace.
  • Nakonfigurujte Watson OpenScale.
  • Vytvořte poskytovatele služeb a předplatné pro službu strojového učení.
  • Nakonfigurujte monitor kvality.
  • Nakonfigurujte monitor spravedlnosti.
  • Nakonfigurujte vysvětlitelnost.

  Chcete-li spustit zápisník obsažený v ukázkovém projektu, postupujte takto. Tento zápisník nastavuje monitory pro váš model, které lze konfigurovat také prostřednictvím uživatelského rozhraní. Je však rychlejší a méně chyb náchylné k jejich nastavení s notebookem. Udělejte si čas, abyste si přečetli komentáře v zápisníku, které vysvětlují kód v každé buňce.

  1. V navigační nabídce Cloud Pak for Data vyberte volbu Projekty > Zobrazit všechny projekty.

  2. Otevřete projekt řízení AI .

     Poznámka: Může se zobrazit prohlídka s průvodcem zobrazující výukové programy, které jsou součástí tohoto příkladu použití. Odkazy v komentované prohlídce otevřou tyto pokyny výukového programu.

  3. Klepněte na kartu Aktiva a pak přejděte na Zápisníky.
     

  4. Otevřete zápisník 2-monitor-wml-model-with-watson-openscale .

  5. Vzhledem k tomu, že zápisník je v režimu jen pro čtení, klepněte na ikonu Upravit a přepněte zápisník do režimu úprav.

  6. Při importu projektu z galerie obsahuje první buňka tohoto zápisníku přístupový prvek projektu. Pokud tento zápisník neobsahuje první buňku s přístupovým tokenem projektu, vygenerujte token z nabídky Více výběrem volby Vložit token projektu. Tato akce vloží novou buňku jako první buňku v zápisníku obsahujícím token projektu.

  7. V části Vložit klíč rozhraní API IBM Cloud vložte klíč rozhraní API do pole ibmcloud_api_key .

  8. Klepnutím na volbu Buňka > Spustit vše spustíte všechny buňky v zápisníku. Případně můžete buňku zápisníku spustit podle buňky, chcete-li prozkoumat jednotlivé buňky a jejich výstup.

  9. Dokončení zápisníku trvá 1-3 minuty. Buňku průběhu můžete monitorovat tak, že si všimnete hvězdičky "In [*]", která se změní na číslo, například "In [1]".

  10. Pokud během spuštění zápisníku narazíte na nějaké chyby, vyzkoušejte tyto rady pro odstraňování problémů:

      • Klepnutím na volbu Jádro > Restartovat a vymazat výstup restartujte jádro a poté znovu spusťte zápisník.

      • Odstraňte všechna existující nasazení produktu Watson OpenScale a zajistěte novou instanci služby.

      • Ověřte, že jste vytvořili příklad použití modelu, prostor implementace a název implementace v výukovém programu sestavení a implementace modelu zkopírováním a vložením zadaného názvu artefaktu přesně bez úvodních nebo koncových mezer.

  Zkontrolujte svůj pokrok

  Následující obrázek ukazuje zápisník po dokončení spuštění. Zápisník nastaví monitory pro váš model, takže nyní můžete zobrazit nasazení v produktu Watson OpenScale.
  
  

  

  
  Zpět na začátek
  

• Úloha 2: Vyhodnocení modelu
  
  

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 03:40.

  Chcete-li stáhnout data o držení a použít tato data k vyhodnocení modelu v produktu Watson OpenScale, postupujte takto:

  1. Klepněte na projekt řízení AI v navigační cestě.
     

  2. Na kartě Aktiva klepněte na volbu Data > Datová aktiva.

  3. Klepněte na nabídku Přetečení pro datové aktivum GoldenBank_HoldoutData.csv a vyberte volbu Stáhnout. Chcete-li ověřit, že model pracuje podle potřeby, potřebujete sadu označených dat, která byla zadržena z trénování modelu. Tento soubor CSV obsahuje tato data pro uložení.

  4. Spusťte produkt Watson OpenScale. V navigační nabídce vyberte volbu Služby > Instance služeb.

  5. Otevřete instanci Watson OpenScale . Budete-li vyzváni, přihlaste se pomocí stejných pověření, která jste použili k registraci produktu Cloud Pak for Data.

  6. Na stránce instance služby Watson OpenScale klepněte na volbu Spustit aplikaci.

  7. Na řídicím panelu Náhledyklepněte na dlaždici Implementace modelu schválení hypotéky .

  8. V nabídce Akce vyberte volbu Vyhodnotit nyní.

  9. Ze seznamu voleb importu vyberte volbu ze souboru CSV.

  10. Přetáhněte datový soubor Golden Bank_HoldoutData.csv , který jste stáhli z projektu, do postranního panelu.

  11. Klepněte na volbu Odeslat a vyhodnotit.

  Zkontrolujte svůj pokrok

  Následující obrázek ukazuje výsledek vyhodnocení nasazeného modelu v produktu Watson OpenScale. Nyní, když jste model vyhodnotili, jste připraveni sledovat kvalitu modelu.
  
  

  

  
  Zpět na začátek
  

• Úkol 3: Sledování kvality modelových monitorů
  
  

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 04:44.

  Monitor kvality Watson OpenScale generuje sadu metrik pro vyhodnocení kvality vašeho modelu. Pomocí těchto metrik kvality můžete určit, jak dobře váš model předpovídá výsledky. Po dokončení vyhodnocení, které používá data pro zadržování, postupujte takto, chcete-li sledovat kvalitu nebo přesnost modelu:

  1. V levém navigačním panelu klepněte na ikonu Řídicí panel produktu Insights .

  2. Vyhledejte dlaždici Implementace modelu schválení hypotéky . Všimněte si, že implementace má 0 problémů a že testy Kvalita i Poctivost byly úspěšné, což znamená, že model splnil požadované prahové hodnoty.

  3. Chcete-li zobrazit další podrobnosti, klepněte na dlaždici Implementace modelu schválení hypotéky .

  4. V sekci Kvalita klepněte na ikonu Konfigurovat . Zde vidíte, že prahová hodnota kvality, která je nakonfigurována pro tento monitor, je 70% a že měření použité kvality je oblast pod křivkou ROC.

  5. Klepnutím na volbu Přejít na souhrn modelu se vrátíte na obrazovku podrobností modelu.

  6. V sekci Kvalita klepněte na ikonu se šipkou doprava a zobrazí se podrobné výsledky kvality modelu. Zde vidíte řadu výpočtů metrik kvality a matici zmatků, která zobrazuje správná modelová rozhodnutí spolu s falešnými pozitivními a falešnými negativy. Vypočtená plocha pod křivkou ROC je 0.9 nebo vyšší, což překračuje prahovou hodnotu 0.7 , takže model splňuje svůj požadavek na kvalitu.

  7. Klepnutím na volbu Nasazení modelu schválení hypotéky v navigační cestě se vrátíte na obrazovku s podrobnostmi o modelu.

  Zkontrolujte svůj pokrok

  Následující obrázek ukazuje podrobnosti o kvalitě v produktu Watson OpenScale. Nyní, když jste sledovali kvalitu modelu, můžete pozorovat férovost modelu.
  
  

  

  
  Zpět na začátek
  

• Úkol 4: Sledování modelu monitorů pro spravedlnost
  
  

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 06:01.

  Monitor spravedlnosti Watson OpenScale generuje sadu metrik pro vyhodnocení spravedlnosti vašeho modelu. Metriky spravedlnosti můžete použít k určení, zda váš model vytváří zkreslené výsledky. Chcete-li sledovat férovost modelu, postupujte takto:

  1. V sekci Poctivost klepněte na ikonu Konfigurovat . Zde vidíte, že se model přezkoumává, aby se zajistilo, že s žadateli bude zacházeno spravedlivě bez ohledu na jejich pohlaví. Ženy jsou identifikovány jako monitorovaná skupina, pro kterou se měří spravedlivost, a prahová hodnota pro spravedlivost musí být alespoň 80%. Monitor spravedlnosti používá k určení spravedlnosti metodu nesourodého dopadu. Nesourodý dopad porovnává procento příznivých výsledků pro monitorovanou skupinu s procentem příznivých výsledků pro referenční skupinu.

  2. Klepnutím na volbu Přejít na souhrn modelu se vrátíte na obrazovku podrobností modelu.

  3. V sekci Poslušnost klepněte na ikonu se šipkou doprava , abyste viděli podrobné výsledky pro spravedlivost modelu. Zde vidíte procento mužských a ženských žadatelů, kteří jsou automaticky schváleni, spolu se skóre spravedlivosti více než 100%, takže výkon modelu daleko přesahuje požadovaný práh spravedlnosti 80%.

  4. Všimněte si identifikovaných datových sad. Aby se zajistilo, že metriky spravedlivosti jsou nejpřesnější, Watson OpenScale používá perturbaci k určení výsledků, kde se mění pouze chráněné atributy a související vstupy modelu, zatímco ostatní funkce zůstávají stejné. Perturbation změní hodnoty funkce z referenční skupiny na monitorovanou skupinu, nebo naopak. Tato dodatečná zábradlí se používají k výpočtu spravedlnosti, když se používá "vyvážená" datová sada, ale můžete také zobrazit výsledky spravedlnosti pouze pomocí informačního obsahu nebo dat trénování modelu. Vzhledem k tomu, že model se chová spravedlivě, nemusíte jít do dalších podrobností pro tuto metriku.

     

  5. Klepnutím na navigační cestu Implementace modelu schválení hypotéky se vrátíte na obrazovku podrobností modelu.

  Zkontrolujte svůj pokrok

  Následující obrázek ukazuje podrobnosti o spravedlnosti v produktu Watson OpenScale. Nyní, když jste pozorovali férovost modelu, můžete pozorovat vysvětlitelnost modelu.
  
  

  

  
  Zpět na začátek
  

• Úloha 5: Sledovat modelové monitory pro vysvětlitelnost
  
  

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 07:42.

  Je také důležité pochopit, jak model přišel k jeho rozhodnutí. Toto porozumění je nezbytné jak pro vysvětlení rozhodnutí osobám zapojeným do schvalování úvěrů, tak pro zajištění platnosti rozhodnutí vlastníků modelů. Chcete-li porozumět těmto rozhodnutím, postupujte takto, chcete-li sledovat vysvětlitelnost modelu:

  1. V levém navigačním panelu klepněte na ikonu Vysvětlit transakci .

  2. Chcete-li zobrazit seznam transakcí, vyberte volbu Implementace modelu schválení hypotéky .

  3. Pro libovolnou transakci klepněte na volbu Vysvětlit pod sloupcem Akce . Zde vidíte podrobné vysvětlení tohoto rozhodnutí. Uvidíte nejdůležitější vstupy do modelu spolu s tím, jak důležité bylo, aby každý z nich byl do konečného výsledku. Modré pruhy představují vstupy, které mají tendenci podporovat rozhodnutí modelu, zatímco červené pruhy ukazují vstupy, které mohly vést k jinému rozhodnutí. Například žadatel může mít dostatek příjmů na to, aby mohl být jinak schválen, ale jeho špatná úvěrová historie a vysoký dluh společně vedou k modelu zamítnutí žádosti. Přezkoumejte toto vysvětlení, abyste byli spokojeni se základem pro rozhodnutí modelu.

  4. (Volitelné) Chcete-li podrobněji zjistit, jak se model rozhodl, klepněte na kartu Zkontrolovat . Pomocí funkce Zkontrolovat můžete analyzovat rozhodnutí o nalezení oblastí citlivosti, kde by malé změny několika vstupů vedly k odlišnému rozhodnutí, a můžete sami otestovat citlivost přepsáním některých skutečných vstupů alternativami, abyste zjistili, zda by to mělo dopad na výsledek.

  Zkontrolujte svůj pokrok

  Následující obrázek ukazuje vysvětlitelnost transakce v produktu Watson OpenScale. Zjistili jste, že model je přesný a že se všemi žadateli zachází spravedlivě. Nyní můžete model posunout do další fáze v jeho životním cyklu.
  
  

  

  
  Zpět na začátek
  

• Úloha 6: Povýšit model na předprodukční a schválit model
  
  

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 09:21.

  Chcete-li změnit stav případu použití modelu v inventáři modelu a schválit model, postupujte takto:

  1. Vraťte se do Cloud Pak for Dataa v navigační nabídce vyberte Katalogy > Inventář modelu.

  2. Pro Příklad použití modelu schválení hypotékyklepněte na volbu Zobrazit podrobnosti.

  3. Klepněte na kartu Aktivum . V části Sledování modelumůžete vidět, že se model nyní nachází ve fázi Ověřit .

  4. Klepněte na ikonu Upravit vedle položky Stav příkladu použití modelu, vyberte volbu Povýšeno na předprodukčnía klepněte na tlačítko Aktualizovat.

  5. Vraťte se do Watson OpenScale Insights.

  6. Klepněte na dlaždici Implementace modelu schválení hypotéky .

  7. V nabídce Akce vyberte volbu Schválit pro produkcia poté klepněte na volbu Schválit. Tato akce předává týmu operací AI, který nyní může implementovat model do určeného produkčního prostoru.

  8. V navigační nabídce Cloud Pak for Data vyberte volbu Katalogy > Inventář modelu.

  9. Pro Příklad použití modelu schválení hypotékyklepněte na volbu Zobrazit podrobnosti.

  10. Klepněte na kartu Aktivum . V části Sledování modeluse nyní případ použití modelu zobrazuje ve fázi Ověřit jako vyhodnocený a schválený.

  11. Zobrazte Implementace modelu schválení hypotéky , abyste viděli informační list zachycený produktem Watson OpenScale.

  12. Zavřete informační list implementace modelu.

  Zkontrolujte svůj pokrok

  Následující obrázek ukazuje příklad použití modelu s modelem ve fázi Ověřit. Váš model je nyní v provozu.
  
  

  

  Sdílet model

  Chcete-li zobrazit náhled této úlohy, podívejte se na video začínající na 10:39.

  Můžete generovat sestavu z listu faktu nebo z příkladu použití modelu ve formátu PDF, HTML a DOCX, abyste mohli sdílet nebo tisknout podrobnosti o modelu sledovaném v inventáři modelu.

  1. Na kartě Aktivum v příkladu použití modelu klepněte na volbu Exportovat sestavu.

  2. Pro volbu Volby formátuvyberte formát.

  3. Pro šablonu sestavyvyberte šablonu:

     • Celá sestava: obsahuje všechna data ze základní sestavy a podrobnosti o modelech a implementacích v příkladu použití modelu.

     • Základní sestava: obsahuje sadu faktů viditelných na kartách Přehled a Aktiva.

  4. Klepněte na volbu Exportovat. Sestava se zobrazí v novém okně.

  Zkontrolujte svůj pokrok

  Následující obrázek ukazuje úplnou sestavu pro příklad použití modelu schválení hypotéky. Nyní můžete tuto sestavu sdílet se svými kolegy.
  
  

  

  
  Zpět na začátek
  

Vyčištění (volitelné)

Chcete-li znovu použít výukové programy v příkladu použití řízení AI, odstraňte následující artefakty.

Další kroky

• Vyzkoušejte Koordinovat propojení procesů AI s výukovým programem pro monitorování modelu.

• Přihlaste se k jinému případu použití prostředí Fabric dat.

• Vyzkoušejte další výukové programy pro sestavení, implementaci a důvěryhodnost modelů.

• Sestavte model pomocí AutoAI.

• Prozkoumejte komplexní ukázky produktu Industry Accelerators.

• Výukové programy rychlého spuštění

Další informace

Podívejte se, jak používat produkt IBM OpenPages ke správě modelu prostřednictvím jeho operací životního cyklu.

• Zápisníky

• Trénujte a implementujte modely strojového učení v noteboocích

• Watson OpenScale

• Inventář modelu

• Přehled produktu Cloud Pak for Data as a Service a datového prostředí Fabric

Nadřízené téma: Výukové programy datového prostředí Fabric