Proveďte analýzu v produktu Watson OpenScale

Po nastavení a aktivaci funkcí pro správu rizik modelu můžete zobrazit a porovnat ukázková vyhodnocení. Můžete si stáhnout souhrnnou sestavu modelu, která obsahuje všechna opatření kvality, měřítka spravedlnosti a rozsah posunu.

1. Na panelu dashboard Insights klepněte na dlaždici implementace modelu.

2. V nabídce Akce klepněte na jednu z následujících voleb analýzy:

   • Všechna hodnocení: Vypíše všechny předchozí verze vyhodnocení.
   • Compare: Compare any of the models, but especially versions of the same model, for best performance.
   • Stáhnout sestavu PDF: Vygeneruje souhrnnou sestavu modelu, která vám poskytuje všechny metriky a vysvětlení, proč byli skórovali způsobem, jakým byly.

Implementace nového modelu do produkce v produktu Watson OpenScale

Zasuňte nejlepší model do výroby. Vytvořte produkční záznam importem z předprodukčního modelu.

1. Zkontrolujte stav implementace modelu.
2. Vraťte se do ukázkového zápisníku a spusťte buňky k odeslání modelu do produkce.
3. Nyní můžete zobrazit panel implementace produkčního modelu. V běžném produkčním prostředí se zpočátku zdá být prázdné, dokud se neshromáždí dostatek dat a čas neuplyne pro výpočet metriky, který má být spuštěn. Zápisník přidá data a spustí monitory, takže můžete okamžitě vidět výsledky.

Porovnat modely

Když zobrazíte podrobnosti vyhodnocení modelu, můžete použít produkt Watson OpenScale k porovnání modelů s maticový graf, který zvýrazňuje klíčové metriky. Použijte tuto funkci k určení, která verze modelu je nejlepší pro odeslání do produkce nebo který model může potřebovat práci.

V nabídce Akce vyberte volbu Porovnat a vygenerujte graf porovnávající skóre metrik, které používáte k monitorování modelů.

Vyhodnotit nyní

V nabídce Akce vyberte volbu Vyhodnotit nyní , chcete-li vyhodnotit testovací data pro spravedlnost, kvalitu a posun. V předprodukčním prostředí můžete importovat testovací data pomocí jedné z následujících metod:

• Odeslat soubor CSV, který obsahuje označená testovací data
• Připojte se k souboru CSV, který obsahuje označená testovací data v produktu Cloud Object Storage nebo Db2

Použijete-li některou z těchto metod importu, můžete určit, zda má produkt Watson OpenScale nabodovat testovací data.

Chcete-li, aby produkt Watson OpenScale nabodoval vaše data, importujte označená testovací data se sloupci funkcí a popisků. Produkt Watson OpenScale hodnotí testovací data a hodnoty předpovědi a pravděpodobnosti jsou uloženy v tabulce zpětné vazby jako sloupce _original_prediction a _original_probability .

Chcete-li importovat testovací data, která jsou již zabodovaná, vyberte zaškrtávací políčko Test data includes model output na panelu Importovat testovací data . Testovací data musíte importovat spolu s funkcemi a sloupci štítku spolu s výstupem s rýhou. Watson OpenScale neprovádí opětovné skenování testovacích dat. Hodnoty predikce a pravděpodobnosti jsou uloženy v tabulce zpětné vazby jako sloupce _original_prediction a _original_probability .

Poznámky:

Testovací data, která odešlete, mohou také obsahovat sloupce record_id/transaction_id a record_timestamp , které jsou přidány do tabulky informačního obsahu a zpětné vazby, když je vybrána volba Test data includes model output .

Než provedete vyhodnocení, ujistěte se, že je odběr plně povolen, a to nastavením správných schémat.

Kopírovat konfiguraci z předprodukčního odběru do produkčního odběru

Chcete-li ušetřit čas, můžete zkopírovat konfiguraci a metadata modelu z předprodukčního odběru a přidat data do produkčního odběru. Model musí být identická shoda se zdrojovým modelem, ale implementovaná do produkčního prostoru.

Nadřízené téma: Model řízení rizik a správa modelů