Translation not up to date
Watson OpenScale může detekovat přímé a nepřímé zkreslení a používá dva typy debiování: aktivní a pasivní. Pasivní debiasing odhaluje zkreslení, zatímco aktivní debiazací zabraňuje zkreslení tím, že mění model v reálném čase.
Algoritmus používá metodu s názvem perturbation pro vyhodnocení rozdílů v očekávaných výsledcích v datech. Další informace o výpočtu předpojatosti naleznete v tématu Podrobnosti o implementaci monitoru plavební dráhy.
Když vyhodnotíte implementace pro spravedlnost, produkt Watson OpenScale detekuje přímé i nepřímé zkreslení transakcí z tabulky s protokolováním informačního obsahu.
Pasivní debiasing
Pasivní debiasing je práce, kterou Watson OpenScale provádí sama o sobě, automaticky každou hodinu. Je považován za pasivní, protože se děje bez zásahu uživatele. Když produkt Watson OpenScale provádí kontroly předpojatosti, je také debilazis daty. Analyzuje chování modelu a identifikuje data, ve kterých se model chová zkresleným způsobem.
Produkt Watson OpenScale pak sestaví strojový výukový model, který předpovídá, zda bude model pravděpodobně v daném okamžiku jednat zkresleným způsobem, a dále s novým datovým bodem. Watson OpenScale pak analyzuje data, která model přijme, každou hodinu a vyhledá datové body, které způsobují zkreslení. Pro takové datové body je atribut spravedlivosti pertulovaný z menšinové většiny a většina na menšinu a pertulolovaná data se posílají na původní model pro předpověď. Pro výpočet předpojatosti se používá predikce záznamu perturbury, spolu s původní predikcí.
Watson OpenScale odbiuje identifikované zkreslené záznamy, které model přijímá za poslední hodinu. Také vypočítá spravedlnost pro zkreslený výstup a zobrazí jej na kartě Odpředený model .
Aktivní debiasing
Aktivní odbizování je způsob, jak si vyžádat a přenést zkreslené výsledky do vaší aplikace prostřednictvím koncového bodu rozhraní REST API. Můžete aktivně vyvolat aplikaci Watson OpenScale , abyste mohli znát zkreslenou předpověď modelu, abyste mohli svou aplikaci spustit bez předpojatosti. V aktivním zrušení debiasing můžete ze své aplikace použít koncový bod REST API pro zrušení dvojuživatele. Tento koncový bod rozhraní REST API interně volá váš model a kontroluje jeho chování.
Pokud produkt Watson OpenScale zjistí, že model vystupuje zkresleným způsobem, převede data zpět a odešle je zpět původnímu modelu. Po interní analýze na datovém bodu perturbed, pokud produkt Watson OpenScale zjistí, že se model chová nepředpojatým způsobem datového bodu, je výstup původního modelu na pertulovaná data vrácen jako predikovaná predikce.
Pokud produkt Watson OpenScale zjistí, že původní model není nepředpojatý, vrací produkt Watson OpenScale predikci původního modelu jako nepředpojatou předpověď. Proto můžete pomocí tohoto koncového bodu rozhraní REST API zajistit, aby vaše aplikace nebyla založena na předpojatých výstupních rozhodnutích.
Přezkoumávání údajů pro zkreslené hodnoty
Když je vyhodnocení spravedlnosti spuštěno, produkt Watson OpenScale ukládá hodnoty nezaujaté v tabulce protokolování informačního obsahu implementace modelu. Všechny bodování transakcí provedených prostřednictvím tohoto koncového bodu jsou automaticky zkreslené, jak je použitelné. Můžete přistupovat ke koncovému bodu s překročenými skóre, stejně jako byste měli koncový bod normálního skóre pro váš implementovaný model. Kromě vrácení odezvy implementovaného modelu také vrací sloupce debiased_prediction a debiased_probability .
Sloupec
debiased_predictionobsahuje dezkreslenou hodnotu predikce.Sloupec
debiased_probabilitypředstavuje pravděpodobnost nepředpojaté předpovědi. Toto pole hodnot typu double představuje pravděpodobnost nepředpojaté předpovědi, která patří do jedné z tříd předpovědí.
Povolení parametru debiasing
Debiasing je standardně zakázán při konfiguraci nových implementací v produktu Watson OpenScale. Můžete také nastavit parametr perform_debias na hodnotu true v sekci parametrů v sadě Python SDK nebo zadat popisek prostředí PERFORM_DEBIASING pod úrovní v následujícím příkladu, jak je zobrazeno v následujícím příkladu:
wos_client.monitor_instances.update(
monitor_instance_id=<FAIRNESS_MONITOR_INSTANCE_ID>,
patch_document=[JsonPatchOperation(
op=OperationTypes.ADD,
path='/parameters/perform_debias',
value=True
)],update_metadata_only=True
)
Když platíte instanci monitoru, monitorování spravedlnosti se během dalšího vyhodnocení spustí debiasing.
Další informace naleznete v dokumentaci sady SDK produktuWatson OpenScale Python.
Přezkoumání zkreslených transakcí
Můžete použít koncový bod nezaujaté transakce k přezkoumání nezaujatých transakcí pro vyhodnocení spravedlnosti. Další informace naleznete v tématu Odeslání modelových transakcí v produktu Watson OpenScale.
Protože se koncový bod debias zabývá běhovou podjatostí, pokračuje v provádění kontrol na pozadí pro data přidělení skóre z tabulky protokolování informačního obsahu. Udržuje také aktualizaci modelu zaujatosti předpojatosti, který debiuje požadavky na přidělení skóre. Tímto způsobem je produkt Watson OpenScale vždy aktuální s příchozími daty a se svým chováním při zjišťování a zmírnění zkreslení.
Můžete nakonfigurovat prahovou hodnotu spravedlnosti v produktu Watson OpenScale , abyste označili, kdy jsou data přijatelná a nepředpojatá.
Zmírnění zkreslení s novou verzí modelu:
- Musíte sestavit novou verzi modelu, která tento problém řeší. Produkt Watson OpenScale ukládá zkreslené záznamy v tabulce ručních popisků. Tyto zkreslené záznamy musí být ručně označeny a pak je model přeškolen přes další data k vytvoření nové verze modelu, který je nezaujatý.
Extrahujte seznam jednotlivých zkreslených záznamů:
- Připojte se k tabulce s ručním popiskem a přečtěte si záznamy pomocí standardních dotazů SQL.
Nadřízené téma: Revize modelových transakcí