Jak se vypočítá zkreslení

Algoritmus Watson OpenScale pro výpočet spravedlivosti vypočítá klouby na hodinovém základě za použití posledních záznamů N , které se nacházejí v tabulce protokolování informačního obsahu, a hodnota N je zadána při konfiguraci monitoru spravedlnosti. Algoritmus používá metodu nazvanou perturbation pro vyhodnocení rozdílů v očekávaných výsledcích v datech.

Perturbation změní hodnoty vlastnosti z referenční skupiny na sledovanou skupinu, nebo naopak. Pertulená data se pak odešlou do modelu, aby vyhodnotily své chování. Algoritmus se dívá na poslední N záznamy v tabulce informačního obsahu a chování modelu na pertulovaná data, aby bylo možné rozhodnout, zda výsledky modelu indikují přítomnost zkreslení.

Model je zkreslený, pokud procento příznivých výsledků monitorované skupiny je nižší než procentní část příznivých výsledků pro referenční skupinu, a to pomocí prahové hodnoty, kterou určíte při konfiguraci monitorování spravedlnosti.

Všimněte si, že hodnoty spravedlnosti mohou být větší než 100%. Tento výpočet znamená, že monitorovaná skupina získala příznivější výsledky než referenční skupina. Kromě toho, pokud nejsou odesílány žádné nové požadavky na přidělení skóre, zůstane hodnota ceny spravedlnosti konstantní.

Vyvážená data a dokonalá rovnost

Pro vyvážené datové sady se používají následující koncepce:

• Chcete-li určit dokonalou hodnotu rovnosti, transakce referenční skupiny se syntetizují změnou hodnoty monitorovaných funkcí každé transakce monitorované skupiny na všechny hodnoty referenční skupiny. Tyto nové syntetizované transakce se přidávají do sady transakcí referenční skupiny a jsou vyhodnocovány modelem.

Je-li například monitorovaná funkce SEX a monitorovaná skupina je FEMALE, všechny transakce FEMALE se duplikují jako transakce MALE . Ostatní hodnoty funkcí zůstávají nezměněny. Tyto nové syntetizované transakce MALE se přidávají do sady původních transakcí referenční skupiny MALE .

• Procentní podíl příznivých výsledků je určován z nové referenční skupiny. Toto procento představuje dokonalou spravedlnost pro sledovanou skupinu.
• Monitorované transakce skupiny jsou také syntetizovány změnou hodnoty funkce odkazu každé transakce referenční skupiny na hodnotu monitorované skupiny. Tyto nové syntetizované transakce se přidávají do sady monitorovaných transakcí skupiny a jsou vyhodnoceny modelem.

Je-li monitorovaná funkce SEX a monitorovaná skupina je FEMALE, všechny transakce MALE jsou duplikovány jako transakce FEMALE . Ostatní hodnoty funkcí zůstávají nezměněny. Tyto nové syntetizované transakce FEMALE se přidávají do sady původních monitorovaných transakcí skupiny FEMALE .

Perfect equality =   Percentage of favorable outcomes for all reference transactions, 
                     including the synthesized transactions from the monitored group

Perfect equality for `SEX` =  Percentage of favorable outcomes for `MALE` transactions, 
                                 including the synthesized transactions that were initially `FEMALE` but changed to `MALE`

Převod datového typu sloupce předpovědi

Pro monitorování spravedlivosti umožňuje sloupec predikce pouze celočíselné číselné hodnoty i přesto, že popisek předpovědi je kategorický. Převod datového typu sloupce predikce je možný.

Například data školení mohou mít popisky tříd, jako např. "Odmítnuto úvěry", "Poskytnutá půjčka". Hodnota předpovědi, kterou vrací koncový bod hodnocení IBM Watson Machine Learning , má hodnoty jako "0.0", "1.0". Koncový bod hodnocení má také nepovinný sloupec, který obsahuje textovou reprezentaci predikce. Například, pokud je prediction=1.0, sloupec predictionLabel může mít hodnotu "Loan Udations". Je-li takový sloupec dostupný, když nakonfigurujete příznivý a nepříznivý výsledek pro model, zadejte hodnoty řetězce "Loan Ucted" a "Loan Denied". Pokud takový sloupec není k dispozici, je třeba zadat celočíselné a dvojité hodnoty 1.0, 0.0 pro příznivé třídy a třídy bez příznivých odpovědí.

Produkt IBM Watson Machine Learning má koncept výstupního schématu, který definuje schéma výstupu koncového bodu IBM Watson Machine Learning a role pro různé sloupce. Role se používají k identifikaci, který sloupec obsahuje hodnotu předpovědi, který sloupec obsahuje pravděpodobnost předpovědi, a hodnotu popisku třídy, atd. Výstupní schéma je automaticky nastaveno pro modely vytvořené pomocí tvůrce modelů. Lze ji nastavit také pomocí klienta IBM Watson Machine Learning Python . Uživatelé mohou použít výstupní schéma k definování sloupce, který obsahuje řetězcovou reprezentaci predikce. Nastavte modeling_role pro sloupec na 'dekóded-target'. Dokumentace pro klienta IBM Watson Machine Learning Python je k dispozici na adrese: https://ibm.github.io/watson-machine-learning-sdk/core_api.html#repository. Vyhledejte "OUTPUT_DATA_SCHEMA", abyste porozuměli výstupnímu schématu. Volání rozhraní API, které má být použito, je volání store_model , které přijímá parametr OUTPUT_DATA_SCHEMA jako parametr.

Interpretace skóre spravedlnosti, které je větší než 100 procent

V závislosti na konfiguraci spravedlnosti může vaše skóre spravedlnosti překročit 100 procent. To znamená, že vaše monitorovaná skupina má v porovnání s referenční skupinou relativně více "spravedlivých" výsledků. Technicky vzato to znamená, že model je nespravedlivý v opačném směru.

Další informace

Konfigurace monitoru Fairness pro nepřímý posun

Přezkoumání přehledů modelu pomocí produktu Watson OpenScale

Nadřazené téma: Konfigurace monitoru Fairness