Translation not up to date
Za určitých podmínek můžete nakonfigurovat vyhodnocení spravedlivosti produktu Watson OpenScale , aby bylo možné vzít v úvahu nepřímé zkreslení a přímé zkreslení pro implementaci modelu.
K nepřímému zkreslení dochází, když se jedna funkce v datové sadě může použít k vystát v jiné funkci. Například v datové sadě, kde rasa není známou funkcí, může funkce jako poštovní směrovací číslo často závodit v závislosti na rase. Hodnocení funkce PSČ pro zaujatost je způsob, jak zjistit nepřímé zkreslení. V jiném příkladě by historie nákupů zákazníků mohla úzce odpovídat se sexem. Tedy i prediktivní model, který neobsahuje žádný z typických chráněných atributů, jako je závod, věk, nebo pohlaví, by mohly naznačovat zkreslené výsledky.
Produkt Watson OpenScale analyzuje nepřímé zkreslení, jsou-li splněny následující podmínky:
- Chcete-li vyhledat korelace, datová sada musí být dostatečně velká (více než 4000 záznamů).
- Výcviková data musí zahrnovat meta pole. Musíte vycvičit model na podmnožině datových polí. Tato dodatečná pole, meta pole, jsou určena pro určení nepřímého zkreslení. (Zahrnout meta pole, ale nepoužívat je v tréninkovém školení.)
- Protokolování informačního obsahu musí obsahovat metadata a musí být spuštěno dříve, než je nakonfigurován monitor spravedlnosti. Tuto metodu je nutné použít k odeslání meta polí do služby Watson OpenScale . Protokolování informačního obsahu pro nepřímé zkreslení vyžaduje dva typy vstupu: 1) funkce školení s hodnotami a 2) metapole s hodnotami.
- Když konfigurujete monitor spravedlnosti, vyberte další pole, která se mají monitorovat.
Typický sled prací pro nepřímé zkreslení
Avšak můžete určit nepřímou předpojatost pro předprodukční a modelové modely, které modely vyžadují různé sloupce. Testovací data, která se používají k vyhodnocení předprodukčních modelů a dat zpětné vazby, která se používají k vyhodnocení předvýrobních nebo produkčních modelů, se liší podle použití metasloupců. Metasloupce jsou nezbytné pro testovací data pro předprodukci a nelze je zahrnout do dat zpětné vazby, která se používají pro předprodukční nebo modelové modely. Typický sled prací může zahrnovat následující kroky:
- Vytvořte cvičná data, která budou obsahovat oba sloupce funkcí a metasloupce. Metasloupce obsahují data, která nejsou použita k vycvičování modelu.
- V produktu Watson OpenScalenakonfigurujte sledování korelací s metasloupci.
- Během předprodukčního testu odešlete testovací data, která obsahují jak sloupce funkcí, tak i metasloupce. Tato testovací data musí být odeslána s použitím volby CSV Importovat testovací data .
- Během předsériové výroby se můžete v různých verzích modelu vzájemně propojovat při použití nepřímých předpojatosti k zajištění toho, aby váš konečný model byl bez předpojatosti.
- Po odeslání modelu k produkci by data zpětné vazby neměla mít žádný z metasloupců, pouze sloupce funkcí, které byly použity k vycvičování modelu.
Ukázkový soubor informačního obsahu JSON s metapoli
Následující ukázkový soubor zobrazuje informační obsah JSON s poli a hodnotami, které se používají pro trénování modelu. Zahrnuty jsou i meta pole a hodnoty, které se používají pro nepřímou analýzu zkreslení. Metapole se nepoužívají k vycvičování modelu, místo toho jsou rezervovány pro různé druhy analýzy, které se snaží korelovat je k předpojatosti modelu. Ačkoli meta pole mohou být jakýkoli typ dat, jsou to obvykle chráněné atributy, jako je sex, závod, nebo věk.
[request_data = {
"fields": ["AGE", "SEX", "BP", "CHOLESTEROL", "NA", "K"],
"values": [[28, "F", "LOW", "HIGH", 0.61, 0.026]]
}
response_data = {
"fields": ["AGE", "SEX", "BP", "CHOLESTEROL", "NA", "K", "probability", "prediction", "DRUG"],
"values": [[28, "F", "LOW", "HIGH", 0.61, 0.026, [0.82, 0.07, 0.0, 0.05, 0.03], 0.0, "drugY"]]
}
request_data = <put your data here>
response_data = <put your data here>
records = [PayloadRecord(request=request_data, response=response_data, response_time=18),
PayloadRecord(request=request_data, response=response_data, response_time=12)]
subscription.payload_logging.store(records=records)
Metahodnoty musí být ve formátu pole polí:
"meta": {
"fields": ["age", "race", "sex"],
"values": [
[32, "Black", "Male"]
]
}
Konfigurace služby Watson OpenScale pro nepřímý posun
Když nastavujete monitor spravedlnosti, vyberte pole, která se mají monitorovat. Zahrňte jak školicí funkce, tak i pole, která jsou vyloučena ze školení modelu. Vyberete-li pole, které je vyloučené ze školení modelu, vyhledá produkt Watson OpenScale korelace mezi hodnotami v daném poli a hodnotami ve funkcích školení. Korelované funkce se používají jako servery proxy pro pole, která byla vyloučena ze školení modelu.
Některá pole jsou funkce školení. Ostatní pole, která nejsou funkce školení, jsou identifikována jako pole meta. Pro vybraná meta pole Watson OpenScale kontroluje nepřímou zaujatost.
Další informace
- Volby zabránění duplikaci
- Pro notebook pro nepřímé ovlivnění funkce Watson OpenScale Indirect Bias detection
Nadřízené téma: Konfigurace vyhodnocení modelu