Transformator FairScore

Transformator FairScore może być używany jako technika przetwarzania końcowego przetwarzania końcowego jako metoda przetwarzania końcowego. Ta technika przekształca szacunki prawdopodobieństwa lub wyniki probabilistycznych modeli klasyfikacji binarnej w zakresie celów godziwości. Aby użyć programu FairScore Transformer w systemie Watson OpenScale, należy trenować transformator punktów zadowalających.

Indywidualny wróżnik po procesorach

Indywidualny wróżnik po procesorach jest algorytmem transformatora przetwarzania końcowego, który transformuje poszczególne wyniki w celu osiągnięcia indywidualnego uczciwości. Za pomocą tego pakietu można używać pakietu Python SDK do obsługi wieloklasowej klasyfikacji tekstu. Ten algorytm należy trenować, zanim będzie można go użyć do transformowania wyjść modelu.

Redukcja wejściowa

Za pomocą algorytmu redukcji danych wejściowych można obliczyć minimalny zestaw funkcji, które należy określić, aby zachować spójność predykcji modelu. Algorytm wyklucza składniki, które nie mają wpływu na predykcje modelu.

Kompensacja wiarygodności

Kompensacja wiarygodności (LC) to ramy dla wyjaśnienia odchyleń przewidywania modelu czarnej skrzynki od prawdy gruntowych. Dzięki testom danych i funkcji przewidywania modelu czarnej skrzynki LC może zidentyfikować anomalie w danych testowych i wyjaśnić, co spowodowało, że próba stała się anomalią. Wyjaśnienie LC jest dostarczane jako delty, które po dodaniu do oryginalnych danych testowych lub anomalii, zbiegają się z przewidywaniem modelu do prawdy gruntowych. LC udostępnia lokalne wyjaśnienia i jest obsługiwany tylko dla modeli regresji.

Średnia indywidualna rozbieżność

Można użyć średniej indywidualnej dysproporcji w celu sprawdzenia, czy model generuje podobne predykcje lub wyniki dla podobnych próbek. Ta metryka oblicza różnicę w oszacowaniach prawdopodobieństwa dla wieloklasowych modeli klasyfikacji dla podobnych próbek.

Skanowanie podzbioru wielowymiarowego

Można użyć wielowymiarowego algorytmu skanowania podzbioru jako ogólnej metody skanowania bias. Ta metoda wykrywa i określa, które podgrupy funkcji mają statystycznie istotne prawdopodobieństwo predykcyjne dla probabilistycznego klasyfikatora binarnego (probabilistic binary classifier). Ten algorytm pomaga określić, które opcje są atrybutami chronionymi i które wartości tych opcji stanowią uprzywilejowaną grupę do monitorowania ocen.

Miary wydajności

W celu oceny modeli z matrycą pomieszania obliczoną przy użyciu danych z prawdy naziemnej i predykcji modelu z danych przykładowych można użyć następujących pomiarów miary wydajności:

• average_odds_difference
• average_abs_odds_difference
• error_rate_difference
• wskaźnik_błędu
• false_negative_rate_difference
• false_negative_rate_ratio
• false_positive_rate_difference
• false_positive_rate_ratio
• false_discovery_rate_difference
• false_discovery_rate_ratio
• false_omission_rate_difference
• false_omission_rate_ratio

Wyodrębnianie atrybutów chronionych

Algorytm wyodrębniania atrybutów chronionych transformuje zestawy danych tekstowych do ustrukturyzowanych zestawów danych. Algorytm tokenizuje dane tekstowe, porównuje dane do określonych wzorców i wyodrębnia chroniony atrybut z tekstu w celu utworzenia ustrukturyzowanych danych. Tych ustrukturyzowanych danych można użyć do wykrywania bias dla zabezpieczonego atrybutu za pomocą algorytmu wykrywania Watson OpenScale wykrywania bias. Algorytm wyodrębniania atrybutów chronionych obsługuje tylko płeć jako atrybut chroniony.

Perturbacja atrybutów chronionych

Algorytm perturbacji atrybutu zabezpieczonego generuje kontrfaktyczne instrukcje, identyfikując chronione wzorce atrybutów w zestawach danych tekstowych. Umożliwia on również dzielenie na leksemy tekstu i perturbowanie słów kluczowych w danych tekstowych w celu wygenerowania instrukcji. Istnieje możliwość użycia oryginalnych i perturbowanych zestawów danych w celu wykrycia bias dla atrybutu zabezpieczonego przy użyciu algorytmu wykrywania Watson OpenScale . Algorytm perturbacji atrybutu zabezpieczonego obsługuje tylko płeć jako atrybut chroniony.

Wytłumaczacz protodash

Wytłumaczacz protodash identyfikuje dane wejściowe z zestawu odniesienia, które wymagają wyjaśnień. Ta metoda minimalizuje maksymalną średnią rozbieżność (MMD) między punktami danych odniesienia i liczbą instancji wybranych na podstawie danych uczących. Aby lepiej zrozumieć predykcje modelu, instancje danych uczących naśladują podobną dystrybucję, jak w przypadku punktów danych odniesienia.

Objaśniacz do dodatków Shapley (SHAP)

SHAP to gra-teoretyczne podejście, które wyjaśnia wyniki modeli uczenia maszynowego. Łączy ona optymalną alokację kredytową z lokalnymi wyjaśnieniami za pomocą wartości Shapleya i powiązanych z nimi rozszerzeń.

SHAP przypisuje każdemu modelowi wartość ważności dla konkretnej predykcji, która jest nazywana wartością Shapleya. Wartość Shapleya stanowi średni udział marginalny w wartości składnika we wszystkich możliwych grupach składników. Wartości SHAP opcji wejściowych to sumy różnicy między danymi wyjściowymi według planu bazowego lub oczekiwanego a danymi wyjściowymi modelu dla predykcji, która jest wyjaśniana. Dane wyjściowe modelu planu bazowego mogą być oparte na podsumowaniu danych uczących lub w dowolnym podzbiorze danych, dla których muszą zostać wygenerowane objaśnienia.

Wartości Shapleya zestawu transakcji mogą być łączone w celu uzyskania globalnych wyjaśnień, które zawierają przegląd najważniejszych cech modelu.

Smoothed empirical differential (SED)

SED jest charakterystyką fairness, której można używać do opisywania uczciwości dla predykcji modelu. SED określa różnicę w prawdopodobieństwie korzystnych i niesprzyjających wyników pomiędzy grupami, które dzielą się na cechy. Wszystkie grupy przecięcia są równe, więc nie ma grup nieuprzywilejowanych ani uprzywilejowanych. To obliczenie generuje wartość SED, która jest minimalnym współczynnikiem prawdopodobieństwa wygładzone przez Dirichlet dla korzystnych i niesprzyjających wyników między grupami przecięcia w zestawie danych. Wartość mieści się w zakresie od 0 do 1, z wyłączeniem wartości 0 i 1, a większa wartość określa lepszy wynik.

Statystyczna różnica parzystości

Statystyczna różnica parzystości jest metryką typu fairness, której można użyć do opisywania wartości godziwości dla predykcji modelu. Jest to różnica między stosunkiem korzystnych wyników w grupach nieuprzywilejowanych i uprzywilejowanych. Ten pomiar może być obliczony na podstawie wejściowego zestawu danych lub danych wyjściowych zestawu danych z zestawu danych klasyfikatora lub zestawu danych przewidywanych. Wartość 0 oznacza, że obie grupy otrzymują równe korzyści. Wartość mniejsza od 0 oznacza większe korzyści dla grupy uprzywilejowanej. Wartość większa od 0 oznacza większe korzyści dla nieuprawnionego grupy.

Te wielkości mierzone i algorytmy można obliczyć za pomocą pakietu Watson OpenScale Python SDK w wersji 3.0.14 lub nowszej. Aby uzyskać więcej informacji, zapoznaj się z dokumentacją Watson OpenScale Python SDK.

Można również użyć przykładowych notebooków w celu obliczenia wartości mierzonych dotyczących rzetelności i wyjaśniania.

Temat nadrzędny: Interfejsy API, SDKs i kursy