Sposób obliczania bias

Algorytm Watson OpenScale dla monitora wartości godziwości oblicza bias w odstępach godzinowych, korzystając z ostatnich rekordów N , które są obecne w tabeli rejestrowania ładunku, a wartość N jest określana podczas konfigurowania monitora wartości godziwości. Algorytm zastosuje metodę o nazwie perturbation do oceny różnic w oczekiwanych wynikach w danych.

Wartość perturbacji zmienia wartości składnika z grupy odwołań do monitorowanej grupy lub odwrotnie. Dane perturbed są następnie wysyłane do modelu w celu oceny jego zachowania. Algorytm sprawdza ostatnie rekordy N w tabeli ładunku i zachowanie modelu w danych perturbed, aby zdecydować, czy wyniki modelu wskazują na obecność bias.

Model jest tendencyjny, jeśli wartość procentowa pozytywnych wyników dla monitorowanej grupy jest mniejsza niż wartość procentowa pozytywnych wyników dla grupy odwołań, przy użyciu wartości progowej określanej podczas konfigurowania monitora wartości godziwości.

Należy zauważyć, że wartości godziwe mogą być większe niż 100%. To obliczenie oznacza, że monitorowana grupa otrzymała bardziej korzystne wyniki niż grupa referencyjna. Ponadto, jeśli nie zostaną wysłane żadne nowe żądania oceniania, wartość fairness pozostaje stała.

Zrównoważone dane i doskonała równość

W przypadku zrównoważonych zestawów danych zastosowanie mają następujące pojęcia:

• Aby określić idealną wartość równości, transakcje grupy odniesienia są syntetyzowane poprzez zmianę wartości opcji monitorowanej każdej transakcji grupy monitorowanej na wszystkie wartości grupy odniesienia. Te nowe transakcje syntetyzowane są dodawane do zestawu transakcji grupy referencyjnej i oceniane przez model.

Na przykład, jeśli monitorowana funkcja to SEX , a monitorowana grupa to FEMALE, wszystkie transakcje FEMALE są duplikowane jako transakcje MALE . Pozostałe wartości opcji pozostają niezmienione. Te nowe syntetyzowane transakcje MALE są dodawane do zestawu oryginalnych transakcji grupy referencyjnej MALE .

• Wartość procentowa pozytywnych wyników jest określana na podstawie nowej grupy odwołań. Ta wartość procentowa reprezentuje doskonałą uczciwość dla monitorowanej grupy.
• Transakcje grupy monitorowanej są również syntetyzowane przez zmianę wartości opcji odniesienia dla każdej transakcji grupy referencyjnej na wartość monitorowanej grupy. Te nowe transakcje syntetyzowane są dodawane do zestawu monitorowanych transakcji grupy i oceniane przez model.

Jeśli monitorowanym elementem jest SEX , a monitorowana grupa to FEMALE, to wszystkie transakcje MALE są duplikowane jako transakcje FEMALE . Pozostałe wartości opcji pozostają niezmienione. Te nowe syntetyzowane transakcje FEMALE są dodawane do zestawu oryginalnych transakcji grupy monitorowanej FEMALE .

Perfect equality =   Percentage of favorable outcomes for all reference transactions, 
                     including the synthesized transactions from the monitored group

Perfect equality for `SEX` =  Percentage of favorable outcomes for `MALE` transactions, 
                                 including the synthesized transactions that were initially `FEMALE` but changed to `MALE`

Przekształcanie typu danych kolumny predykcji

W przypadku monitorowania bezstronności w kolumnie predykcji zezwala się tylko na liczbę całkowitą, mimo że etykieta predykcji jest jakościowa. Możliwa jest konwersja typu danych kolumny predykcji.

Na przykład dane uczących mogą mieć etykiety klas, takie jak "Odmowa pożyczki", "Pożyczka". Wartość predykcji, która jest zwracana przez punkt końcowy oceniania IBM Watson Machine Learning , ma wartości takie jak "0.0", "1.0". Punkt końcowy oceniania zawiera również opcjonalną kolumnę, która zawiera reprezentację tekstową predykcji. Na przykład, jeśli prediction=1.0, kolumna predictionLabel może mieć wartość "Loan Granted" (pożyczka). Jeśli taka kolumna jest dostępna, podczas konfigurowania korzystnego i niekorzystnego wyniku dla modelu należy określić wartości łańcuchowe "Pożyczka granulowana" i "Odmowa pożyczki". Jeśli taka kolumna nie jest dostępna, należy określić liczbę całkowitą i podwójne wartości 1.0, 0.0 dla klas sprzyjających i niesprzyjających.

Produkt IBM Watson Machine Learning zawiera pojęcie schematu wyjściowego, które definiuje schemat danych wyjściowych punktów końcowych oceniania IBM Watson Machine Learning oraz rolę dla różnych kolumn. Role są używane do określenia, która kolumna zawiera wartość predykcji, która zawiera prawdopodobieństwo predykcji, oraz wartość etykiety klasy itp. Schemat wyjściowy jest automatycznie ustawiany dla modeli utworzonych za pomocą programu budującego modele. Można go również ustawić przy użyciu klienta IBM Watson Machine Learning Python . Użytkownicy mogą używać schematu wyjściowego do definiowania kolumny, która zawiera reprezentację łańcuchową predykcji. Ustaw parametr modeling_role dla kolumny na 'decoded-target'. Dokumentacja dla klienta IBM Watson Machine Learning Python jest dostępna pod adresem: https://ibm.github.io/watson-machine-learning-sdk/core_api.html#repository. Wyszukaj łańcuch "OUTPUT_DATA_SCHEMA", aby zrozumieć schemat wyjściowy. Wywołanie API, które ma być używane, to wywołanie store_model , które akceptuje schemat OUTPUT_DATA_SCHEMA jako parametr.

Interpretowanie oceny fairness, która jest większa niż 100 procent

W zależności od konfiguracji fairness wynik Twojego fairness może przekroczyć 100 procent. Oznacza to, że monitorowana grupa otrzymuje relatywnie bardziej "sprawiedliwe" wyniki w porównaniu z grupą referencyjną. Technicznie oznacza to, że model jest niesprawiedliwy w odwrotnym kierunku.

Więcej inform.

Konfigurowanie monitora Fairness dla pośredniego bias

Przeglądanie spostrzeżeń modelu za pomocą narzędzia Watson OpenScale

Temat nadrzędny: Konfigurowanie monitora Fairness