Translation not up to date
Watson OpenScale oceniają modele, aby zapewnić zadowalające wyniki wśród różnych grup.
Wartościowanie modelu w celu zapewnienia uczciwości
W celu określenia, czy model tworzy tendencyjnie wyniki, można użyć ocen fairness. Ocena rzetelności sprawdza, kiedy model wykazuje tendencję do zapewnienia korzystnego (preferowanego) wyniku częściej dla jednej grupy w stosunku do innej.
Wartościowanie wróżenia generuje domyślnie zestaw pomiarów co godzinę. Te pomiary można wygenerować na żądanie, klikając opcję Wartościuj uczciwość teraz lub używając klienta Python.
Podczas testowania wartościowania w środowisku przedprodukcyjnym wartościowana jest wartość godziwa oparta na danych testowych. Dane testowe muszą mieć taki sam format i schemat, jak dane treningowe, które były używane do uczenia modelu.
W środowisku produkcyjnym są monitorowane dane dotyczące informacji zwrotnych, które są rzeczywistymi danymi rejestrowanych przy użyciu rejestrowania ładunku. W celu zapewnienia właściwego monitorowania należy regularnie rejestrować dane dotyczące informacji zwrotnych w systemie Watson OpenScale. Aby udostępnić dane opinii, należy kliknąć opcję Prześlij dane opinii na stronie Oceny w panelu kontrolnym Watson OpenScale produktu Insights. Za pomocą klienta Python lub interfejsu REST API można także udostępnić dane opinii.
Zanim rozpoczniesz
Przed skonfigurowaniem oceny fairness należy podać szczegóły modelu i przesłać dane ładunku , aby umożliwić wartościowanie fairness.
Aby skonfigurować wartościowanie tekstu nieustrukturyzowanego i modeli obrazów, należy podać dane ładunku zawierające metapola, takie jak płeć, w celu obliczenia wpływu na nieokreślony poziom. Aby obliczyć wielkości mierzone dotyczące wydajności dla nieustrukturyzowanych modeli tekstu i obrazów, należy także podać dane opinii, które zawierają metapola z poprawnie przewidywanymi wynikami.
Podobne wymagania należy spełnić podczas konfigurowania ocen godziwości dla bias pośrednich. Podczas konfigurowania ocen sprawiedliwości dla niestrukturalnych modeli tekstu i obrazów nie ma potrzeby udostępniania danych uczących.
Konfigurowanie wartościowania
W celu wygenerowania pliku konfiguracyjnego można ręcznie skonfigurować wartościowanie Fairness lub uruchomić niestandardowy notatnik . Istnieje możliwość przesłania pliku konfiguracyjnego w celu określenia ustawień dla oceny.
W przypadku ręcznego konfigurowania oceny wróżności można określić grupę odwołań (wartość), które mają reprezentować korzystne wyniki. Można również wybrać odpowiednie atrybuty modelu (opcje), które mają być monitorowane pod kątem danych bias (na przykład Age lub Sex), które będą porównywane z grupą odwołań. W zależności od danych uczących, można również określić minimalną i maksymalną wielkość próbki, która będzie wartościowana.
Korzystne i niesprzyjające wyniki
Dane wyjściowe modelu są podzielone na kategorie jako korzystne lub niesprzyjające. Na przykład, jeśli model zaleci, czy dana osoba otrzymuje pożyczkę, czy nie, wówczas wynikiem pozytywnym może być Loan Granted lub Loan Partially Granted. Nieprzychylny wynik może mieć wartość Loan Denied.
Wartości, które reprezentują korzystny wynik, pochodzą z kolumny label w danych uczących. Domyślnie kolumna predictedLabel jest ustawiona jako kolumna prediction . Wartości korzystne i niesprzyjające muszą być określone za pomocą wartości kolumny prediction jako typu danych łańcuchowych, takich jak 0 lub 1 podczas przesyłania danych treningowych.
Wskaźniki
W tej sekcji użytkownicy mogą wybrać wszystkie metryki, które mają zostać skonfigurowane. Domyślnie obliczany jest tylko pomiar wpływu Disparate.
minimalny rozmiar próby
Minimalna wielkość próbki jest ustawiona w taki sposób, aby opóźnić ocenę fairness do momentu, gdy w zestawie danych oceny będzie dostępna minimalna liczba rekordów. Ta funkcja zapewnia, że wielkość próby nie jest zbyt mała i wyniki skews są zbyt małe. Ustawiając minimalną wielkość próby, użytkownik nie może mierzyć wartości godziwości, dopóki nie będzie dostępna minimalna liczba rekordów w zestawie danych oceny. Zapewnia to, że wielkość próby nie jest zbyt mała do przesunięcia wyników. Gdy monitor wróżenia działa, używa minimalnej wielkości próby do decydowania o liczbie rekordów, które są wartościowane.
Funkcje: grupy referencyjne i monitorowane
Wartości składników są określane jako grupa referencyjna lub monitorowana. Monitorowana grupa reprezentuje wartości, które są najbardziej narażone na ryzyko związane z tendencyjnymi wynikami. Na przykład w przypadku opcji Sex można ustawić Female i Non-binary jako grupy monitorowane. W przypadku funkcji numerycznej, takiej jak Age, można ustawić [18-25] jako grupę monitorowaną. Wszystkie pozostałe wartości dla opcji są następnie traktowane jako grupa odwołań, na przykład Sex=Male lub Age=[26,100].
Konfigurowanie progów dla monitora
Aby skonfigurować model w celu zapewnienia uczciwości, wykonaj następujące kroki:
- Wybierz model wdrożenia modelu i kliknij opcję Skonfiguruj monitory.
- Wybierz opcję Fairness (Fairness) w sekcji Evaluations (Oceny) na karcie Configure (Konfiguracja).
- Dla każdego elementu konfiguracji kliknij przycisk Edytuj
, aby określić wyniki odpowiedzi pozytywnych, wielkość próby oraz opcje do oceny.
Właściwości
Opcje są to atrybuty modelu, które są wartościowane w celu wykrycia bias. Na przykład można skonfigurować monitor sprawiedliwości w celu oceny funkcji, takich jak Sex lub Age dla bias. Obsługiwane są tylko te funkcje, które są typu jakościowego, liczbowego (liczba całkowita), zmiennopozycyjnego lub typu double fairness.
Próg alarmowy o uczciwości
Próg alertu poprawności określa akceptowalną różnicę między procentem korzystnych wyników dla monitorowanej grupy a odsetkiem pozytywnych wyników dla grupy referencyjnej. Na przykład, jeśli procent korzystnych wyników dla grupy w modelu wynosi 70%, a próg wartości godziwości wynosi 80%, to monitor sprawiedliwości wykrywa bias w modelu.
Badania na rzecz pośrednich bias
Jeśli zostanie wybrane pole, które nie jest funkcją szkoleniową, zostanie wywołane dodane pole, Watson OpenScale będzie szukać pośrednich danych dwukierunkowe, wyszukając powiązane wartości w opcjach szkoleniowych. Na przykład, zawód "student" może sugerować młodszą osobę, mimo że pole Wiek zostało wyłączone z modelu training.For szczegółów dotyczących konfigurowania monitora Fairness w celu rozważenia pośredniego bias, patrz Konfigurowanie monitora Fairness dla pośrednich bias.
Łagodzenie bias
W systemie Watson OpenScale stosowane są dwa typy obciążeń: pasywne i aktywne. Pasywna debiutaca ujawnia bias, podczas gdy aktywna debiasing zapobiega przenoszeniowi tej bias do przodu, zmieniając model w czasie rzeczywistym dla bieżącej aplikacji. Szczegółowe informacje na temat interpretowania wyników i łagodzenia bias w modelu można znaleźć w sekcji Przeglądanie wyników z oceny Fairness.
Więcej inform.
- Wielkości mierzone Fairness-przegląd
- Obliczanie rzetelności
- Konfigurowanie monitora fairness dla pośrednich danych bias
Temat nadrzędny: Konfigurowanie ocen modelu