Pasywna obciążanie

Pasywne obciążenie to praca, którą Watson OpenScale wykonuje samodzielnie, automatycznie, co godzinę. Jest on uważany za bierny, ponieważ zdarza się bez interwencji użytkownika. Gdy opcja Watson OpenScale sprawdza, czy bias jest sprawdzony, to powoduje również, że dane są przeprowadzane. Analizuje on zachowanie modelu i identyfikuje dane, w których model działa w sposób stronniczy.

Watson OpenScale buduje model uczenia maszynowego w celu przewidywania, czy model może działać w sposób dwukierunkowy w danym, nowym punkcie danych. Watson OpenScale analizuje dane, które są odbierane przez model, co godzinę, i znajduje punkty danych, które powodują bias. W przypadku takich punktów danych atrybut fairness jest perturbowany z mniejszości do większości, a większość do mniejszości, a dane perturbed są wysyłane do pierwotnego modelu predykcji. Predykcja rekordu perturbed wraz z pierwotną predykcją jest używana do obliczania bias.

Usługa Watson OpenScale obciąga zidentyfikowane rekordy w sposób biasowany, które model odbiera w ciągu ostatniej godziny. Wylicza on również sprawiedliwość dla danych wyjściowych w stanie obciążenia i wyświetla je na karcie Model debiuowany .

Aktywna debiasing

Aktywne obciążenie jest sposobem na żądanie i wprowadzenie obciążających wyników do aplikacji za pośrednictwem punktu końcowego interfejsu API usług REST. Użytkownik może aktywnie wywoływać produkt Watson OpenScale , aby poznać obciążoną predykcję modelu, aby można było uruchomić aplikację w sposób bezstronny. W przypadku aktywnego obciążenia można użyć punktu końcowego interfejsu API usług REST, który jest używany w aplikacji. Ten punkt końcowy interfejsu REST API wywołuje wewnętrznie model użytkownika i sprawdza jego zachowanie.

Jeśli system Watson OpenScale wykryje, że model działa w sposób dwustronny, to przenika dane i odsyła go do pierwotnego modelu. Po analizie wewnętrznej w punkcie danych perturbed, jeśli system Watson OpenScale wykryje, że model zachowuje się w sposób dwukierunkowy w punkcie danych, to dane wyjściowe oryginalnego modelu w danych perturbed są zwracane jako predykcja obciążana.

Jeśli wartość Watson OpenScale określa, że oryginalny model nie działa w sposób dwukierunkowy, to Watson OpenScale zwraca predykcję pierwotnego modelu jako predykcyjną predykcję. Dlatego za pomocą tego punktu końcowego interfejsu API usług REST można się upewnić, że aplikacja nie bazuje na danych wyjściowych z tendencyjnymi danymi wyjściowymi.

Przeglądanie danych dla wartości obciążanych

Po uruchomieniu oceny fairness Watson OpenScale zapisuje wartości obciążeniowe w tabeli rejestrowania ładunku we wdrożeniu modelu. Wszystkie transakcje oceniające wykonane za pośrednictwem tego punktu końcowego są automatycznie obciążane, w zależności od przypadku. Dostęp do punktu końcowego oceniania obciążonego można uzyskać tak samo, jak w przypadku normalnego punktu końcowego oceniania dla wdrożonego modelu. Oprócz zwracania odpowiedzi z wdrożonego modelu zwracane są również kolumny debiased_prediction i debiased_probability .

• Kolumna debiased_prediction zawiera wynikną wartość predykcji.

• Kolumna debiased_probability reprezentuje prawdopodobieństwo wynikłanej predykcji. Ta tablica wartości podwójnych reprezentuje prawdopodobieństwo wynikanej predykcji, która należy do jednej z klas predykcji.

wos_client.monitor_instances.update(
            monitor_instance_id=<FAIRNESS_MONITOR_INSTANCE_ID>,
            patch_document=[JsonPatchOperation(
                op=OperationTypes.ADD,
                path='/parameters/perform_debias',
                value=True
            )],update_metadata_only=True
        )

Przeglądanie transakcji obciążających

Punkt końcowy transakcji obciążytych można wykorzystać do przejrzenia transakcji obciążanych w celu przeprowadzenia ocen fairness. Więcej informacji na ten temat zawiera sekcja Wysyłanie transakcji modelu w systemie Watson OpenScale.

Ponieważ punkt końcowy debias zajmuje się bias środowiska wykonawczego, kontynuuje on sprawdzanie danych oceniania w tle z tabeli rejestrowania ładunku. Ponadto aktualizuje model minimalizacji bias, który powoduje obciążenie żądaniami oceniania. W ten sposób Watson OpenScale jest zawsze aktualny z danymi przychodzącymi, a jego zachowaniem jest wykrywanie i łagodzenie bias.

Próg wartości godziwości w systemie Watson OpenScale można skonfigurować w taki sposób, aby wskazywac, kiedy dane są akceptowalne i niebiosowane.