Obsługiwane metryki rzetelności

System Watson OpenScale obsługuje następujące wielkości mierzone dotyczące sprawiedliwości:

• Odmienny wpływ
  W systemie Watson OpenScaleodmienny wpływ jest określany jako ocena rzetelności dla różnych grup. Odmienny wpływ porównuje procent pozytywnych wyników dla monitorowanej grupy z odsetkiem pozytywnych wyników dla grupy referencyjnej.

  • Sposób działania: Po wyświetleniu szczegółów wdrożenia modelu sekcja Uczciwość w podsumowaniu modelu, które jest wyświetlane, udostępnia oceny poprawności dla różnych grup, które są opisane jako metryki. Oceny rzetelności są obliczane przy użyciu odmiennych formuł wpływu.

  • Wykorzystuje macierz pomyłek do pomiaru wydajności: Nie

  • Wykonaj obliczenia:

                      (num_positives(privileged=False) / num_instances(privileged=False))
  Disparate impact =   ______________________________________________________________________
                      (num_positives(privileged=True) / num_instances(privileged=True))              
  

  Wartość num_positives reprezentuje liczbę osób w grupie, które otrzymały wynik pozytywny, a wartość num_instances reprezentuje łączną liczbę osób w grupie. Etykieta privileged=False określa grupy nieuprzywilejowane, a etykieta privileged=True określa grupy uprzywilejowane. W systemie Watson OpenScalepozytywne wyniki są oznaczane jako pozytywne, a negatywne jako negatywne. Grupa uprzywilejowana jest wyznaczana jako grupa odniesienia, a grupa nieuprzywilejowana jest wyznaczana jako grupa monitorowana.

  Obliczenie generuje wartość procentową określającą, jak często szybkość, z jaką grupa nieuprzywilejowana otrzymuje wynik pozytywny, jest taka sama, jak grupa uprzywilejowana otrzymuje wynik pozytywny. Na przykład, jeśli model ryzyka kredytowego przypisuje predykcję "bez ryzyka" do 80% wnioskodawców nieuprzywilejowanych i do 100% wnioskodawców uprzywilejowanych, model ten ma rozbieżny wpływ na poziomie 80%.

  • Szczegóły dotyczące obsługiwanej rzetelności

    • System Watson OpenScale obsługuje następujące szczegółowe informacje dotyczące wielkości mierzonych dotyczących sprawiedliwości:
      • Udział procentowy odpowiedzi pozytywnych dla każdej z grup
      • Średnie wartości godziwości dla wszystkich grup godziwości
      • Rozkład danych dla każdej monitorowanej grupy
      • Dystrybucja danych ładunku

• Statystyczna różnica parzystości
  Statystyczna różnica parzystości porównuje procent pozytywnych wyników dla monitorowanych grup z grupami odniesienia w systemie Watson OpenScale.

  • Opis: Metryka rzetelności, która opisuje rzetelność predykcji modelu. Jest to różnica między stosunkiem pozytywnych wyników w monitorowanych i referencyjnych grupach

    • Poniżej 0: wyższe korzyści dla monitorowanej grupy.
    • Przy 0: obie grupy mają taką samą korzyść.
    • Ponad 0 Implikuje wyższą korzyść dla grupy odniesienia.

  • Wykorzystuje macierz pomyłek do mierzenia wydajności: Tak

  • Wykonaj obliczenia:

                                      num_positives(privileged=False)     num_positives(privileged=True) 
  Statistical parity difference =  ________________________________ -  ________________________________
                                      num_instances(privileged=False)     num_instances(privileged=True)
  

• Różnica fałszywie ujemnych stawek
  Różnica fałszywie ujemnej stopy daje procent transakcji pozytywnych, które zostały nieprawidłowo ocenione jako * negatywne * przez model w systemie Watson OpenScale.

  • Opis: zwraca różnicę w częstości fałszywych liczb ujemnych dla grup monitorowanych i grup odniesienia.

    • Przy 0: obie grupy mają taką samą korzyść.

  • Wykorzystuje macierz pomyłek do mierzenia wydajności: Tak

  • Wykonaj obliczenia:

  Do obliczenia wskaźnika wyników fałszywie ujemnych (FNR) stosuje się następujący wzór:

                                          false negatives         
              False negative rate  =  __________________________
                                          all positives
  

  Do obliczania fałszywych ujemnych różnic kurczowych używany jest następujący wzór:

              False negative rate difference  =  FNR of monitored group - FNR of reference group
  

• Różnica wskaźnika wyników fałszywie dodatnich

  Różnica wskaźnika wyników fałszywie dodatnich stanowi procent transakcji negatywnych, które zostały nieprawidłowo ocenione jako dodatnie przez model w systemie Watson OpenScale.

  • Opis: Zwraca współczynnik liczby wyników fałszywie dodatnich dla monitorowanej grupy i grup odniesienia.

    • Przy 0: Obie grupy mają równe szanse.

  • Wykorzystuje macierz pomyłek do mierzenia wydajności: Tak

  • Wykonaj obliczenia:

  Do obliczania wskaźnika wyników fałszywie dodatnich (FPR) stosuje się następujący wzór:

                                          false positives       
              False positive rate   =   ________________________
                                          total negatives
  

  Do obliczania różnicy wskaźnika wyników fałszywie dodatnich używany jest następujący wzór:

              False positive rate difference  =   FPR of monitored group - FPR of reference group
  

• Różnica częstotliwości wykrywania fałszywych
  Różnica częstotliwości fałszywego wykrywania powoduje, że liczba transakcji fałszywie dodatnich jest wyrażona jako procent wszystkich transakcji z pozytywnym wynikiem w systemie Watson OpenScale. Opisuje on wszechstronność fałszywych alarmów wśród wszystkich transakcji pozytywnych.

  • Opis: zwraca różnicę w szybkości wykrywania fałszywych informacji dla grup monitorowanych i grup odniesienia.

    • Przy 0: Obie grupy mają równe szanse.

  • Wykorzystuje macierz pomyłek do mierzenia wydajności: Tak

  • Wykonaj obliczenia:

  Następująca formuła jest używana do obliczania współczynnika fałszywego wykrywania (FDR):

                                                  false positives        
              False discovery rate  =   _________________________________________
                                          true positives + false positives
  

  Następująca formuła jest używana do obliczania różnicy częstotliwości wykrywania fałszywego:

              False discovery rate difference  = FDR of monitored group - FDR of reference group
  

• Różnica częstości fałszywych pominięć
  Różnica współczynnika przeoczenia fałszywie przedstawia liczbę fałszywych transakcji ujemnych jako procent wszystkich transakcji z wynikiem negatywnym w systemie Watson OpenScale. Opisuje on wszechstronność fałszywych liczb ujemnych wśród wszystkich transakcji negatywnych.

  • Opis: zwraca różnicę w współczynniku fałszywych pominięć dla grup monitorowanych i grup referencyjnych.

    • Przy 0: Obie grupy mają równe szanse.

  • Wykorzystuje macierz pomyłek do mierzenia wydajności: Tak

  • Wykonaj obliczenia:

  Do obliczania wskaźnika fałszywego pominięcia (FOR) stosuje się następującą formułę:

                                                  false negatives        
              False omission rate   =   ________________________________________
                                          true negatives + false negatives
  

  Poniższy wzór jest używany dla różnicy wskaźnika fałszywego pominięcia:

              False omission rate difference  =   FOR of monitored group - FOR of reference group                                         
  

• Różnica poziomu błędu
  Różnica współczynnika błędów określa procent transakcji, które zostały niepoprawnie ocenione przez model w systemie Watson OpenScale.

  • Opis: zwraca różnicę w współczynniku błędów dla grupy monitorowanej i grupy odniesienia.

    • Przy 0: Obie grupy mają równe szanse.

  • Wykorzystuje macierz pomyłek do mierzenia wydajności: Tak

  • Wykonaj obliczenia:

  Do obliczania wskaźnika błędu (ER) stosuje się następującą formułę:

                                  false positives + false negatives        
              Error rate  =   ___________________________________________
                                  all positives + all negatives
  

  Do obliczania różnicy poziomu błędu używany jest następujący wzór:

              Error rate difference  = ER of monitored group - ER of reference group
  

• Średnia różnica szans
  Średnia różnica szans to procent transakcji, które zostały niepoprawnie ocenione przez model w systemie Watson OpenScale.

  • Opis: zwraca różnicę w współczynniku błędów dla grupy monitorowanej i grupy odniesienia.

    • Przy 0: Obie grupy mają równe szanse.

  • Wykorzystuje macierz pomyłek do mierzenia wydajności: Tak

  • Wykonaj obliczenia:

  Do obliczania wskaźnika wyników fałszywie dodatnich (FPR) stosuje się następujący wzór:

                                          false positives       
              False positive rate   =   _________________________
                                          total negatives
  

  Do obliczania współczynnika prawdziwie dodatniego (TPR) używany jest następujący wzór:

                                          True positives      
              True positive rate   =   ______________________
                                          All positives
  

  Do obliczania średniej różnicy kursów używany jest następujący wzór:

                                          (FPR monitored group - FPR reference group) + (TPR monitored group - TPR reference group)       
              Average odds difference  =   ___________________________________________________________________________________________
  
                                                                                      2
  

• Średnia bezwzględna różnica szans
  Średnia bezwzględna różnica szans porównuje średnią bezwzględną różnicę w wskaźnikach fałszywie dodatnich i prawdziwie dodatnich między monitorowanymi grupami i grupami odniesienia w systemie Watson OpenScale.

  • Opis: zwraca średnią z różnicy bezwzględnej liczby wyników fałszywie dodatnich i prawdziwie dodatnich dla grup monitorowanych i referencyjnych.

    • Przy 0: Obie grupy mają równe szanse.

  • Wykorzystuje macierz pomyłek do mierzenia wydajności: Tak

  • Wykonaj obliczenia:

  Do obliczania wskaźnika wyników fałszywie dodatnich (FPR) stosuje się następujący wzór:

                                              false positives       
              False positive rate   =   ____________________________
                                              all negatives
  

  Do obliczania współczynnika prawdziwie dodatniego (TPR) używany jest następujący wzór:

                                          True positives      
              True positive rate   =   ________________________
                                          All positives
  

  Do obliczania średniej bezwzględnej różnicy szans używany jest następujący wzór:

                                                  |FPR monitored group - FPR reference group| + |TPR monitored group - TPR reference group|      
              Average absolute odds difference  =   ______________________________________________________________________________________________
  
                                                                                              2