Desteklenen adalet ölçümleri

Watson OpenScale aşağıdaki adalet ölçülerini destekler:

• Farklı etki
  Watson OpenScale' de farklı etki, farklı gruplar için adalet puanları olarak belirtilir. Farklı etki, izlenen bir gruba ilişkin olumlu sonuçların yüzdesini, bir referans grubuna ilişkin olumlu sonuçların yüzdesini ile karşılaştırır.

  • Nasıl çalışır: Bir model devreye alımının ayrıntılarını görüntülerken, görüntülenen model özetinin Adalet bölümü, metrik olarak tanımlanan farklı gruplar için adalet puanları sağlar. Adalet puanları, farklı etki formülüyle hesaplanır.

  • Performansı ölçmek için karışıklık matrisini kullanır: Hayır

  • Matematiği yapın:

                      (num_positives(privileged=False) / num_instances(privileged=False))
  Disparate impact =   ______________________________________________________________________
                      (num_positives(privileged=True) / num_instances(privileged=True))              
  

  num_positives değeri, gruptaki olumlu bir sonuç alan kişilerin sayısını ve num_instances değeri, gruptaki kişilerin toplam sayısını temsil eder. privileged=False etiketi ayrıcalıklı olmayan grupları belirtir ve privileged=True etiketi ayrıcalıklı grupları belirtir. Watson OpenScale' de olumlu sonuçlar olumlu sonuçlar olarak belirlenir ve olumsuz sonuçlar olumsuz sonuçlar olarak belirlenir. Ayrıcalıklı grup referans grubu olarak belirlenir ve ayrıcalıksız grup, izlenen grup olarak belirlenir.

  Hesaplama, ayrıcalıksız grubun pozitif sonucu alma oranının, ayrıcalıklı grubun olumlu sonucu alma oranıyla aynı oranda olduğunu belirten bir yüzde üretir. Örneğin, bir kredi riski modeli imtiyazsız başvuranların %80 'ine ve imtiyazlı başvuranların %100 'üne "risk yok" tahminini atarsa, bu model %80 farklı bir etkiye sahiptir.

  • Desteklenen adalet ayrıntıları

    • Watson OpenScale , adalet ölçüleri için aşağıdaki ayrıntıları destekler:
      • Grupların her biri için olumlu yüzdeler
      • Tüm adalet grupları için adalet ortalamaları
      • İzlenen grupların her birine ilişkin verilerin dağılımı
      • Bilgi yükü verilerinin dağıtımı

• İstatistiksel eşlik farkı
  İstatistiksel eşlik farkı, Watson OpenScaleiçindeki gruplara başvurmak için izlenen gruplara ilişkin olumlu sonuçların yüzdesini karşılaştırır.

  • Açıklama: Model öngörülerine ilişkin adaleti açıklayan adalet ölçüsü. İzlenen ve referans gruplarındaki olumlu sonuçların oranı arasındaki fark

    • 0 altında: İzlenen grup için daha yüksek avantajlar.
    • 0: Her iki grup da eşit avantaja sahip.
    • 0 üzeri Başvuru grubu için daha yüksek avantaj sağlar.

  • Performansı ölçmek için karışıklık matrisini kullanır: Evet

  • Matematiği yap:

                                      num_positives(privileged=False)     num_positives(privileged=True) 
  Statistical parity difference =  ________________________________ -  ________________________________
                                      num_instances(privileged=False)     num_instances(privileged=True)
  

• Yanlış negatif hız farkı
  Yanlış negatif oran farkı, Watson OpenScale' de modeliniz tarafından yanlış * negatif * olarak puanlanan pozitif işlemlerin yüzdesini verir.

  • Açıklama: İzlenen ve başvuru grupları için yanlış negatif oranlardaki farkı döndürür.

    • 0: Her iki grup da eşit avantaja sahip.

  • Performansı ölçmek için karışıklık matrisini kullanır: Evet

  • Matematiği yap:

  Yanlış negatif hızı (FNR) hesaplamak için aşağıdaki formül kullanılır:

                                          false negatives         
              False negative rate  =  __________________________
                                          all positives
  

  Yanlış negatif hız farkını hesaplamak için aşağıdaki formül kullanılır:

              False negative rate difference  =  FNR of monitored group - FNR of reference group
  

• Yanlış pozitif hız farkı

  Yanlış pozitif oran farkı, Watson OpenScaleiçindeki modeliniz tarafından yanlış pozitif olarak puanlanan negatif işlemlerin yüzdesini verir.

  • Açıklama: İzlenen grup ve başvuru grupları için yanlış pozitif oranın oranını döndürür.

    • 0 'da: Her iki grup da eşit olasılığa sahip.

  • Performansı ölçmek için karışıklık matrisini kullanır: Evet

  • Matematiği yap:

  Yanlış pozitif oranı (FPR) hesaplamak için aşağıdaki formül kullanılır:

                                          false positives       
              False positive rate   =   ________________________
                                          total negatives
  

  Yanlış pozitif hız farkını hesaplamak için aşağıdaki formül kullanılır:

              False positive rate difference  =   FPR of monitored group - FPR of reference group
  

• Yanlış keşif hızı farkı
  Yanlış keşif oranı farkı, Watson OpenScale' de olumlu sonuç içeren tüm işlemlerin yüzdesi olarak yanlış pozitif işlem miktarını verir. Tüm pozitif işlemler arasında yanlış pozitiflerin yaygınlığını açıklar.

  • Açıklama: İzlenen ve başvuru grupları için yanlış keşif hızındaki farkı döndürür.

    • 0 'da: Her iki grup da eşit olasılığa sahip.

  • Performansı ölçmek için karışıklık matrisini kullanır: Evet

  • Matematiği yap:

  Yanlış keşif hızını (FDR) hesaplamak için aşağıdaki formül kullanılır:

                                                  false positives        
              False discovery rate  =   _________________________________________
                                          true positives + false positives
  

  Yanlış keşif hızı farkını hesaplamak için aşağıdaki formül kullanılır:

              False discovery rate difference  = FDR of monitored group - FDR of reference group
  

• Yanlış ihmal oranı farkı
  Yanlış ihmal oranı farkı, Watson OpenScale' de negatif sonuç içeren tüm işlemlerin yüzdesi olarak yanlış negatif işlem sayısını verir. Tüm negatif işlemler arasında yanlış negatiflerin yaygınlığını açıklar.

  • Açıklama: İzlenen ve başvuru gruplarına ilişkin yanlış ihmal oranı farkını döndürür.

    • 0 'da: Her iki grup da eşit olasılığa sahip.

  • Performansı ölçmek için karışıklık matrisini kullanır: Evet

  • Matematiği yap:

  Yanlış ihmal oranını (FOR) hesaplamak için aşağıdaki formül kullanılır:

                                                  false negatives        
              False omission rate   =   ________________________________________
                                          true negatives + false negatives
  

  Yanlış ihmal oranı farkı için aşağıdaki formül kullanılır:

              False omission rate difference  =   FOR of monitored group - FOR of reference group                                         
  

• Hata oranı farkı
  Hata oranı farkı, Watson OpenScale' de modeliniz tarafından yanlış puanlanan işlemlerin yüzdesini verir.

  • Açıklama: İzlenen ve başvuru gruplarına ilişkin hata oranı farkını döndürür.

    • 0 'da: Her iki grup da eşit olasılığa sahip.

  • Performansı ölçmek için karışıklık matrisini kullanır: Evet

  • Matematiği yap:

  Hata oranını (ER) hesaplamak için aşağıdaki formül kullanılır:

                                  false positives + false negatives        
              Error rate  =   ___________________________________________
                                  all positives + all negatives
  

  Hata oranı farkını hesaplamak için aşağıdaki formül kullanılır:

              Error rate difference  = ER of monitored group - ER of reference group
  

• Ortalama oran farkı
  Ortalama olasılık farkı, Watson OpenScale' de modeliniz tarafından yanlış puanlanan işlemlerin yüzdesini verir.

  • Açıklama: İzlenen ve başvuru gruplarına ilişkin hata oranı farkını döndürür.

    • 0 'da: Her iki grup da eşit olasılığa sahip.

  • Performansı ölçmek için karışıklık matrisini kullanır: Evet

  • Matematiği yap:

  Yanlış pozitif oranı (FPR) hesaplamak için aşağıdaki formül kullanılır:

                                          false positives       
              False positive rate   =   _________________________
                                          total negatives
  

  Gerçek pozitif oranı (TPR) hesaplamak için aşağıdaki formül kullanılır:

                                          True positives      
              True positive rate   =   ______________________
                                          All positives
  

  Ortalama olasılık farkını hesaplamak için aşağıdaki formül kullanılır:

                                          (FPR monitored group - FPR reference group) + (TPR monitored group - TPR reference group)       
              Average odds difference  =   ___________________________________________________________________________________________
  
                                                                                      2
  

• Ortalama mutlak olasılık farkı
  Ortalama mutlak oran farkı, Watson OpenScale' de izlenen gruplar ve referans grupları arasındaki yanlış pozitif oranlarda ve gerçek pozitif oranlarda mutlak farkın ortalamasını karşılaştırır.

  • Açıklama: İzlenen ve başvuru grupları için yanlış pozitif hız ve doğru pozitif hız olarak mutlak farkın ortalamasını döndürür.

    • 0 'da: Her iki grup da eşit olasılığa sahip.

  • Performansı ölçmek için karışıklık matrisini kullanır: Evet

  • Matematiği yap:

  Yanlış pozitif oranı (FPR) hesaplamak için aşağıdaki formül kullanılır:

                                              false positives       
              False positive rate   =   ____________________________
                                              all negatives
  

  Gerçek pozitif oranı (TPR) hesaplamak için aşağıdaki formül kullanılır:

                                          True positives      
              True positive rate   =   ________________________
                                          All positives
  

  Aşağıdaki formül, ortalama mutlak olasılık farkını hesaplamak için kullanılır:

                                                  |FPR monitored group - FPR reference group| + |TPR monitored group - TPR reference group|      
              Average absolute odds difference  =   ______________________________________________________________________________________________
  
                                                                                              2