Translation not up to date
Watson OpenScale , farklı gruplar arasında adil sonuçlar elde etmek için modelleri değerlendirmeye yönelik olarak değerlendirir.
Modeli adil bir şekilde değerlendiriyor
Modelinizin taraflı sonuçlar üretip üretmediğini belirlemek için adilce değerlendirmeler kullanabilirsiniz. Adil değerlendirme, modelin bir grup için daha sık olumlu (tercih edilebilir) bir sonuç sağlama eğilimini ne zaman gösterdiğini denetler.
Adalet değerlendirmesi, varsayılan olarak her saat bir metrik kümesi oluşturur. You can generate these metrics on demand by clicking Adil bir şekilde değerlendirin or by using the Python istemcisi.
Üretim öncesi bir ortamda bir değerlendirmeyi test ederken, test verilerine dayalı olarak adillik değerlendirmenizi sağlar. Test verileri, modeli eğitmek için kullandığınız eğitim veriyle aynı biçime ve şemaya sahip olmalıdır.
Bir üretim ortamında, bilgi yükü günlük kaydı ile günlüğe kaydedilen gerçek veriler olan geribildirim verilerini izliyorsunuz. Doğru izleme için, geribildirim verilerini Watson OpenScaleolarak düzenli olarak kaydetmeniz gerekir. You can provide feedback data by clicking Geribildirim verilerini karşıya yükle on the Değerlendirmeler page of the Watson OpenScale Insights gösterge panosu. You can also provide feedback data by using the Python client or REST API.
Başlamadan önce
Adalet değerlendirmesini yapılandırmadan önce, adil değerlendirme değerlendirmelerini sağlamak için model ayrıntılarını sağlamalı ve bilgi yükü verilerini karşıya yükleme yapmanız gerekir.
Adil değerlendirme, yapısal olmayan metin ve görüntü modellerini tanımlamak için, farklı etkiyi hesaplamak için Gender gibi meta alanları içeren bilgi yükü verilerini sağlamanız gerekir. Yapılandırılmamış metin ve resim modellerine ilişkin performans metriklerini hesaplamak için, doğru tahmin edilen sonuçları içeren meta alanları içeren geribildirim verilerini de sağlamalısınız.
You must complete similar requirements when you Dolaylı önyargı için adil değerlendirmeler yapılandırın. Yapılandırılmamış metin ve görüntü modelleri için adil değerlendirmeler yapılandırdığınızda, eğitim verileri sağlamanıza gerek yoktur.
Değerlendirmenin yapılandırılması
Adalet değerlendirmelerini el ile yapılandırabilir ya da bir yapılandırma dosyası oluşturmak için bir özel not defteri çalıştırabilirsiniz. Değerlendirmenize ilişkin ayarları belirtmek için yapılandırma dosyasını karşıya yükleyebilirsiniz.
Eşitlik değerlendirmelerini el ile yapılandırdığınızda, olumlu sonuçları temsil etmesini beklediğiniz başvuru grubunu (değer) belirleyebilirsiniz. İlgili model özniteliklerini (özellikleri), başvuru grubuyla karşılaştırılacak yöneltme (örneğin, Yaş ya da Seks) için izleyecek şekilde de seçebilirsiniz. Eğitim verilerinize bağlı olarak, değerlendirilebilecek minimum ve maksimum örnek boyutu da belirtebilirsiniz.
Olumlu ve olumsuz sonuçlar
Modelin çıkışı, olumlu ya da olumsuz olarak sınıflandırılır. Örneğin, model bir kişinin kredi alıp vermediğini öneriyorsa, Olumlu sonuç Loan Granted ya da Loan Partially Grantedolabilir. Olumlu olmayan sonuç Loan Deniedolabilir.
Olumlu bir sonucu temsil eden değerler, eğitim verileriiçindeki label sütunundan türetilir. Varsayılan olarak predictedLabel sütunu, prediction sütunu olarak ayarlanır. Favorable and unfavorable values must be specified by using the value of the prediction column as a string data type, such as 0 or 1 when you are uploading training data.
Ölçümler
Bu bölüm, kullanıcıların yapılandırmak istedikleri tüm metrikleri seçmelerine olanak sağlar. Varsayılan olarak yalnızca Disparte etki metriği hesaplanır.
Örnek büyüklük alt sınırı
Minimum örnek boyutu, değerlendirme verileri kümesinde en az sayıda kayıt kullanılabilir oluncaya kadar adil değerlendirmeyi geciktirecek şekilde ayarlıdır. Bu işlev, örnek büyüklüğünün çok küçük olmamasını ve sonuçları çarpıtmasını sağlar. Minimum bir örnek boyutu ayarlayarak, değerlendirme verileri kümesinde en az sayıda kayıt kullanılabilir oluncaya kadar eşitliğin ölçülmesini engelleyebilirsiniz. Bu, örnek boyutunun sonuçları çarpıtmayacak kadar küçük olmamasını sağlar. Adilce monitor çalıştığında, değerlendirilen kayıtların sayısına karar vermek için minimum örnek boyutunu kullanır.
Özellikler: Başvuru ve izlenen gruplar
Özelliklerin değerleri, bir başvuru ya da izlenen grup olarak belirtilir. İzlenen grup, önyargılı sonuçlar için en çok risk altında olan değerleri temsil eder. Örneğin, Sex özelliği için, izlenen gruplar olarak Female ve Non-binary ' yi ayarlayabilirsiniz. Agegibi bir sayısal özellik için, izlenen grup olarak [18-25] ' yi ayarlayabilirsiniz. Daha sonra, özelliğe ilişkin diğer tüm değerler, başvuru grubu olarak kabul edilir; örneğin, Sex=Male ya da Age=[26,100].
İzleme programına ilişkin eşiklerin yapılandırılması
Modeli adalet için yapılandırmak üzere aşağıdaki adımları izleyin:
- Bir model konuşlandırma döşemesi seçin ve İzleme programlarını yapılandırseçeneğini tıklatın.
- Configure (Yapılandır) sekmesinin Değerlendirmeler bölümünde Fairness (Fairness) öğesini seçin.
- Her bir yapılandırma öğesi için, Olumlu Sonuçları, Örnek Boyutu ve değerlendirilecek özellikleri belirtmek için Düzenle
düğmesini tıklatın.
Özellikler
Özellikler, önyargı algılamak için değerlendirilen model öznitelikleridir. For example, you can configure the fairness monitor to evaluate features such as Sex or Age for bias. Yalnızca kategorik, sayısal (tamsayı), kayar noktalı sayı ya da çift adillik veri tipi olan özellikler desteklenir.
Eşitlik uyarısı eşiği
Adalet uyarı eşiği, izlenen grup için olumlu sonuçlar yüzdesi ile başvuru grubu için olumlu sonuçlar yüzdesi arasında kabul edilebilir bir fark belirtir. Örneğin, modelinizdeki bir gruba ilişkin olumlu sonuçların yüzdesi %70 ise ve eşitlik eşiği %80 'e ayarlanmışsa, adillik izleme programı modelinizde önyargı algılar.
Dolaylı önyargı testi
Bir eğitim özelliği olmayan bir alan seçerseniz, eklenen bir alan adı verilir; Watson OpenScale , eğitim özelliklerinde ilişkili değerleri bularak dolaylı önyargı arardır. Örneğin, "öğrenci" mesleği, Fairness monitörünün dolaylı önyargıyı dikkate almak üzere yapılandırılmasına ilişkin training.For ayrıntılar modelinden dışlanmış olsa da, daha genç bir birey anlamına gelebilir; bkz. Dolaylı önyargı için Fairness izleyicisinin yapılandırılması.
Hafifletici önyargı
Watson OpenScale iki tip debiişlem kullanır: edilgen ve etkin. Edilgen geçersiz yöneltme yanlıları ortaya koyarken, etkin debiad, modeli geçerli uygulama için gerçek zamanlı olarak değiştirerek bu eğilimi ileriye doğru taşımanızı engeller. Bir modeldeki sonuçların yorumlanmasına ve hafifletici eğiliminin azaltılmasına ilişkin ayrıntılar için bkz. Fairness değerlendirmesinden sonuçları yeniden görüntüleme.