0 / 0
Go back to the English version of the documentation
Watson OpenScaleiçinde kalite değerlendirmelerinin yapılandırılması
Last updated: 15 Haz 2023
Watson OpenScaleiçinde kalite değerlendirmelerinin yapılandırılması

Watson OpenScale kalite değerlendirmeleri, modelinizin geribildirim verileri adı verilen etiketli test verilerini kullanarak ne kadar iyi performans göstereceğini temel alarak doğru sonuçları elde etme yeteneğini izler.

Kalite değerlendirmeleriyle model doğruluğu ölçme

Kalite değerlendirmeleri, modelinizin doğru sonuçları ne kadar iyi tahmin ettiği izlenimi sağlar. Model kalitesi düşüşleri belirtir, böylece modelinizi uygun şekilde yeniden eğitebilirsiniz. Modeli değerlendirmek için, sonucun bilindiği etiketli veriler olan geribildirim verileri' i sağlıyoruz. Kalite değerlendirmeleri, modelin, etiketlenmiş veri kümesindeki gerçek sonuçlarla eşleşen sonucu ne kadar iyi tahmin ettiğini değerlendirmek için bir dizi standart veri bilimi metriğiyle birlikte değerlendirilir.

Modelinizi değerlendirmek için kullanılan ölçümlere ilişkin kabul edilebilir kalite eşiklerini ayarlayabilirsiniz. Değerlendirmeyi dikkate almak için, geribildirim verisinin satır sayısı olan örnek boyutunu da ayarlayabilirsiniz.

Başlamadan önce: Geribildirim verisini sağlama

Geri bildirim verileri, gerçek gözlemlenen kazanımları içeren bir yanıt sayfası sağlamak gibidir. İzleme programı, modeli yanıtların bilinmediği gibi çalıştırabilir, daha sonra tahmini sonuçları gerçek sonuçlara göre karşılaştırır ve kalite ölçümlerine göre doğruluk puanlarını sağlar.

Modeli değerlendirmek için kullanacağınız geribildirim verilerini sağlamak için Uç Noktaları sayfasını tıklatın ve aşağıdakilerden birini yapın:

  • Geribildirim verilerini karşıya yükle seçeneğini tıklatın ve etiketli verileri içeren bir dosya yükleyin.
  • Uç Noktalar sekmesini tıklatın ve geribildirim veri kaynağına bağlanan bir uç nokta belirtin.

Ayrıntılar için Geribildirim verilerini yönetmebaşlıklı konuya bakın.

Kalite eşikleri belirleniyor

Değerlendirmeye ilişkin geribildirim veriniz kullanılabilir olduktan sonra, izleme ayarlarını yapılandırın. Model için, bilinen sonuçlarla karşılaştırıldığında, kabul edilebilir performans için eşikler ayarlardınız.

Eşik değerlerini ayarlamak için, Kalite sekmesinden, Kalite eşiği kutusuna değer girmek için Düzenle Düzenle simgesi simgesini tıklatın ve sonra örnek boyuta ilişkin değerleri düzenleyin.

Kalite uyarısı eşiği

Kabul edilebilir bir doğruluk düzeyini temsil eden bir değer seçin. Örneğin, otomatik ayarla birlikte sağlanan örnekte Alman Kredi Risk Modeli örneğinde, ROC metriği altındaki Alan için uyarı 95%olarak ayarlıdır. Model için ölçülen kalite bu değerin altında diyorsa, bir uyarı tetiklenir. ROC altındaki Alan için tipik bir değer %80 'dir.

Quality Monitor için standart ölçümlere ilişkin ayrıntılar için Kalite ölçümlerine genel bakışbaşlıklı konuya bakın.

Örnek büyüklükleri alt sınırı ve üst sınırı

En düşük örnek boyutu ayarlayarak, değerlendirme verileri kümesinde en az sayıda kayıt bulununcaya kadar ölçüm kalitesini önlemenizi sağlar. Bu, örnek boyutunun sonuçları çarpıtmayacak kadar küçük olmamasını sağlar. Kalite kontrol her çalıştığında, kalite metrikleri hesaplamasını yaptığı kayıt sayısına karar vermek için minimum örnek boyutunu kullanır.

Örnek boyutu üst sınırı, veri kümesini değerlendirmek için gereken zamanı ve kaynakları daha iyi yönetmeye yardımcı olur. Bu boyut aşılırsa, yalnızca en yeni kayıtlar değerlendirilir. Örneğin, Almanca Credit Risk modeli örneğinde, minimum örnek boyutu 50 olarak ayarlanır ve küçük bir örnek olduğu için üst sınır değeri belirlenmez.

Örnek boyut ayarlarının programsal olarak yönetilmesi

You can configure the max_rows_per_evaluation parameter for the quality monitor by using the Watson OpenScale SDK API. Bu parametre, kalite değerlendirmesi sırasında işlenen kayıt sayısı üst sınırını belirler. Feedback hizmetinde, abonelik düzeyinde ya da ortam değişkeni düzeyinde enable_last_run_time_window değiştirgesini etkinleştirebilirsiniz. Feedback hizmetindeki enable_last_run_time_window ortam değişkenini de etkinleştirdiyseniz, kalite izleme programı yalnızca son değerlendirimden bu yana eklenen kayıtları işler. Değerlendirme için yeterli sayıda kayıt olmadığınızda, kalite izleme programı bir hata görüntüler.

Daha fazla bilgi için Watson OpenScale örnek defteri' ne bakın.

Daha fazla bilgi

Kalite ölçümleri

Üst konu: Model değerlendirmelerinin yapılandırılması

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more