Translation not up to date
Watson OpenScale drift değerlendirmeleri, bir modeldeki doğruluk ve veri tutarlılığı ile düşüşleri algılar. Model doğruluğu, modelin eğitim verilerinde doğru bir şekilde değerlendirmemesine benzer hareketlerde bir artış varsa, bu durum düşer.
Drift değerlendirme örnekleri
Drift 'i Watson OpenScaleiçinde yapılandırırken, tolerans doğruluğu sürükleme büyüklüğünü belirtmeniz gerekir. drift, eğitim zamanında model doğruluklarıyla karşılaştırıldığı gibi doğruluk düşüşü olarak ölçülür. Örneğin, eğitim süresinde model doğruluğu %90 ise ve çalıştırma zamanında modelin tahmini doğruluğu %80 ise, modelin %10 oranında sürüklenmiş olduğu söylenmektedir. Kullanım senaryolarına bağlı olarak, model sahipleri farklı miktarlardaki sürüklenme miktarlarına göz yummaya istekli olacaktır. Bu nedenle Watson OpenScale , Watson OpenScaleiçinde izlenmekte olan her model için doğruluk kayması boyutunu (Drift uyarı eşiği olarak adlandırılır) belirtmenize olanak sağlar. Bir model için sürüklenme işlemi belirtilen eşiğin altına düşerse, bir uyarı oluşturulur.
If you use IBM Watson Machine Learning and your data does not exceed 500 MB, you can train your model online by using Watson OpenScale. Tersi durumda, modeli eğitmek için bir not defteri kullanmanız gerekir.
Başlamadan önce
Modelinizi çözümleyebilmek için sürüklenme algılamasını yapılandırmalısınız. drift detection modelinizi, kullanıcı arayüzünü kullanarak ya da bir not defterinin içinde kod çalıştırarak online olarak eğitebilirsiniz. Drift yapılandırması yalnızca yapılandırılmış veriler için desteklenir. Sınıflandırma modelleri hem verileri hem de doğruluk sürüklemesini destekler, regresyon modelleri yalnızca veri kayması destekler.
Bu, Dift monitörünün yapılandırılmasına ilişkin gereksinmelerdir:
- Machine Learning Sağlayıcısının Watson Machine Learningolması gerekir
- Eğitim verileri büyüklüğü 500MBdeğerinden küçük olmalıdır
- Eğitim verilerinin IBM Cloud Object Storage/Db2içinde barındırılması gerekir.
Eğitim verilerini karşıya yüklemek ve drift algılaması için Model ayrıntıları ' yı ayarlamak için:
- Eğitim verilerini karşıya yükle seçeneğini tıklatın ve etiketli veriyle bir dosya yükleyin.
Ayrıntılar için Model ayrıntılarını sağlamabaşlıklı konuya bakın.
Bu süreç boyunca, IBM Watson OpenScale modelinizi analiz eder ve en mantıklı sonuca dayalı olarak önerilerde yer alır. Sürüklenmenin doğru çalışması için, eğitim verilerindeki öngörü sütununuzun veri tipi, bilgi yükü verilerinde aynı sütunun veri tipiyle eşleşmelidir. Öngörü ve etiket sütunlarına eşleşen dizgi ya da sayısal tipler atayın. Veri tiplerini onaylamak için Model ayrıntıları > Model çıkışı ayrıntıları > Düzenleöğelerini tıklatın. Bu seçimler, aşağıdaki yapılandırma adımları için doğru bilgilere sahip olduğundan emin olun. Bir nedenden dolayı veri tiplerini değiştirmelisiniz, değişiklikleri yürürlüğe yerleştirmek için değerlendirmeyi yeniden devreye almanız gerekir.
Sürüklenme sekmesinin arka arkaya sayfalarında, aşağıdaki bilgileri sağlamanız gerekir:
Uyarı eşiği
Yalnızca sınıflandırma tipi modelleri için gereklidir: IBM Watson OpenScale , eğitim süresindeki doğruluk oranı ile karşılaştırıldığında, model doğrulukta değişiklik derecesinde izler. En az %5 olması gereken uyarı eşiği, zaman içinde değişikliğe ilişkin tolerans derecelerinin olduğunu gösterir.
Örnek boyutu
En düşük örnek boyutu ayarlayarak, değerlendirme verileri kümesinde en az sayıda kayıt kullanılabilir oluncaya kadar ölçümü ölçmeyi önlemenizi sağlar. Bu ayar, örnek büyüklüğünün çarpıklık için çok küçük olmamasını sağlar. Drift kontrolü her çalıştığında, hesaplama yaptığı kayıtların sayısına karar vermek için minimum örnek boyutunu kullanır.
Drift değerlendirmesini yapılandırmak için adımlar
Drift algılamasını yapılandırmak için IBM Watson Machine Learningolanağını kullanırsanız, Watson OpenScale kullanıcı arabirimini kullanma seçeneğiniz vardır.
Yapılandırma işlemini başlatmak için, Sürüklenme sekmesinden Sürüklenme modeli kutusunda Düzenle 
simgesini tıklatın. Train in Watson OpenScale seçeneğini kullanın.
Bilgi istemlerini izleyin ve gerekli bilgileri girin. Bitirdiğinizde, seçimlerinizin bir özeti incelenmek üzere sunulur. Herhangi bir değişiklik yapmak isterseniz, o bölüme ilişkin Düzenle simgesini tıklatın. Tersi durumda, çalışmanızı kaydedin.
Yeniden eğitilmeden sürüklenme yapılandırmak için adımlar
Daha fazla işleme gerek kalmadan parametreleri güncellemek için drift modelini yeniden eğitmeden drift değerlendirmesini yeniden yapılandırın. Daha fazla işlem maliyeti yüklemeden, eğitimli modelde daha fazla veri üretebilmek için minimum örnek boyutu ve eşiği güncelliyorsunuz. Temeldeki veriler sabit olduğunda ve farklı eşiklerle sürüklenme boyutunu görüntülemek istediğinizde yoğun CPU kullanımını önlemeniz için tek bir yoldur.
Not: Drift modeliniz, yalnızca veri ya da şema değişikliklerini eğitirken yeniden eğitilmesini gerektirir.
Yapılandırma işlemini başlatmak için, Sürüklenme sekmesinden Sürüklenme eşiği kutusunda ya da Örnek boyutu kutusunda Düzenle seçeneğini tıklatın. Geçerli ayarı güncelleştirin ve kaydedin.
Not defteri kullanarak sürüklenme yapılandırmak için adımlar
Aşağıdaki durumlarda sürüklenme yapılandırmak için bir not defteri kullanın:
- Eğitim verilerini Watson OpenScaleile paylaşmak istemeyin.
- You do not have a means to share the training data on Db2 or IBM Cloud Object Storage, which are the only two training data locations that are supported by Watson OpenScale.
Bu seçenek, eğitim verileri Db2 ya da IBM Cloud Object Storageiçinde saklanmazsa kullanışlıdır. Bir not defterini kullanarak, eğitim verilerini bir veri çerçevesine okumanız gerekir. Watson OpenScale 'dan yükleyebileceğiniz özel not defteri, Watson OpenScale' a yükleyebileceğiniz özelleştirilmiş bir çıktı oluşturur.
To generate the drift detection model, you can run the cell that installs the ibm-wos-utils>=4.5.0 package and sci-kit learn version 1.0.2. Scikit-modeli oluşturmak için 1.0.2 sürümünün gerekli olduğunu öğrenin.
Sürüklenme algılama modelini oluşturmak için bir not defteri oluşturun. Watson OpenScaleiçinde bulunan örnek dizüstü bilgisayar ' ı kullanın. Sürüklenme algılama modeli, sizin için birtar.gz dosyasına dönüştürülür.
Yapılandırma işlemini başlatmak için, Sürüklenme sekmesinden Sürüklenme modeli kutusunda Düzenle seçeneğini tıklatın. Train in a data science not defteri seçeneğini kullanın. Sıkıştırılmış sürükleme algılama modelinizi sürükleyip bırakma bölgesine sürükleyebilirsiniz.
Bilgi istemlerini izleyin ve gerekli bilgileri girin. Bitirdiğinizde, seçimlerinizin bir özeti incelenmek üzere sunulur. Herhangi bir şeyi değiştirmek isterseniz, o bölüme ilişkin Düzenle düğmesini tıklatın. Tersi durumda, çalışmanızı kaydedin.