0 / 0
Go back to the English version of the documentation
Watson OpenScale model sağlıklı işletim izleme değerlendirme ölçümleri
Last updated: 03 Kas 2023
Watson OpenScale model sağlıklı işletim izleme değerlendirme ölçümleri

Watson OpenScale , model davranışınızı ve performansınızı anlamanıza yardımcı olmak üzere üretim modeli devreye alımları için varsayılan olarak model sağlıklı işletim izleme değerlendirmeleri sağlar. Model devreye alımınızın işlemlerinizi nasıl verimli bir şekilde işleyeceğini belirlemek için model durumu metriklerini kullanabilirsiniz.

Model durumu değerlendirmelerinizin sonuçlarını Watson OpenScaleiçindeki Insights gösterge panosunda görüntüleyebilirsiniz. Sonuçları görüntülemek için, bir model devreye alma döşemesi seçebilir ve son değerlendirmenizdeki model durumu ölçümlerinin bir özetini görüntülemek için Model durumu değerlendirme bölümünde gezinme oku okunu tıklatabilirsiniz. Daha fazla bilgi için Değerlendirme sonuçlarını gözden geçirmebaşlıklı konuya bakın.

Model durumu değerlendirmeleri etkinleştirildiğinde, Watson OpenScale Watson OpenScale veri reyonu içinde bir model durum verileri kümesi oluşturur. Model durumu veri kümesi, Watson OpenScale ' in model durumu ölçümlerini hesaplamak için kullandığı puanlama isteklerinize ilişkin ayrıntıları saklar.

Desteklenen model durumu metrikleri

Model durumu değerlendirmeleri için aşağıdaki metrik kategorileri Watson OpenScaletarafından desteklenir. Her kategori, model performansınıyla ilgili ayrıntıları sağlayan metrikleri içerir:

Bilgi yükü boyutu

Watson OpenScale , modelinizin puanlama istekleri genelinde işlediği işlem kayıtlarının toplam, ortalama, minimum, maksimumve medyan bilgi yükü boyutunu kilobayt (KB) cinsinden hesaplar. Watson OpenScale , görüntü modelleri için bilgi yükü boyutu ölçümlerini desteklemez.

Kayıtlar

Watson OpenScale , model durumu değerlendirmeleri sırasında puanlama istekleri arasında işlenen toplam, ortalama, minimum, maksimumve medyan işlem kaydı sayısını hesaplar.

İstekleri puanlama

Watson OpenScale , model durumu değerlendirmeleri sırasında model devreye alımınızın aldığı puanlama isteklerinin sayısını hesaplar.

Verim ve gecikme süresi

Watson OpenScale , milisaniye başına puanlama isteklerini ve işlem kayıtlarını işlemek için gereken süreyi izleyerek gecikme süresini hesaplar. Verim, saniye başına işlenen puanlama isteklerinin ve işlem kayıtlarının sayısı izlenerek hesaplanır.

Watson OpenScale , üretilen iş ve gecikme süresini hesaplamak için, model devreye alımınızın puanlama isteklerini işlemek için geçen süreyi izlemek üzere puanlama isteklerinizin response_time değerini kullanır.

Watson Machine Learning devreye alımları için Watson OpenScale , değerlendirmeleri yapılandırırken response_time değerini otomatik olarak algılar.

Dış ve özel devreye alımlar için, Watson OpenScale Python SDK' de gösterildiği gibi, üretilen iş ve gecikme süresini hesaplamak üzere puanlama istekleri gönderirken response_time değerini belirtmeniz gerekir:

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        ) 

Watson OpenScale , değerlendirmeler sırasında düşünce ve gecikme sürelerini ölçmek için aşağıdaki ölçümleri hesaplar:

  • API gecikme süresi: Model devreye alımınız tarafından bir puanlama isteğini işleme süresi (ms).
  • API verimi: Saniye başına model devreye alımınız tarafından işlenen puanlama isteklerinin sayısı
  • Kayıt gecikme süresi: Model devreye alımınız tarafından bir kaydı işleme süresi (ms)
  • Kayıt verimi: Saniye başına model devreye alımınız tarafından işlenen kayıt sayısı

Watson OpenScale , istekleri ve işlem kayıtlarını puanlama için ortalama, maksimum, orta ve minimum verimi ve gecikme sürelerini hesaplar.

Kullanıcılar

Watson OpenScale , model devreye alımlarınıza puanlama istekleri gönderen kullanıcı sayısını hesaplar.

Watson OpenScale , kullanıcı sayısını hesaplamak için modelinizin aldığı puanlama isteklerini gönderen kullanıcıları tanımlamak üzere puanlama isteklerinden user_id ' yi kullanır.

Watson Machine Learning devreye alımları için Watson OpenScale , değerlendirmeleri yapılandırırken user_id değerini otomatik olarak algılar.

Dış ve özel devreye alımlar için, Watson OpenScale Python SDK' de gösterildiği gibi kullanıcıların sayısını hesaplamak üzere puanlama istekleri gönderirken user_id değerini belirtmeniz gerekir:

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        ) 

Watson OpenScale' de Kullanıcılar metriğini görüntülerken, ortalama kullanıcı sayısını görmek için toplam kullanıcı sayısını ve toplu görünümleri görmek için gerçek zamanlı görünümü kullanın. Daha fazla bilgi için bkz. Model sağlıklı işletim sonuçlarını gözden geçirme.

Daha fazla bilgi

Model sağlıklı işletim sonuçlarının gözden geçirilmesi

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more