Translation not up to date
Watson OpenScale , model davranışınızı ve performansınızı anlamanıza yardımcı olmak üzere üretim modeli devreye alımları için varsayılan olarak model sağlıklı işletim izleme değerlendirmeleri sağlar. Model devreye alımınızın işlemlerinizi nasıl verimli bir şekilde işleyeceğini belirlemek için model durumu metriklerini kullanabilirsiniz.
Model durumu değerlendirmelerinizin sonuçlarını Watson OpenScaleiçindeki Insights gösterge panosunda görüntüleyebilirsiniz. Sonuçları görüntülemek için, bir model devreye alma döşemesi seçebilir ve son değerlendirmenizdeki model durumu ölçümlerinin bir özetini görüntülemek için Model durumu değerlendirme bölümünde okunu tıklatabilirsiniz. Daha fazla bilgi için Değerlendirme sonuçlarını gözden geçirmebaşlıklı konuya bakın.
Model durumu değerlendirmeleri etkinleştirildiğinde, Watson OpenScale Watson OpenScale veri reyonu içinde bir model durum verileri kümesi oluşturur. Model durumu veri kümesi, Watson OpenScale ' in model durumu ölçümlerini hesaplamak için kullandığı puanlama isteklerinize ilişkin ayrıntıları saklar.
Desteklenen model durumu metrikleri
Model durumu değerlendirmeleri için aşağıdaki metrik kategorileri Watson OpenScaletarafından desteklenir. Her kategori, model performansınıyla ilgili ayrıntıları sağlayan metrikleri içerir:
Bilgi yükü boyutu
Watson OpenScale , modelinizin puanlama istekleri genelinde işlediği işlem kayıtlarının toplam, ortalama, minimum, maksimumve medyan bilgi yükü boyutunu kilobayt (KB) cinsinden hesaplar. Watson OpenScale , görüntü modelleri için bilgi yükü boyutu ölçümlerini desteklemez.
Kayıtlar
Watson OpenScale , model durumu değerlendirmeleri sırasında puanlama istekleri arasında işlenen toplam, ortalama, minimum, maksimumve medyan işlem kaydı sayısını hesaplar.
İstekleri puanlama
Watson OpenScale , model durumu değerlendirmeleri sırasında model devreye alımınızın aldığı puanlama isteklerinin sayısını hesaplar.
Verim ve gecikme süresi
Watson OpenScale , milisaniye başına puanlama isteklerini ve işlem kayıtlarını işlemek için gereken süreyi izleyerek gecikme süresini hesaplar. Verim, saniye başına işlenen puanlama isteklerinin ve işlem kayıtlarının sayısı izlenerek hesaplanır.
Watson OpenScale , üretilen iş ve gecikme süresini hesaplamak için, model devreye alımınızın puanlama isteklerini işlemek için geçen süreyi izlemek üzere puanlama isteklerinizin response_time
değerini kullanır.
Watson Machine Learning devreye alımları için Watson OpenScale , değerlendirmeleri yapılandırırken response_time
değerini otomatik olarak algılar.
Dış ve özel devreye alımlar için, Watson OpenScale Python SDK' de gösterildiği gibi, üretilen iş ve gecikme süresini hesaplamak üzere puanlama istekleri gönderirken response_time
değerini belirtmeniz gerekir:
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>)
]
)
Watson OpenScale , değerlendirmeler sırasında düşünce ve gecikme sürelerini ölçmek için aşağıdaki ölçümleri hesaplar:
- API gecikme süresi: Model devreye alımınız tarafından bir puanlama isteğini işleme süresi (ms).
- API verimi: Saniye başına model devreye alımınız tarafından işlenen puanlama isteklerinin sayısı
- Kayıt gecikme süresi: Model devreye alımınız tarafından bir kaydı işleme süresi (ms)
- Kayıt verimi: Saniye başına model devreye alımınız tarafından işlenen kayıt sayısı
Watson OpenScale , istekleri ve işlem kayıtlarını puanlama için ortalama, maksimum, orta ve minimum verimi ve gecikme sürelerini hesaplar.
Kullanıcılar
Watson OpenScale , model devreye alımlarınıza puanlama istekleri gönderen kullanıcı sayısını hesaplar.
Watson OpenScale , kullanıcı sayısını hesaplamak için modelinizin aldığı puanlama isteklerini gönderen kullanıcıları tanımlamak üzere puanlama isteklerinden user_id
' yi kullanır.
Watson Machine Learning devreye alımları için Watson OpenScale , değerlendirmeleri yapılandırırken user_id
değerini otomatik olarak algılar.
Dış ve özel devreye alımlar için, Watson OpenScale Python SDK' de gösterildiği gibi kullanıcıların sayısını hesaplamak üzere puanlama istekleri gönderirken user_id
değerini belirtmeniz gerekir:
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>). --> value to be supplied by user
]
)
Watson OpenScale' de Kullanıcılar metriğini görüntülerken, ortalama kullanıcı sayısını görmek için toplam kullanıcı sayısını ve toplu görünümleri görmek için gerçek zamanlı görünümü kullanın. Daha fazla bilgi için bkz. Model sağlıklı işletim sonuçlarını gözden geçirme.