Sie können Auswertungen des Modellzustandsmonitors konfigurieren, die Ihnen helfen, das Verhalten und die Leistung Ihres Modells zu verstehen. Mithilfe von Modellzustandsmetriken können Sie ermitteln, wie effizient Ihre Modellbereitstellung Ihre Transaktionen verarbeitet.
Wenn die Auswertungen zum Modellzustand aktiviert sind, wird im Data Mart ein Datensatz zum Modellzustand erstellt. Der Modellzustandsdatensatz speichert Details über Ihre Bewertungsanfragen, die zur Berechnung von Modellzustandsmetriken verwendet werden.
Zum Konfigurieren von Auswertungen des Modellzustandsmonitors können Sie Schwellenwerte für jeden Messwert festlegen, wie im folgenden Beispiel gezeigt:
Die Bewertung des Modellzustands wird für den Einsatz in der Vorproduktionsphase nicht unterstützt.
Unterstützte Modellzustandsmetriken
Die folgenden Kategorien von Metriken für die Bewertung der Modellgesundheit werden unterstützt. Jede Kategorie enthält Metriken, die Details zur Modellleistung bereitstellen:
Nutzdatengröße
Die Gesamt-, Durchschnitts-, Minimal-, Maximal- und Median-Nutzlastgröße der Transaktionsdatensätze, die Ihre Modellbereitstellung über Scoring-Anfragen verarbeitet, wird in Kilobyte (KB) berechnet. Metriken zur Nutzlastgröße für Bildmodelle werden nicht unterstützt.
Datensätze
Die Gesamtzahl, der Durchschnitt, das Minimum, das Maximum und der Median der Transaktionsdatensätze, die über Scoring-Anfragen hinweg verarbeitet werden, werden während der Modellauswertungen berechnet.
Scoring-Anforderungen
Es wird die Anzahl der Bewertungsanfragen berechnet, die Ihre Modellbereitstellung während der Bewertung des Modellzustands erhält.
Durchsatz und Latenzzeit
Die Latenzzeit wird berechnet, indem die Zeit, die für die Verarbeitung von Scoring-Anfragen und Transaktionsdatensätzen benötigt wird, pro Millisekunde (ms) erfasst wird. Der Durchsatz wird berechnet, indem die Anzahl der pro Sekunde verarbeiteten Scoring-Anforderungen und Transaktionsdatensätze verfolgt wird.
Zur Berechnung des Durchsatzes und der Latenzzeit wird der response_time aus Ihren Bewertungsanfragen verwendet, um die Zeit zu ermitteln, die Ihre Modellbereitstellung für die Verarbeitung von Bewertungsanfragen benötigt.
Bei watsonx.ai Runtime-Einsätzen wird der Wert " response_time automatisch erkannt, wenn Sie die Auswertungen konfigurieren.
Bei externen und benutzerdefinierten Bereitstellungen müssen Sie den Wert " response_time angeben, wenn Sie Scoring-Anfragen senden, um Durchsatz und Latenz zu berechnen, wie im folgenden Beispiel aus dem Python gezeigt:
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>)
]
)
Die folgenden Metriken werden berechnet, um den Durchsatz und die Latenzzeit während der Auswertungen zu messen:
- API-Latenzzeit: Die zum Verarbeiten einer Scoring-Anforderung durch Ihre Modellbereitstellung benötigte Zeit (in ms).
- API-Durchsatz: Anzahl der Scoring-Anforderungen, die von Ihrer Modellbereitstellung pro Sekunde verarbeitet werden
- Datensatzlatenz: Die Zeit (in Millisekunden), die für die Verarbeitung eines Datensatzes durch Ihre Modellbereitstellung benötigt wird.
- Datensatzdurchsatz: Anzahl der Datensätze, die von Ihrer Modellbereitstellung pro Sekunde verarbeitet werden
Es werden der durchschnittliche, maximale, mittlere und minimale Durchsatz und die minimale Latenz für Scoring-Anfragen und Transaktionsdatensätze berechnet.
Benutzer
Es wird die Anzahl der Benutzer berechnet, die Bewertungsanfragen an Ihre Modellverteilungen senden.
Um die Anzahl der Nutzer zu berechnen, wird der user_id aus den Bewertungsanfragen verwendet, um die Nutzer zu identifizieren, die die Bewertungsanfragen senden, die Ihr Modell erhält.
Bei watsonx.ai Runtime-Einsätzen wird der Wert " user_id automatisch erkannt, wenn Sie die Auswertungen konfigurieren.
Bei externen und benutzerdefinierten Bereitstellungen müssen Sie den Wert " user_id angeben, wenn Sie Scoring-Anfragen senden, um die Anzahl der Benutzer zu berechnen, wie im folgenden Beispiel aus dem Python gezeigt:
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>). --> value to be supplied by user
]
)
Wenn Sie die Ergebnisse der Metrik Benutzer anzeigen, verwenden Sie die Echtzeitansicht, um die Gesamtzahl der Benutzer zu sehen, und die aggregierten Ansichten, um die durchschnittliche Anzahl der Benutzer zu sehen. Weitere Informationen finden Sie unter Modellstatusergebnisse überprüfen.