Docs
...
API throughput

API-Durchsatz-Bewertungsmetrik

Letzte Aktualisierung: 14. März 2025
API-Durchsatz-Bewertungsmetrik

Die API-Durchsatzmetrik misst die Anzahl der Scoring-Anfragen, die von Ihrer Modellbereitstellung pro Sekunde verarbeitet werden.

Metrikdetails

Der API-Durchsatz ist eine Durchsatz- und Latenzmetrik für die Auswertung von Modellzustandsüberwachungen, die den Durchsatz durch die Verfolgung der Anzahl der Bewertungsanfragen und Transaktionsdatensätze berechnet, die pro Sekunde verarbeitet werden.

Bereich

Die API-Durchsatzmetrik bewertet generative KI-Assets und maschinelle Lernmodelle.

  • Aufgaben der generativen KI :
    • Textausfassung
    • Textklassifizierung
    • Inhaltsgenerierung
    • Extrahieren von Entitäten
    • Beantwortung von Fragen
    • Augmented Generation (RAG)
  • Art des Problems beim maschinellen Lernen :
    • Binärklassifikation
    • Klassifikation in mehrere Klassen
    • Regression
  • Unterstützte Sprachen : Englisch

Evaluierungsprozess

Der durchschnittliche, maximale, mittlere und minimale API-Durchsatz für Bewertungsanfragen und Transaktionsdatensätze wird während der Auswertung des Modellzustandsmonitors berechnet.

Zur Berechnung der API-Durchsatzmetrik wird der response_time -Wert aus Ihren Bewertungsanfragen verwendet, um die Zeit zu verfolgen, die Ihr Modell für die Verarbeitung von Bewertungsanfragen benötigt.

Bei Runtime-Bereitstellungen für watsonx.ai wird der Wert response_time automatisch erkannt, wenn Sie Auswertungen konfigurieren.

Bei externen und benutzerdefinierten Bereitstellungen müssen Sie den Wert response_time angeben, wenn Sie Bewertungsanfragen senden, um Durchsatz und Latenz zu berechnen, wie im folgenden Beispiel aus dem Python SDK gezeigt:

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        )

Übergeordnetes Thema: Bewertungsmetriken