Metrik zur Benutzerbewertung

Bereich

Copy link to section

Die Benutzermetrik bewertet generative KI-Assets und maschinelle Lernmodelle.

• Aufgaben der generativen KI :
  • Textausfassung
  • Textklassifizierung
  • Inhaltsgenerierung
  • Extrahieren von Entitäten
  • Beantwortung von Fragen
  • Augmented Generation (RAG)
• Art des Problems beim maschinellen Lernen :
  • Binärklassifikation
  • Klassifikation in mehrere Klassen
  • Regression
• Unterstützte Sprachen : Englisch

Evaluierungsprozess

Copy link to section

Zur Berechnung der Anzahl der Benutzer wird die E-Mail-Adresse user_id aus den Bewertungsanfragen verwendet, um die Benutzer zu identifizieren, die die Bewertungsanfragen senden, die Ihr Modell erhält.

Bei Runtime-Bereitstellungen für watsonx.ai wird der Wert user_id automatisch erkannt, wenn Sie Auswertungen konfigurieren.

Bei externen und benutzerdefinierten Bereitstellungen müssen Sie den Wert user_id angeben, wenn Sie Bewertungsanfragen senden, um die Anzahl der Benutzer zu berechnen, wie im folgenden Beispiel aus dem Python SDK dargestellt:

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        ) 
Copy to clipboardIn die Zwischenablage kopiert

Übergeordnetes Thema: Bewertungsmetriken