Testen von AI-Service-Implementierungen

Inferencing über die Benutzeroberfläche

Copy link to section

Sie können die Benutzeroberfläche zum Inferencing Ihrer KI-Dienste verwenden, indem Sie eine beliebige gültige JSON-Eingabe-Nutzlast bereitstellen, die mit Ihrem Modellschema übereinstimmt. Befolgen Sie die folgenden Schritte zur Inferenzierung Ihrer KI-Dienstbereitstellung:

1. Öffnen Sie in Ihrem Bereitstellungsbereich oder Ihrem Projekt die Registerkarte Bereitstellungen und klicken Sie auf den Namen der Bereitstellung.

2. Klicken Sie auf die Registerkarte Test, um einen Aufforderungstext einzugeben und eine Antwort von dem bereitgestellten Asset zu erhalten.

3. Geben Sie Testdaten im JSON-Format ein, um eine Ausgabe im JSON-Format zu erzeugen.

   Einschränkung:

   Sie können keine Eingabedaten im Textformat eingeben, um Ihren KI-Diensteinsatz zu testen. Sie müssen das JSON-Format für die Tests verwenden.

   

Inferencing mit Python

Copy link to section

Verwenden Sie die Funktion " run_ai_service, um einen KI-Dienst auszuführen, indem Sie eine Nutzlast für die Bewertung bereitstellen:

ai_service_payload = {"query": "testing ai_service generate function"}

client.deployments.run_ai_service(deployment_id, ai_service_payload)
Copy to clipboardIn die Zwischenablage kopiert

Weitere Informationen finden Sie in der Dokumentation derwatsonx.ai Python zur Ausführung eines KI-Service-Assets.

Inferencing mit REST API

Copy link to section

Verwenden Sie den REST-Endpunkt " /ml/v4/deployments/{id_or_name}/ai_service für die Inferenz von KI-Diensten für die Online-Wertung (KI-Dienste, die die Funktion " generate() enthalten):

# Any valid json is accepted in POST request to /ml/v4/deployments/{id_or_name}/ai_service
payload = {
    "mode": "json-custom-header",
    't1': 12345 ,
    't2': ["hello", "wml"],
    't3': {
        "abc": "def",
        "ghi": "jkl"
    }
}

response = requests.post(
    f'{HOST}/ml/v4/deployments/{dep_id}/ai_service?version={VERSION}',
    headers=headers,
    verify=False,
    json=payload
)

print(f'POST {HOST}/ml/v4/deployments/{dep_id}/ai_service?version={VERSION}', response.status_code)

from json.decoder import JSONDecodeError
try:
    print(json.dumps(response.json(), indent=2))
except JSONDecodeError:
    print(f"response text >>\n{response.text}")
    
print(f"\nThe user customized content-type >> '{response.headers['Content-Type']}'")
Copy to clipboardIn die Zwischenablage kopiertShow more

Inferencing mit Python

Copy link to section

Verwenden Sie die Funktion " run_ai_service_stream, um einen KI-Dienst für Streaming-Anwendungen auszuführen, indem Sie eine Nutzlast für die Bewertung bereitstellen.

ai_service_payload = {"sse": ["Hello", "WatsonX", "!"]}

for data in client.deployments.run_ai_service_stream(deployment_id, ai_service_payload):
    print(data)
Copy to clipboardIn die Zwischenablage kopiert

Weitere Informationen finden Sie in der Dokumentation der Pythonwatsonx.ai für die Ausführung eines KI-Service-Assets für Streaming.

Inferencing mit REST API

Copy link to section

Verwenden Sie den REST-Endpunkt " /ml/v4/deployments/{id_or_name}/ai_service_stream für die Inferenz von AI-Diensten für Streaming-Anwendungen (AI-Dienste, die die Funktion " generate_stream() enthalten):

TOKEN=f'{client._get_icptoken()}'
Copy to clipboardIn die Zwischenablage kopiert

%%writefile payload.json
{
    "sse": ["Hello" ,"WatsonX", "!"]
}
Copy to clipboardIn die Zwischenablage kopiert

!curl -N \
    -H "Content-Type: application/json" -H  "Authorization: Bearer {TOKEN}" \
    {HOST}'/ml/v4/deployments/'{dep_id}'/ai_service_stream?version='{VERSION} \
    --data @payload.json
Copy to clipboardIn die Zwischenablage kopiert

Ausgabe

id: 1 Ereignis: Nachricht Daten: Hallo

id: 2 Ereignis: Nachricht Daten: WatsonX

id: 3 Ereignis: Nachricht Daten: !

id: 4 Ereignis: eos

Testen mit Benutzeroberfläche

Copy link to section

Weitere Informationen zum Erstellen und Ausführen eines Batch-Bereitstellungsauftrags für Ihren KI-Dienst über die Benutzeroberfläche des Bereitstellungsbereichs finden Sie unter Erstellen von Aufträgen in Bereitstellungsbereichen.

Testen mit Python

Copy link to section

Gehen Sie folgendermaßen vor, um Ihre Batch-Bereitstellung zu testen, indem Sie einen Auftrag erstellen und ausführen:

1. Erstellen Sie einen Auftrag, um die Batch-Bereitstellung Ihres KI-Dienstes zu testen:

   batch_reference_payload = {
       "input_data_references": [
           {
               "type": "connection_asset",
               "connection": {"id": "2d07a6b4-8fa9-43ab-91c8-befcd9dab8d2"},
               "location": {
                   "bucket": "wml-v4-fvt-batch-pytorch-connection-input",
                   "file_name": "testing-123",
               },
           }
       ],
       "output_data_reference": {
           "type": "data_asset",
           "location": {"name": "nb-pytorch_output.zip"},
       },
   }
   
   job_details = client.deployments.create_job(deployment_id, batch_reference_payload)
   job_uid = client.deployments.get_job_uid(job_details)
   print("The job id:", job_uid)
   Copy to clipboardIn die Zwischenablage kopiertShow more

2. Auftragsstatus prüfen:

   ##  Get job status
   client.deployments.get_job_status(job_uid)
   Copy to clipboardIn die Zwischenablage kopiert