Inferenza con l'interfaccia utente

È possibile utilizzare l'interfaccia utente per l'inferenza dei servizi di intelligenza artificiale, fornendo qualsiasi payload JSON valido che sia in linea con lo schema del modello. Seguire i seguenti passaggi per l'inferenziazione dell'implementazione del servizio AI:

1. Nello spazio di distribuzione o nel progetto, aprire la scheda Deployments e fare clic sul nome dell'installazione client.

2. Fare clic sulla scheda Test per immettere un testo di richiesta e ottenere una risposta dall'asset distribuito.

3. Immettere i dati del test in formato JSON per generare l'output in formato JSON.

   Limitazione:

   Non è possibile inserire dati di input in formato testo per testare la distribuzione del servizio AI. Per i test è necessario utilizzare il formato JSON.

   

Inferenza con la libreria client Python

Utilizzare la funzione " run_ai_service per eseguire un servizio AI fornendo un payload di punteggio:

ai_service_payload = {"query": "testing ai_service generate function"}

client.deployments.run_ai_service(deployment_id, ai_service_payload)

Per ulteriori informazioni, consultare la documentazione della libreria client Pythonwatsonx.ai per l'esecuzione di un asset di servizio AI.

Inferenza con API REST

Utilizzare l'endpoint REST " /ml/v4/deployments/{id_or_name}/ai_service per l'inferenza dei servizi AI per il punteggio online (servizi AI che includono la funzione " generate() ):

# Any valid json is accepted in POST request to /ml/v4/deployments/{id_or_name}/ai_service
payload = {
    "mode": "json-custom-header",
    't1': 12345 ,
    't2': ["hello", "wml"],
    't3': {
        "abc": "def",
        "ghi": "jkl"
    }
}

response = requests.post(
    f'{HOST}/ml/v4/deployments/{dep_id}/ai_service?version={VERSION}',
    headers=headers,
    verify=False,
    json=payload
)

print(f'POST {HOST}/ml/v4/deployments/{dep_id}/ai_service?version={VERSION}', response.status_code)

from json.decoder import JSONDecodeError
try:
    print(json.dumps(response.json(), indent=2))
except JSONDecodeError:
    print(f"response text >>\n{response.text}")
    
print(f"\nThe user customized content-type >> '{response.headers['Content-Type']}'")

Inferenza con la libreria client Python

Utilizzare la funzione " run_ai_service_stream per eseguire un servizio di intelligenza artificiale per applicazioni di streaming, fornendo un payload di punteggio.

ai_service_payload = {"sse": ["Hello", "WatsonX", "!"]}

for data in client.deployments.run_ai_service_stream(deployment_id, ai_service_payload):
    print(data)

Per ulteriori informazioni, consultare la documentazione della libreria client Pythonwatsonx.ai per l'esecuzione di un asset di servizio AI per lo streaming.

Inferenza con API REST

Utilizzare l'endpoint REST " /ml/v4/deployments/{id_or_name}/ai_service_stream per i servizi di intelligenza artificiale per le applicazioni di streaming (servizi di intelligenza artificiale che includono la funzione " generate_stream() ):

TOKEN=f'{client._get_icptoken()}'

%%writefile payload.json
{
    "sse": ["Hello" ,"WatsonX", "!"]
}

!curl -N \
    -H "Content-Type: application/json" -H  "Authorization: Bearer {TOKEN}" \
    {HOST}'/ml/v4/deployments/'{dep_id}'/ai_service_stream?version='{VERSION} \
    --data @payload.json

Output

id: 1 evento: messaggio dati: Ciao

id: 2 evento: messaggio dati: WatsonX

id: 3 evento: messaggio dati: !

id: 4 evento: eos

Test con l'interfaccia utente

Per saperne di più sulla creazione e l'esecuzione di un lavoro di distribuzione batch per il servizio AI dall'interfaccia utente dello spazio di distribuzione, vedere Creazione di lavori negli spazi di distribuzione.

Test con la libreria client Python

Seguite questi passaggi per testare la distribuzione batch creando ed eseguendo un lavoro:

1. Creare un lavoro per testare la distribuzione in batch del servizio AI:

   batch_reference_payload = {
       "input_data_references": [
           {
               "type": "connection_asset",
               "connection": {"id": "2d07a6b4-8fa9-43ab-91c8-befcd9dab8d2"},
               "location": {
                   "bucket": "wml-v4-fvt-batch-pytorch-connection-input",
                   "file_name": "testing-123",
               },
           }
       ],
       "output_data_reference": {
           "type": "data_asset",
           "location": {"name": "nb-pytorch_output.zip"},
       },
   }
   
   job_details = client.deployments.create_job(deployment_id, batch_reference_payload)
   job_uid = client.deployments.get_job_uid(job_details)
   print("The job id:", job_uid)
   

2. Controllare lo stato del lavoro:

   ##  Get job status
   client.deployments.get_job_status(job_uid)