Inférence avec l'interface utilisateur

Vous pouvez utiliser l'interface utilisateur pour référencer vos services d'IA en fournissant n'importe quelle charge utile JSON valide qui s'aligne sur le schéma de votre modèle. Suivez les étapes suivantes pour référencer le déploiement de votre service d'IA :

1. Dans votre espace de déploiement ou votre projet, ouvrez l'onglet Déploiements et cliquez sur le nom du déploiement.

2. Cliquez sur l'onglet Test pour saisir un texte d'invite et obtenir une réponse du poste déployé.

3. Saisir les données de test au format JSON pour générer un résultat au format JSON.

   Restriction :

   Vous ne pouvez pas saisir de données au format texte pour tester le déploiement de votre service d'IA. Vous devez utiliser le format JSON pour les tests.

   

Inférence avec la bibliothèque client Python

Utilisez la fonction " run_ai_service pour exécuter un service d'IA en fournissant une charge utile de notation :

ai_service_payload = {"query": "testing ai_service generate function"}

client.deployments.run_ai_service(deployment_id, ai_service_payload)

Pour plus d'informations, consultez la documentation de la bibliothèque client Pythonwatsonx.ai pour l'exécution d'un service d'IA.

Inférence avec l'API REST

Utilisez le point de terminaison REST " /ml/v4/deployments/{id_or_name}/ai_service pour référencer les services d'IA pour la notation en ligne (services d'IA qui incluent la fonction " generate() ) :

# Any valid json is accepted in POST request to /ml/v4/deployments/{id_or_name}/ai_service
payload = {
    "mode": "json-custom-header",
    't1': 12345 ,
    't2': ["hello", "wml"],
    't3': {
        "abc": "def",
        "ghi": "jkl"
    }
}

response = requests.post(
    f'{HOST}/ml/v4/deployments/{dep_id}/ai_service?version={VERSION}',
    headers=headers,
    verify=False,
    json=payload
)

print(f'POST {HOST}/ml/v4/deployments/{dep_id}/ai_service?version={VERSION}', response.status_code)

from json.decoder import JSONDecodeError
try:
    print(json.dumps(response.json(), indent=2))
except JSONDecodeError:
    print(f"response text >>\n{response.text}")
    
print(f"\nThe user customized content-type >> '{response.headers['Content-Type']}'")

Inférence avec la bibliothèque client Python

Utilisez la fonction " run_ai_service_stream pour exécuter un service d'intelligence artificielle pour les applications de diffusion en continu en fournissant une charge utile de notation.

ai_service_payload = {"sse": ["Hello", "WatsonX", "!"]}

for data in client.deployments.run_ai_service_stream(deployment_id, ai_service_payload):
    print(data)

Pour plus d'informations, consultez la documentation de la bibliothèque client Pythonwatsonx.ai sur l'exécution d'un service d'IA pour la diffusion en continu.

Inférence avec l'API REST

Utilisez le point de terminaison REST " /ml/v4/deployments/{id_or_name}/ai_service_stream pour référencer les services d'IA pour l'application de diffusion en continu (services d'IA qui incluent la fonction " generate_stream() ) :

TOKEN=f'{client._get_icptoken()}'

%%writefile payload.json
{
    "sse": ["Hello" ,"WatsonX", "!"]
}

!curl -N \
    -H "Content-Type: application/json" -H  "Authorization: Bearer {TOKEN}" \
    {HOST}'/ml/v4/deployments/'{dep_id}'/ai_service_stream?version='{VERSION} \
    --data @payload.json

Sortie

id : 1 event : message data : Bonjour

id : 2 event : message data : WatsonX

id : 3 event : message data : !

id : 4 événement : eos

Test de l'interface utilisateur

Pour en savoir plus sur la création et l'exécution d'une tâche de déploiement par lots pour votre service AI à partir de l'interface utilisateur de l'espace de déploiement, voir Création de tâches dans les espaces de déploiement.

Test avec la bibliothèque client Python

Suivez ces étapes pour tester votre déploiement par lots en créant et en exécutant une tâche :

1. Créez une tâche pour tester le déploiement par lots de votre service d'IA :

   batch_reference_payload = {
       "input_data_references": [
           {
               "type": "connection_asset",
               "connection": {"id": "2d07a6b4-8fa9-43ab-91c8-befcd9dab8d2"},
               "location": {
                   "bucket": "wml-v4-fvt-batch-pytorch-connection-input",
                   "file_name": "testing-123",
               },
           }
       ],
       "output_data_reference": {
           "type": "data_asset",
           "location": {"name": "nb-pytorch_output.zip"},
       },
   }
   
   job_details = client.deployments.create_job(deployment_id, batch_reference_payload)
   job_uid = client.deployments.get_job_uid(job_details)
   print("The job id:", job_uid)
   

2. Vérifier l'état d'avancement du travail :

   ##  Get job status
   client.deployments.get_job_status(job_uid)