Vous pouvez activer la journalisation des données utiles pour configurer les évaluations de modèles.
Pour gérer les données des charges utiles en vue de configurer les évaluations de l'équité et de la dérive et l'explicabilité, vous devez enregistrer vos données des charges utiles dans le datamart. Lorsque vous ajoutez des déploiements pour les évaluations ou que vous fournissez des détails sur le modèle, vous pouvez automatiquement envoyer une demande de notation pour enregistrer les transactions de votre modèle si tous les détails requis du modèle sont détectés. Si tous les détails du modèle requis ne sont pas détectés ou si vous évaluez des modèles d'images ou de textes non structurés, vous devez activer manuellement l'enregistrement des données utiles.
Consignation manuelle de la charge utile
Pour activer la journalisation de contenu utile, vous pouvez utiliser l'API de journalisation de contenu utile ou un fichier JSON pour envoyer une demande d'évaluation. Lorsque vous utilisez l'API d'enregistrement des données utiles, vous pouvez envoyer des demandes de notation avec cURL ou avec le SDK Python.
Journalisation du contenu utile avec le SDK Python
Vous pouvez envoyer une demande de notation avec le SDKPython, comme le montre l'exemple suivant :
from ibm_cloud_sdk_core.authenticators import IAMAuthenticator
from ibm_watson_openscale import APIClient
service_credentials = {
"apikey": "*****",
"url": "https://api.aiopenscale.cloud.ibm.com"
}
authenticator = IAMAuthenticator(
apikey=service_credentials['apikey']
)
client = APIClient(
service_url=service_credentials['url'],
service_instance_id="230a8e9f-2453-4c2d-a560-2a75399210bf"
authenticator=authenticator
)
from ibm_watson_openscale.data_sets import DataSetTypes, TargetTypes
# Put your subscription ID here
SUBSCRIPTION_ID = "<subscription_id>"
payload_logging_data_set_id = wos_client.data_sets.list(type=DataSetTypes.PAYLOAD_LOGGING, target_target_id=SUBSCRIPTION_ID, target_target_type=TargetTypes.SUBSCRIPTION).result.data_sets[0].metadata.id
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
# Put your scoring ID here
SCORING_ID = "<scoring_id>"
REQUEST_DATA = <put_your_data_here>
RESPONSE_DATA = <put_your_data_here>
wos_client.data_sets.store_records(data_set_id=payload_logging_data_set_id, request_body=[PayloadRecord(scoring_id=SCORING_ID, request=REQUEST_DATA, response=RESPONSE_DATA, response_time=460)])
Journalisation du contenu utile avec cURL
Vous pouvez utiliser la commande cURL suivante pour envoyer une demande d'évaluation:
curl -k -X POST https://$ICP_HOSTNAME:$PORT/openscale/00000000-0000-0000-0000-000000000000/v2/data_sets/<dataset_id>/records -d "$SCORING_PAYLOAD" \
--header 'Content-Type: application/json' --header 'Accept: application/json' --header "Authorization: Bearer $ICP_TOKEN"
Pour plus d'informations, voir l'API.
Journalisation du contenu utile avec JSON
Vous pouvez envoyer une demande d'évaluation avec JSON comme illustré dans l'exemple suivant:
[
{
"request": {
"fields": [
"AGE",
"BP",
"CHOLESTEROL",
"NA",
"K"
],
"values": [
[
28,
"LOW",
"HIGH",
0.61,
0.026
]
],
"meta": {
"fields": [
"SEX"
],
"values": [
[
"M"
]
]
}
},
"response": {
"fields": [
"AGE",
"BP",
"CHOLESTEROL",
"NA",
"K",
"probability",
"prediction",
"predictedLabel"
],
"values": [
[
28,
"LOW",
"HIGH",
0.61,
0.026,
[
0.82,
0.07,
0,
0.05,
0.03
],
0,
"drugY"
]
]
}
}
]
Rubrique parent: Gestion des données de contenu dans Watson OpenScale