Dettagli di input della distribuzione batch per script Python

origini dati

Riferimenti ai dati di input o di output:

• Risorse locali o gestite dallo spazio
• Risorse connesse (remote) nel cloud storage

Note:

• Per le connessioni di cloud storage come Cloud Object Storage o Cloud Object Storage (infrastruttura), è necessario configurare la chiave di accesso e la chiave segreta, note anche come credenziali HMAC.

Se si stanno specificando i riferimenti dei dati di immissione / emissione in modo programmatico:

• Il riferimento dell'origine dati type dipende dal tipo di asset. Per ulteriori informazioni, consultare la sezione Tipi di riferimento origine dati in Aggiunta di asset di dati a uno spazio di distribuzione.
• È possibile specificare le variabili di ambiente richieste per l'esecuzione dello script Python come coppie 'key': 'value' in scoring.environment_variables. key deve essere il nome di una variabile di ambiente e value deve essere il valore corrispondente della variabile di ambiente.
• Il payload del lavoro di distribuzione viene salvato come un file JSON nel contenitore di distribuzione in cui esegui lo script Python . Lo script Python può accedere al nome del percorso completo del file JSON che utilizza la variabile di ambiente JOBS_PAYLOAD_FILE .
• Se ai dati di input si fa riferimento come asset di dati locale o gestito, il servizio di distribuzione scarica i dati di input e li colloca nel contenitore di distribuzione in cui si esegue lo script Python . È possibile accedere all'ubicazione (percorso) dei dati di input scaricati tramite la variabile di ambiente BATCH_INPUT_DIR .
• Per i riferimenti ai dati di input (asset di dati o asset di connessione), il download dei dati deve essere gestito dallo script Python . Se un asset di dati connesso o un asset di connessione è presente nel payload dei lavori di distribuzione, è possibile accedervi utilizzando la variabile di ambiente JOBS_PAYLOAD_FILE che contiene il percorso completo del payload del lavoro di distribuzione salvato come file JSON.
• Se i dati di output devono essere resi persistenti come un asset di dati locale o gestito in uno spazio, è possibile specificare il nome dell'asset da creare in scoring.output_data_reference.location.name. Come parte di uno script Python , i dati di output possono essere inseriti nel percorso specificato dalla variabile di ambiente BATCH_OUTPUT_DIR . Il servizio di distribuzione comprime i dati in formato file compresso e li carica nell'ubicazione specificata in BATCH_OUTPUT_DIR.
• Queste variabili di ambiente sono impostate internamente. Se si tenta di impostarli manualmente, i valori vengono sovrascritti:
  • BATCH_INPUT_DIR
  • BATCH_OUTPUT_DIR
  • JOBS_PAYLOAD_FILE
• Se i dati di output devono essere salvati in un archivio dati remoto, è necessario specificare il riferimento del riferimento dei dati di output (ad esempio, un asset di dati o un asset di dati connesso) in output_data_reference.location.href. Lo script Python deve occuparsi del caricamento dei dati di output nell'origine dati remota. Se un asset di dati connesso o un riferimento di asset di connessione è presente nel payload dei lavori di distribuzione, è possibile accedervi utilizzando la variabile di ambiente JOBS_PAYLOAD_FILE , che contiene il percorso completo del payload del lavoro di distribuzione salvato come file JSON.
• Se lo script Python non richiede alcun riferimento ai dati di input o output da specificare nel payload del lavoro di distribuzione, non fornire gli oggetti scoring.input_data_references e scoring.output_data_references nel payload.

Ulteriori informazioni

Distribuzione degli script in watsonx.ai Runtime.

Argomento principale: Dettagli di input della distribuzione batch per framework