0 / 0
Torna alla versione inglese della documentazione
Opzioni di calcolo delle risorse per l'editor del notebook nei progetti
Ultimo aggiornamento: 28 nov 2024
Opzioni di calcolo delle risorse per l'editor del notebook nei progetti

Quando si esegue un notebook nell'editor del notebook in un progetto, si sceglie un modello di ambiente, che definisca le risorse di calcolo per l'ambiente runtime. La maschera di ambiente specifica il tipo, la dimensione e la potenza della configurazione hardware, più la configurazione software. Per i notebook, i template di ambiente includono un linguaggio supportato di Python e R.

Tipi di ambienti

È possibile utilizzare questi tipi di ambienti per l'esecuzione dei notebook:

La maggior parte dei tipi di ambiente per i notebook hanno modelli di ambiente predefiniti in modo da poter iniziare rapidamente. Altrimenti, è possibile creare modelli di ambiente personalizzati.

Tipi di ambiente per notebook
Tipo di ambiente Modelli predefiniti Modelli personalizzati
CPU Anaconda
Cluster spark
GPU

Release runtime

Gli ambienti predefiniti per i notebook vengono aggiunti come affiliati di una release di runtime e con il prefisso Runtime seguito dall'anno di release e dalla relativa versione.

Una release di runtime specifica un elenco di librerie di data science chiave e una versione del linguaggio, ad esempio Python 3.10. Tutti gli ambienti di una release di runtime sono creati in base alle versioni di libreria definite nella release, garantendo così l'utilizzo coerente delle librerie di data science in tutte le applicazioni di data science.

Esiste una release 24.1 Runtime per diverse versioni di Python e R.

Nota:

IBM Runtime 23.1 è limitato. A partire dal 21 novembre 2024, non sarà più possibile creare nuovi notebook o ambienti personalizzati utilizzando i runtime 23.1. Inoltre, non è possibile creare nuove distribuzioni con specifiche software che si basano sul runtime 23.1. Per garantire un'esperienza senza interruzioni e per sfruttare le funzioni e i miglioramenti più recenti, passate a IBM Runtime 24.1. Questa modifica si applica a watsonx.ai Studio su Cloud Pak for Data as a Service e IBM watsonx as a Service.

Mentre una release di runtime è supportata, IBM aggiornerà la versione della libreria per soddisfare i requisiti di sicurezza. Notare che questi aggiornamenti non modificheranno le versioni <Major>.<Minor> delle librerie, ma solo le versioni <Patch> . Ciò garantisce che le risorse del notebook continueranno l'esecuzione.

Pacchetti libreria inclusi nei runtime

Per le versioni specifiche dei più diffusi pacchetti di librerie per la scienza dei dati inclusi nei runtime di watsonx.ai Studio, fare riferimento a queste tabelle:

Tabella 1. Pacchetti e relative versioni nelle varie release Runtime per Python
Libreria Durata 24.1 SU Python 3.11
Keras 2.14.0
Lale 0.8.x
LightGBM 4.2.0
NumPy 1.26.4
ONNX 1.16
Runtime ONNX 1.16.3
OpenCV 4.8.1
pandas 2.1.4
PyArrow 15.0.1
PyTorch 2.1.2
scikit-learn 1.3.0
SciPy 1.11.4
SnapML 1.14.6
TensorFlow 2.14.1
XGBoost 2.0.3
Tabella 2. Pacchetti e relative versioni nelle varie versioni Runtime per R
Libreria Durata 24.1 su R 4.3
freccia 15.0
automobile 3.1
accento circonflesso 6.0
catools 1.18
previsione 8.21
ggplot2 3.4
Glmnet 4.1
hmisc 5.1
keras 2.13
lme4 1.1
mvtnorm 1.2
pandoc 2.12
psichedelico 2.3
pitone 3.11
foresta casuale 4.7
reticolo 1.34
sandwich 3.0
scikit-learn 1.3
spaziali 7.3
tensorflow 2.15
tidyr 1.3
XGBoost 1.7

Oltre alle librerie elencate nelle tabelle, i runtime includono molte altre librerie utili. Per visualizzare l'elenco completo, selezionare la scheda Gestisci nel progetto, quindi fare clic su Modelli, selezionare la scheda Ambienti e quindi fare clic su uno degli ambienti elencati.

Modelli di ambiente CPU

È possibile selezionare uno dei seguenti modelli di ambiente CPU predefiniti per i notebook. I modelli di ambiente predefiniti sono elencati in Modelli nella pagina Ambienti nella scheda Gestisci del progetto.

DO Indica che i modelli di ambiente includono le librerie CPLEX e DOcplex per modellare e risolvere problemi di ottimizzazione delle decisioni che superano la complessità supportata dalla Community Edition delle librerie negli altri ambienti Python predefiniti. Vedere notebookDecision Optimization.

NLP Indica che i modelli di ambiente includono la libreria Watson Natural Language Processing con modelli preaddestrati per le attività di elaborazione del linguaggio che è possibile eseguire su dati non strutturati. Vedi Utilizzo della libreria Watson Natural Language Processing. Questo ambiente predefinito deve essere abbastanza grande da eseguire i modelli preaddestrati.

Modelli di ambiente CPU predefiniti per notebook
Nome Configurazione hardware Frequenza CUH per ora
Durata 24.1 SU Python 3.10 XXS 1 vCPU e 4 GB di RAM 0.5
Durata 24.1 SU Python 3.10 XS 2 vCPU e 8 GB di RAM 1
Durata 24.1 SU Python 3.10 S 4 vCPU e 16 GB di RAM 2
PNL + DO Runtime 24.1 SU Python 3.11 XS 2 vCPU e 8 GB di RAM 6
Durata 24.1 su R 4.3 S 4 vCPU e 16 GB di RAM 2

Arresta tutti i runtime CPU attivi quando non ne hai più bisogno, per evitare di consumare CUH (extra capacity unit hours). Vedere timeout di inattività CPU.

Notebook e ambienti CPU

Quando si apre un notebook in modalità di modifica in un ambiente runtime della CPU, esattamente una sessione interattiva si connette a un kernel Jupyter per il linguaggio del notebook e il runtime dell'ambiente selezionato. Il runtime viene avviato per singolo utente e non per notebook. Ciò significa che se si apre un secondo notebook con lo stesso modello di ambiente nello stesso progetto, viene avviato un secondo kernel nello stesso runtime. Le risorse del runtime sono condivise dai kernel Jupyter avviati nel runtime. Per ulteriori informazioni, consultare Ambito di runtime.

Se necessario, è possibile riavviare o riconnettersi al kernel. Quando si riavvia un kernel, il kernel viene arrestato e riavviato nella stessa sessione, ma tutti i risultati dell'esecuzione vengono persi. Quando ci si riconnette a un kernel dopo aver perso una connessione, il notebook è connesso alla stessa sessione kernel e tutti i precedenti risultati di esecuzione salvati sono disponibili.

Modelli di ambiente Spark

È possibile selezionare uno dei seguenti modelli di ambiente Spark predefiniti per notebook. I modelli di ambiente predefiniti sono elencati in Modelli nella pagina Ambienti nella scheda Gestisci del progetto.

Modelli di ambiente Spark predefiniti per notebook
Nome Configurazione hardware Frequenza CUH per ora
Default Spark 3.4 & Python 3.10 2 Executors ciascuno: 1 vCPU e 4 GB RAM;
Driver: 1 vCPU e 4 GB RAM
1
Default Spark 3.4 & R 4.2 2 Executors ciascuno: 1 vCPU e 4 GB RAM;
Driver: 1 vCPU e 4 GB RAM
1

Arresta tutti i runtime Spark attivi quando non ne hai più bisogno, per evitare di consumare CUH (extra capacity unit hours). Vedere Spark idle timeout.

Ambienti Spark di grandi dimensioni

Se si dispone del piano watsonx.ai Studio Professional, è possibile creare modelli di ambiente personalizzati per ambienti Spark più grandi.

Gli utenti del piano professionale possono avere fino a 35 executor e possono scegliere tra le seguenti opzioni sia per il driver che per l'executor:

Configurazioni hardware per ambienti Spark
Configurazione hardware
1 vCPU e 4 GB di RAM
2 vCPU e 8 GB di RAM
3 vCPU e 12 GB di RAM

La velocità CUH all'ora aumenta di 0.5 per ogni vCPU che viene aggiunto. Ad esempio, 1x Driver: 3vCPU with 12GB of RAM e 4x Executors: 2vCPU with 8GB of RAM corrispondono a (3 + (4 * 2)) = 11 vCPUs e 5.5 CUH.

Notebook e ambienti Spark

È possibile selezionare lo stesso modello di ambiente Spark per più di un notebook. Ogni notebook associato a tale ambiente ha il proprio cluster Spark dedicato e nessuna risorsa è condivisa.

Quando si avvia un ambiente Spark, sono necessarie risorse aggiuntive per Jupyter Enterprise Gateway, Spark Master e i demoni Spark worker. Queste risorse aggiuntive ammontano a 1 vCPU e 2 GB di RAM per il driver e a 1 GB di RAM per ogni executor. È necessario considerare queste risorse aggiuntive quando si seleziona la dimensione hardware di un ambiente Spark. Ad esempio: se si crea un notebook e si seleziona Default Spark 3.4 & Python 3.10, il cluster Spark consuma 3 vCPU e 12 GB di RAM ma, poiché 1 vCPU e 4 GB di RAM sono necessari per le risorse extra, le risorse rimanenti per il notebook sono 2 vCPU e 8 GB di RAM.

File system su un cluster Spark

Se si desidera condividere i file tra gli executor e il driver o il kernel di un cluster Spark, è possibile utilizzare il file system condiviso in /home/spark/shared.

Se si desidera utilizzare le proprie librerie personalizzate, è possibile memorizzarle in /home/spark/shared/user-libs/. Ci sono quattro sottodirectory in /home/spark/shared/user-libs/ che sono preconfigurate per essere rese disponibili ai runtime Python e R o Java.

Le seguenti tabelle elencano le sottodirectory preconfigurate in cui è possibile aggiungere le proprie librerie personalizzate.

Tabella 5. Sottodirectory preconfigurate per librerie personalizzate
Cartella Tipo di libreria
/home/spark/shared/user-libs/python3/ Librerie Python 3
/home/spark/shared/user-libs/R/ Pacchetti R
/home/spark/shared/user-libs/spark2/ File JAR Java

Per condividere le librerie tra un driver Spark e gli esecutori:

  1. Scaricare le librerie personalizzate o i file JAR nella directory preconfigurata appropriata.
  2. Riavviare il kernel dal menu del notebook facendo clic su Kernel> Riavvia kernel. Questa operazione carica le librerie personalizzate o i file JAR in Spark.

Notare che queste librerie non sono persistenti. Quando si arresta il runtime dell'ambiente e lo si riavvia successivamente, è necessario caricare nuovamente le librerie.

Modelli di ambiente GPU

Puoi selezionare il seguente template di ambiente GPU per i notebook. I modelli di ambiente sono elencati in Modelli nella pagina Ambienti nella scheda Gestisci del progetto.

I nomi dei modelli di ambiente GPU indicano la potenza dell'acceleratore. I modelli di ambiente GPU comprendono la libreria Watson Natural Language Processing con modelli preaddestrati per le attività di elaborazione del linguaggio che puoi eseguire su dati non strutturati. Vedi Utilizzo della libreria Watson Natural Language Processing.

~ Indica che il modello di ambiente richiede il piano watsonx.ai Studio Professional. Vedi Piani dell'offerta.

Modelli di ambiente GPU predefiniti per notebook
Nome Configurazione hardware Frequenza CUH per ora
GPU V100 Durata 24.1 SU Python 3.11 ~ 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
GPU 2xV100 Durata 24.1 SU Python 3.11 ~ 80 vCPU e 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136

Arresta tutti i runtime GPU attivi quando non ne hai più bisogno, per evitare di consumare CUH (extra capacity unit hours). Vedi Timeout di inattività GPU.

Notebook e ambienti GPU

Gli ambienti GPU per i notebook sono disponibili solo nella regione del servizio IBM Cloud di Dallas.

Puoi selezionare lo stesso modello di ambiente Python e GPU per più di un notebook in un progetto. In questo caso, ogni kernel notebook viene eseguito nella stessa istanza di runtime e le risorse sono condivise. Per evitare la condivisione delle risorse runtime, creare più modelli di ambiente personalizzati con la stessa specifica e associare ciascun notebook al proprio modello.

Specifiche hardware predefinite per i modelli di scoring con watsonx.ai Runtime

Quando si richiama l'API watsonx.ai Runtime all'interno di un notebook, si consumano le risorse di calcolo del servizio watsonx.ai Runtime e le risorse di calcolo del kernel del notebook.

È possibile selezionare una qualsiasi delle seguenti specifiche hardware quando ci si connette a watsonx.ai Runtime e si crea un'installazione client.

Specifiche hardware disponibili quando si richiama il servizio watsonx.ai Runtime in un notebook
Dimensione capacità Configurazione hardware Frequenza CUH per ora
Molto piccolo 1x4 = 1 vCPU e 4 GB di RAM 0.5
Piccolo 2x8 = 2 vCPU e 8 GB RAM 1
Medio 4x16 = 4 vCPU e 16 GB di RAM 2
Grande 8x32 = 8 vCPU e 32 GB RAM 4

File di dati in ambienti notebook

Se si lavora con insiemi di dati di grandi dimensioni, è consigliabile memorizzare gli insiemi di dati in pezzi più piccoli nel IBM Cloud Object Storage associato al progetto ed elaborare i dati in pezzi nel blocco note. In alternativa, eseguire il notebook in un ambiente Spark.

Tenere presente che il file system di ciascun runtime non è persistente e non può essere condiviso tra ambienti. Per conservare i file in watsonx.ai Studio, è necessario utilizzare IBM Cloud Object Storage. Il modo più semplice per utilizzare IBM Cloud Object Storage nei notebook dei progetti è sfruttare il pacchetto project-lib per Python o il pacchetto project-lib per R.

Utilizzo del calcolo per servizio

Il runtime del notebook consuma risorse di calcolo come CUH da watsonx.ai Studio, durante l'esecuzione di ambienti predefiniti o personalizzati. È possibile monitorare il consumo di CUH watsonx.ai Studio nel progetto nella pagina Utilizzo risorse della scheda Gestione del progetto.

I notebook possono anche consumare CUH dal servizio watsonx.ai Runtime quando il notebook invoca watsonx.ai Runtime per assegnare un punteggio a un modello. È possibile monitorare il consumo totale mensile di CUH per il servizio watsonx.ai Runtime nella pagina Utilizzo risorse della scheda Gestione del progetto.

Tracciare il consumo di CUH per il runtime watsonx.ai in un notebook

Per calcolare le ore dell'unità di capacità consumate da un notebook, eseguire questo codice nel notebook:

CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

Ad esempio:

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

restituisce 5.49 CUH

Per maggiori dettagli, consultare la sezione Istanze di servizio della documentazione dell'APIIBM watsonx.ai Runtime.

Ambito runtime

I runtime di ambiente si trovano sempre nell'ambito di un template di ambiente e di un utente all'interno di un progetto. Se diversi utenti in un progetto lavorano con lo stesso ambiente, ogni utente otterrà un runtime separato.

Se si sceglie di eseguire una versione di un notebook come un lavoro pianificato, ogni lavoro pianificato verrà sempre avviato in un runtime dedicato. Il runtime viene arrestato al termine del lavoro.

Modifica dell'ambiente di un notebook

È possibile cambiare ambiente per diversi motivi, ad esempio, è possibile:

  • Selezionare un ambiente con più potenza di elaborazione o più RAM
  • Passaggio dall'utilizzo di un ambiente senza Spark a un ambiente Spark

È possibile modificare l'ambiente di un notebook solo se il notebook è sbloccato. È possibile modificare l'ambiente:

  • Dal notebook aperto in modalità di modifica:

    1. Salvare le modifiche del notebook.
    2. Fare clic sull'icona Info taccuino 'Icona Informazioni blocco note nella barra degli strumenti del taccuino, quindi fare clic su Ambiente.
    3. Selezionare un altro modello con la capacità di calcolo e la capacità di memoria dall'elenco.
    4. Selezionare Modifica ambiente. Questo arresta il runtime attivo e avvia l'ambiente appena selezionato.
  • Dalla pagina Asset del progetto:

    1. Selezionare il blocco note nella sezione Blocco note, fare clic su Azioni> Modifica ambiente e selezionare un altro ambiente. Il kernel deve essere arrestato prima di poter modificare l'ambiente. Questo nuovo ambiente di runtime verrà istanziato la volta successiva che il notebook viene aperto per la modifica.
  • Nel lavoro notebook modificando il modello di lavoro. Consultare Modifica delle impostazioni del job.

Passi successivi

Ulteriori informazioni

Argomento principale Risorse di calcolo per strumenti

Ricerca e risposta AI generativa
Queste risposte sono generate da un modello di lingua di grandi dimensioni in watsonx.ai basato sul contenuto della documentazione del prodotto. Ulteriori informazioni