0 / 0
Torna alla versione inglese della documentazione
Opzioni di calcolo delle risorse per l'editor del notebook nei progetti

Opzioni di calcolo delle risorse per l'editor del notebook nei progetti

Quando si esegue un notebook nell'editor del notebook in un progetto, si sceglie un modello di ambiente, che definisca le risorse di calcolo per l'ambiente runtime. La maschera di ambiente specifica il tipo, la dimensione e la potenza della configurazione hardware, più la configurazione software. Per i notebook, i template di ambiente includono un linguaggio supportato di Python e R.

Tipi di ambienti

È possibile utilizzare questi tipi di ambienti per l'esecuzione del notebook:

La maggior parte dei tipi di ambiente per i notebook hanno modelli di ambiente predefiniti in modo da poter iniziare rapidamente. Altrimenti, è possibile creare modelli di ambiente personalizzati.

Tipi di ambiente per notebook
Tipo di ambiente Modelli predefiniti Modelli personalizzati
CPU Anaconda
Cluster spark
GPU

Release runtime

Gli ambienti predefiniti per i notebook vengono aggiunti come affiliati di una release di runtime e con il prefisso Runtime seguito dall'anno di release e dalla relativa versione.

Una release di runtime specifica un elenco di librerie di data science chiave e una versione del linguaggio, ad esempio Python 3.10. Tutti gli ambienti di una release di runtime sono creati in base alle versioni di libreria definite nella release, garantendo così l'utilizzo coerente delle librerie di data science in tutte le applicazioni di data science.

Le release Runtime 22.2 e Runtime 23.1 sono disponibili per Python 3.10 e R 4.2.

Nota: IBM Runtime 22.2 è obsoleto e verrà rimosso il 11th aprile 2024. A partire dal 7th marzo 2024, non è più possibile creare nuovi notebook o creare ambienti personalizzati utilizzando i runtime 22.2 . Inoltre, non sarà possibile preparare, salvare o distribuire nuovi modelli con le specifiche software basate sul runtime 22.2 . Aggiorna gli asset e le distribuzioni per utilizzare IBM runtime 23.1 prima del 7th marzo 2024.

Mentre una release di runtime è supportata, IBM aggiornerà la versione della libreria per soddisfare i requisiti di sicurezza. Notare che questi aggiornamenti non modificheranno le versioni <Major>.<Minor> delle librerie, ma solo le versioni <Patch> . Ciò garantisce che le risorse del notebook continueranno l'esecuzione.

Pacchetti libreria inclusi nei runtime

Per versioni specifiche dei pacchetti della libreria di data science più diffusi inclusi nei runtime di Watson Studio , fare riferimento a queste tabelle:

Tabella 3. Pacchetti e relative versioni nelle varie release di Runtime per Python
Libreria Runtime 22.2 su Python 3.10 Runtime 23.1 su Python 3.10
Keras 2.9 2.12
Lale 0.7 0.7
LightGBM 3.3 3.3
NumPy 1.23 1.23
ONNX 1.12 1.13
Runtime ONNX 1.12 1.13
OpenCV 4.6 4.7
pandas 1.4 1.5
PyArrow 8.0 11.0
PyTorch 1.12 2.0
scikit-learn 1.1 1.1
SciPy 1.8 1.10
SnapML 1.8 1.13
TensorFlow 2.9 2.12
XGBoost 1.6 1.6
Tabella 4. Pacchetti e relative versioni nelle varie release Runtime per R
Libreria Runtime 22.2 su R 4.2 Runtime 23.1 su R 4.2
freccia 8.0 11.0
Auto 3.0 3.0
accento circonflesso 6.0 6.0
catools 1.18 1.18
previsione 8.16 8.16
ggplot2 3.3 3.3
Glmnet 4.1 4.1
hmisc 4.7 4.7
keras 2.9 2.12
lme4 1.1 1.1
mvtnorm 1.1 1.1
pandoc 2.12 2.12
psichedelico 2.2 2.2
python 3.10 3.10
foresta casuale 4.7 4.7
reticolo 1.25 1.25
panino 3.0 3.0
scikit-learn 1.1 1.1
spaziali 7.3 7.3
tensorflow 2.9 2.12
tidyr 1.2 1.2
XGBoost 1.6 1.6

Oltre alle librerie elencate nelle tabelle, i runtime includono molte altre librerie utili. Per visualizzare l'elenco completo, selezionare la scheda Gestisci nel progetto, quindi fare clic su Modelli, selezionare la scheda Ambienti e quindi fare clic su uno degli ambienti elencati.

Modelli di ambiente CPU

È possibile selezionare uno dei seguenti modelli di ambiente CPU predefiniti per i notebook. I modelli di ambiente predefiniti sono elencati in Modelli nella pagina Ambienti nella scheda Gestisci del progetto.

DO Indica che i modelli di ambiente includono le librerie CPLEX e DOcplex per modellare e risolvere problemi di ottimizzazione delle decisioni che superano la complessità supportata dalla Community Edition delle librerie negli altri ambienti Python predefiniti. Vedere notebookDecision Optimization.

NLP Indica che i modelli di ambiente includono la libreria Watson Natural Language Processing con modelli preaddestrati per le attività di elaborazione del linguaggio che è possibile eseguire su dati non strutturati. Vedi Utilizzo della libreria Watson Natural Language Processing. Questo ambiente predefinito deve essere abbastanza grande da eseguire i modelli preaddestrati.

Modelli di ambiente CPU predefiniti per notebook
Nome Configurazione hardware Frequenza CUH per ora
Runtime 22.2 su Python 3.10 XXS 1 vCPU e 4 GB di RAM 0.5
Runtime 22.2 su Python 3.10 XS 2 vCPU e 8 GB di RAM 1
Runtime 22.2 su Python 3.10 S 4 vCPU e 16 GB di RAM 2
Runtime 23.1 su Python 3.10 XXS 1 vCPU e 4 GB di RAM 0.5
Runtime 23.1 su Python 3.10 XS 2 vCPU e 8 GB di RAM 1
Runtime 23.1 su Python 3.10 S 4 vCPU e 16 GB di RAM 2
DO + NLP Runtime 22.2 su Python 3.10 XS 2 vCPU e 8 GB di RAM 6
NLP + DO Runtime 23.1 su Python 3.10 XS 2 vCPU e 8 GB di RAM 6
Runtime 22.2 su R 4.2 S 4 vCPU e 16 GB di RAM 2
Runtime 23.1 su R 4.2 S 4 vCPU e 16 GB di RAM 2

È necessario arrestare tutti i runtime CPU attivi quando non sono più necessari per evitare il consumo di CUH (Capacity Unit Ore) supplementari. Vedere timeout di inattività CPU.

Notebook e ambienti CPU

Quando si apre un notebook in modalità di modifica in un ambiente di runtime CPU, esattamente una sessione interattiva si connette a un kernel Jupyter per il linguaggio del notebook e il runtime dell'ambiente selezionato. Il runtime viene avviato per singolo utente e non per notebook. Ciò significa che se si apre un secondo notebook con lo stesso modello di ambiente nello stesso progetto, viene avviato un secondo kernel nello stesso runtime. Le risorse di runtime sono condivise dai kernel Jupyter che avvii nel runtime. Le risorse di runtime vengono condivise anche se la CPU ha GPU.

Se si desidera evitare la condivisione dei runtime ma si desidera utilizzare lo stesso modello di ambiente per più notebook in un progetto, è necessario creare modelli di ambiente personalizzati con le stesse specifiche e associare ciascun notebook al proprio modello.

Se necessario, è possibile riavviare o riconnettersi al kernel. Quando si riavvia un kernel, il kernel viene arrestato e riavviato nella stessa sessione, ma tutti i risultati dell'esecuzione vengono persi. Quando ci si riconnette a un kernel dopo aver perso una connessione, il notebook è connesso alla stessa sessione kernel e tutti i precedenti risultati di esecuzione salvati sono disponibili.

Modelli di ambiente Spark

È possibile selezionare uno dei seguenti modelli di ambiente Spark predefiniti per notebook. I modelli di ambiente predefiniti sono elencati in Modelli nella pagina Ambienti nella scheda Gestisci del progetto.

Modelli di ambiente Spark predefiniti per notebook
Nome Configurazione hardware Frequenza CUH per ora
Spark predefinito 3.3 & R 4.2 2 Executors ciascuno: 1 vCPU e 4 GB RAM;
Driver: 1 vCPU e 4 GB RAM
1
Spark predefinito 3.4 & R 4.2 2 Executors ciascuno: 1 vCPU e 4 GB RAM;
Driver: 1 vCPU e 4 GB RAM
1

È necessario arrestare tutti i runtime Spark attivi quando non sono più necessari per evitare di consumare CUH (extra capacity unit hours). Vedere Spark idle timeout.

Ambienti Spark di grandi dimensioni

Se disponi del piano Watson Studio Professional, puoi creare modelli di ambiente personalizzati per ambienti Spark più grandi.

Gli utenti del piano professionale possono avere fino a 35 executor e possono scegliere tra le seguenti opzioni sia per il driver che per l'executor:

Configurazioni hardware per ambienti Spark
Configurazione hardware
1 vCPU e 4 GB di RAM
2 vCPU e 8 GB di RAM
3 vCPU e 12 GB di RAM

La velocità CUH all'ora aumenta di 0.5 per ogni vCPU che viene aggiunto. Ad esempio, 1x Driver: 3vCPU with 12GB of RAM e 4x Executors: 2vCPU with 8GB of RAM corrispondono a (3 + (4 * 2)) = 11 vCPUs e 5.5 CUH.

Notebook e ambienti Spark

È possibile selezionare lo stesso modello di ambiente Spark per più di un notebook. Ogni notebook associato a tale ambiente ha il proprio cluster Spark dedicato e nessuna risorsa è condivisa.

Quando si avvia un ambiente Spark, sono richieste ulteriori risorse per i daemon di lavoro Jupyter Enterprise Gateway, Spark Master e Spark. Queste risorse aggiuntive ammontano a 1 vCPU e 2 GB di RAM per il driver e 1 GB di RAM per ogni executor. È necessario considerare queste risorse aggiuntive quando si seleziona la dimensione hardware di un ambiente Spark. Ad esempio: se si crea un notebook e si seleziona Default Spark 3.3 & Python 3.10, il cluster Spark consuma 3 vCPU e 12 GB di RAM ma, poiché sono richiesti 1 vCPU e 4 GB di RAM per le risorse aggiuntive, le risorse rimanenti per il notebook sono 2 vCPU e 8 GB di RAM.

File system su un cluster Spark

Se si desidera condividere i file tra gli executor e il driver o il kernel di un cluster Spark, è possibile utilizzare il file system condiviso in /home/spark/shared.

Se si desidera utilizzare le proprie librerie personalizzate, è possibile memorizzarle in /home/spark/shared/user-libs/. Ci sono quattro sottodirectory in /home/spark/shared/user-libs/ che sono preconfigurate per essere rese disponibili ai runtime Python e R o Java.

Le seguenti tabelle elencano le sottodirectory preconfigurate in cui è possibile aggiungere le proprie librerie personalizzate.

Tabella 5. Sottodirectory preconfigurate per librerie personalizzate
Cartella Tipo di libreria
/home/spark/shared/user-libs/python3/ Librerie Python 3
/home/spark/shared/user-libs/R/ Pacchetti R
/home/spark/shared/user-libs/spark2/ File JAR Java

Per condividere le librerie tra un driver Spark e gli esecutori:

  1. Scaricare le librerie personalizzate o i file JAR nella directory preconfigurata appropriata.
  2. Riavviare il kernel dal menu del notebook facendo clic su Kernel> Riavvia kernel. Questa operazione carica le librerie personalizzate o i file JAR in Spark.

Notare che queste librerie non sono persistenti. Quando si arresta il runtime dell'ambiente e lo si riavvia successivamente, è necessario caricare nuovamente le librerie.

Modelli di ambiente GPU

Puoi selezionare il seguente template di ambiente GPU per i notebook. I modelli di ambiente sono elencati in Modelli nella pagina Ambienti nella scheda Gestisci del progetto.

I nomi dei modelli di ambiente GPU indicano la potenza dell'acceleratore. I modelli di ambiente GPU comprendono la libreria Watson Natural Language Processing con modelli preaddestrati per le attività di elaborazione del linguaggio che puoi eseguire su dati non strutturati. Vedi Utilizzo della libreria Watson Natural Language Processing.

~ Indica che il modello di ambiente richiede un piano professionale Watson Studio . Vedi Piani dell'offerta.

Modelli di ambiente GPU predefiniti per notebook
Nome Configurazione hardware Frequenza CUH per ora
GPU V100 Runtime 22.2 su Python 3.10 ~ 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
GPU V100 Runtime 23.1 su Python 3.10 ~ 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
GPU 2xV100 Runtime 22.2 su Python 3.10 ~ 80 vCPU e 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136
GPU 2xV100 Runtime 23.1 su Python 3.10 ~ 80 vCPU e 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136

È necessario arrestare tutti i runtime GPU attivi quando non sono più necessari per evitare di consumare CUH (extra capacity unit hours). Vedi Timeout di inattività GPU.

Notebook e ambienti GPU

Gli ambienti GPU per i notebook sono disponibili solo nella regione del servizio IBM Cloud di Dallas.

Puoi selezionare lo stesso modello di ambiente Python e GPU per più di un notebook in un progetto. In questo caso, ogni kernel notebook viene eseguito nella stessa istanza di runtime e le risorse sono condivise. Per evitare la condivisione delle risorse runtime, creare più modelli di ambiente personalizzati con la stessa specifica e associare ciascun notebook al proprio modello.

Specifiche hardware predefinite per il calcolo del punteggio dei modelli con Watson Machine Learning

Quando richiami l'API Watson Machine Learning all'interno di un notebook, consumi le risorse di calcolo dal servizio Watson Machine Learning e le risorse di elaborazione per il kernel del notebook.

È possibile selezionare una delle seguenti specifiche hardware quando ci si collega a Watson Machine Learning e si crea una distribuzione.

Specifiche hardware disponibili quando si richiama il servizio Watson Machine Learning in un notebook
Dimensione capacità Configurazione hardware Frequenza CUH per ora
Molto piccolo 1x4 = 1 vCPU e 4 GB di RAM 0.5
Piccolo 2x8 = 2 vCPU e 8 GB RAM 1
Medio 4x16 = 4 vCPU e 16 GB di RAM 2
Grande 8x32 = 8 vCPU e 32 GB RAM 4

File di dati in ambienti notebook

Se si utilizzano dataset di grandi dimensioni, è necessario archiviare i dataset in blocchi più piccoli in IBM Cloud Object Storage associato al progetto ed elaborare i dati in blocchi nel notebook. In alternativa, eseguire il notebook in un ambiente Spark.

Tenere presente che il file system di ciascun runtime non è persistente e non può essere condiviso tra ambienti. Per conservare i file in Watson Studio, devi utilizzare IBM Cloud Object Storage. Il modo più semplice per utilizzare IBM Cloud Object Storage nei notebook nei progetti è quello di sfruttare il pacchetto project-lib per Python o il pacchetto project-lib per R.

Utilizzo del calcolo per servizio

I runtime del notebook utilizzano risorse di calcolo come CUH da Watson Studio, durante l'esecuzione di ambienti predefiniti o personalizzati. È possibile monitorare il consumo CUH di Watson Studio nel progetto nella pagina Utilizzo risorse nella scheda Gestisci del progetto.

I notebook possono anche utilizzare CUH dal servizio Watson Machine Learning quando il notebook richiama Watson Machine Learning per calcolare il punteggio di un modello. Puoi monitorare la quantità totale mensile di consumo CUH per il servizio Watson Machine Learning nella pagina Utilizzo risorse nella scheda Gestisci del progetto.

Traccia dell'utilizzo di CUH per Watson Machine Learning in un notebook

Per calcolare le ore dell'unità di capacità consumate da un notebook, eseguire questo codice nel notebook:

CP =  client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

Ad esempio:

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

restituisce 5.49 CUH

Per i dettagli, vedi la sezione Istanze del servizio della documentazione IBM Watson Machine Learning API .

Ambito runtime

I runtime di ambiente si trovano sempre nell'ambito di un template di ambiente e di un utente all'interno di un progetto. Se diversi utenti in un progetto lavorano con lo stesso ambiente, ogni utente otterrà un runtime separato.

Se si sceglie di eseguire una versione di un notebook come un lavoro pianificato, ogni lavoro pianificato verrà sempre avviato in un runtime dedicato. Il runtime viene arrestato al termine del lavoro.

Modifica dell'ambiente di un notebook

È possibile cambiare ambiente per diversi motivi, ad esempio, è possibile:

  • Selezionare un ambiente con più potenza di elaborazione o più RAM
  • Passaggio dall'utilizzo di un ambiente senza Spark a un ambiente Spark

È possibile modificare l'ambiente di un notebook solo se il notebook è sbloccato. È possibile modificare l'ambiente:

  • Dal notebook aperto in modalità di modifica:

    1. Salvare le modifiche del notebook.
    2. Fare clic sull'icona Informazioni sul blocco note (Icona Informazioni blocco note) dalla barra degli strumenti del blocco note e fare clic su Ambiente.
    3. Selezionare un altro modello con la capacità di calcolo e la capacità di memoria dall'elenco.
    4. Selezionare Modifica ambiente. Questo arresta il runtime attivo e avvia l'ambiente appena selezionato.
  • Dalla pagina Asset del progetto:

    1. Selezionare il blocco note nella sezione Blocco note, fare clic su Azioni> Modifica ambiente e selezionare un altro ambiente. Il kernel deve essere arrestato prima di poter modificare l'ambiente. Questo nuovo ambiente di runtime verrà istanziato la volta successiva che il notebook viene aperto per la modifica.
  • Nel lavoro notebook modificando il modello di lavoro. Consultare Modifica delle impostazioni del job.

Passi successivi

Ulteriori informazioni

Argomento principale Risorse di calcolo per strumenti

Ricerca e risposta AI generativa
Queste risposte sono generate da un modello di lingua di grandi dimensioni in watsonx.ai basato sul contenuto della documentazione del prodotto. Ulteriori informazioni