0 / 0
Go back to the English version of the documentation
Vypočítat volby prostředků pro editor zápisníku v projektech
Last updated: 09. 11. 2023
Vypočítat volby prostředků pro editor zápisníku v projektech

Když spustíte zápisník v editoru zápisníků v projektu, zvolíte šablonu prostředí, která definuje výpočetní prostředky pro běhové prostředí. Šablona prostředí uvádí typ, velikost a sílu konfigurace hardwaru plus konfiguraci softwaru. Pro notebooky šablony prostředí zahrnují podporovaný jazyk Python a R.

Typy prostředí

Pro spuštění zápisníku můžete použít tyto typy prostředí:

Většina typů prostředí pro notebooky má výchozí šablony prostředí, takže můžete začít rychle. Jinak můžete vytvořit vlastní šablony prostředí.

Typy prostředí pro notebooky
Typ prostředí Výchozí šablony Vlastní šablony
Anakonda CPU (CPU)
Jiskrové klastry
GPU

Běhová vydání

Výchozí prostředí pro notebooky se přidávají jako přidružené k běhovému vydání a mají předponu Runtime následovanou rokem vydání a verzí vydání.

Běhové vydání uvádí seznam klíčových knihoven vědy o datech a jazykovou verzi, například Python 3.10. Všechna prostředí běhového vydání jsou sestavena na základě verzí knihovny definovaných ve vydání, čímž je zajištěno konzistentní používání knihoven datových věd ve všech aplikacích datových věd.

Vydání Runtime 22.2 a Runtime 23.1 jsou k dispozici pro Python 3.10 a R 4.2.

Zatímco je podporováno běhové vydání, produkt IBM aktualizuje verze knihovny tak, aby splňovaly požadavky na zabezpečení. Všimněte si, že tyto aktualizace nezmění verze knihoven <Major>.<Minor> , ale pouze verze <Patch> . Tím zajistíte, že vaše aktiva zápisníku budou i nadále spuštěna.

Balíky knihoven zahrnuté v běhových prostředí

Specifické verze populárních balíků knihovny vědy o datech, které jsou součástí běhových prostředí Watson Studio , viz tyto tabulky:

Tabulka 3. Balíky a jejich verze v různých běhových vydáních pro Python
Knihovna Běhové prostředí 22.2 v systému Python 3.10 Běhové prostředí 23.1 v systému Python 3.10
Keras 2.9 2.12
Břidlice 0.7 0.7
LightGBM 3.3 3.3
NumPy 1.23 1.23
ONNX 1.12 1.13
Běhové prostředí ONNX 1.12 1.13
OpenCV 4.6 4.7
pandas 1.4 1.5
PyArrow 8.0 11.0
PyTorch 1.12 2.0
scikit-učit se 1.1 1.1
SciPy 1.8 1.10
SnapML 1.8 1.13
TensorFlow 2.9 2.12
XGBoost (zvýšení) 1.6 1.6
Tabulka 4. Balíky a jejich verze v různých běhových verzích pro R
Knihovna Běhové prostředí 22.2 na R 4.2 Běhové prostředí 23.1 na R 4.2
šipka 8.0 11.0
Automobil 3.0 3.0
stříška 6.0 6.0
katooly 1.18 1.18
prognóza 8.16 8.16
ggplot2 3.3 3.3
glmnet 4.1 4.1
hmisc 4.7 4.7
Jádra 2.9 2.12
lme4 1.1 1.1
mvtnorm 1.1 1.1
pandoc 2.12 2.12
psychika 2.2 2.2
Python 3.10 3.10
randomforest 4.7 4.7
retikulovat 1.25 1.25
sendvič 3.0 3.0
scikit-učit se 1.1 1.1
geografická a 7.3 7.3
tensorflow 2.9 2.12
Časové_číslo 1.2 1.2
xgboost 1.6 1.6

Kromě knihoven uvedených v tabulkách zahrnují běhová prostředí mnoho dalších užitečných knihoven. Chcete-li zobrazit úplný seznam, vyberte kartu Spravovat ve vašem projektu, klepněte na volbu Šablony, vyberte kartu Prostředí a poté klepněte na jedno z uvedených prostředí.

Šablony prostředí CPU

Pro notebooky můžete vybrat libovolnou z následujících výchozích šablon prostředí CPU. Výchozí šablony prostředí jsou uvedeny v části Šablony na stránce Prostředí na kartě Spravovat vašeho projektu.

DO Označuje, že šablony prostředí zahrnují knihovny CPLEX a DOcplex pro modelování a řešení problémů s optimalizací rozhodnutí, které přesahují složitost, kterou podporuje Community Edition knihoven v jiných výchozích prostředích Python . Viz zápisníkyDecision Optimization.

NLP Označuje, že šablony prostředí zahrnují knihovnu Watson Natural Language Processing s předem natrénovanými modely pro úlohy zpracování jazyka, které můžete spustit na nestrukturovaných datech. Viz Použití knihovny Watson Natural Language Processing. Toto výchozí prostředí by mělo být dostatečně velké pro spuštění předem natrénovaných modelů.

Výchozí šablony prostředí CPU pro zápisníky
Název Konfigurace hardwaru Rychlost v CUH za hodinu
Běhové prostředí 22.2 v systému Python 3.10 XXS 1 vCPU a 4 GB RAM 0.5
Běhové prostředí 22.2 v systému Python 3.10 XS 2 vCPU a 8 GB RAM 1
Běhové prostředí 22.2 v systému Python 3.10 S 4 vCPU a 16 GB RAM 2
Běhové prostředí 23.1 v systému Python 3.10 XXS 1 vCPU a 4 GB RAM 0.5
Běhové prostředí 23.1 v systému Python 3.10 XS 2 vCPU a 8 GB RAM 1
Běhové prostředí 23.1 v systému Python 3.10 S 4 vCPU a 16 GB RAM 2
DO + NLP Runtime 22.2 na Python 3.10 XS 2 vCPU a 8 GB RAM 6
Běhové prostředí NLP 23.1 v systému Python 3.10 XS 2 vCPU a 8 GB RAM 6
Běhové prostředí 22.2 na R 4.2 S 4 vCPU a 16 GB RAM 2
Běhové prostředí 23.1 na R 4.2 S 4 vCPU a 16 GB RAM 2

Měli byste zastavit všechna aktivní běhová prostředí CPU, když je již nepotřebujete, abyste zabránili spotřebování jednotek kapacity navíc (CUHs). Viz Časový limit nečinnosti CPU.

Notebooky a prostředí CPU

Když otevřete zápisník v režimu úprav v běhovém prostředí CPU, právě jedna interaktivní relace se připojí k jádru Jupyter pro jazyk zápisníku a běhové prostředí prostředí, které jste vybrali. Běhové prostředí je spuštěno pro jednoho uživatele a ne pro zápisník. To znamená, že pokud otevřete druhý zápisník se stejnou šablonou prostředí ve stejném projektu, spustí se druhé jádro ve stejném běhovém prostředí. Běhové prostředky jsou sdíleny jádry Jupyter, které spouštíte v běhovém prostředí. Běhové prostředky jsou také sdíleny, pokud má CPU GPU.

Chcete-li se vyhnout sdílení běhových prostředí, ale chcete použít stejnou šablonu prostředí pro více notebooků v projektu, měli byste vytvořit vlastní šablony prostředí se stejnými specifikacemi a přidružit každý zápisník k vlastní šabloně.

V případě potřeby můžete restartovat nebo se znovu připojit k jádru. Při restartování jádra je jádro zastaveno a poté znovu spuštěno ve stejné relaci, ale všechny výsledky provedení jsou ztraceny. Po opětovném připojení k jádru po ztrátě připojení je zápisník připojen ke stejné relaci jádra a všechny předchozí výsledky provedení, které byly uloženy, jsou k dispozici.

Šablony prostředí Spark

Můžete vybrat libovolnou z následujících výchozích šablon prostředí Spark pro notebooky. Výchozí šablony prostředí jsou uvedeny v části Šablony na stránce Prostředí na kartě Spravovat vašeho projektu.

Výchozí šablony prostředí Spark pro notebooky
Název Konfigurace hardwaru Rychlost v CUH za hodinu
Výchozí Spark 3.3 & R 4.2 2 prováděcí moduly: 1 vCPU a 4 GB RAM;
ovladač: 1 vCPU a 4 GB RAM
1
Výchozí Spark 3.4 & R 4.2 2 prováděcí moduly: 1 vCPU a 4 GB RAM;
ovladač: 1 vCPU a 4 GB RAM
1

Měli byste zastavit všechna aktivní běhová prostředí Spark, když je již nepotřebujete, abyste zabránili spotřebování jednotek kapacity navíc (CUHs). Viz Časový limit nečinnosti Spark.

Velká prostředí Spark

Máte-li plán Watson Studio Professional, můžete vytvořit vlastní šablony prostředí pro větší prostředí Spark.

Profesionální uživatelé plánu mohou mít až 35 exekutorů a mohou si vybrat z následujících možností jak pro řidiče, tak pro exekutora:

Konfigurace hardwaru pro prostředí Spark
Konfigurace hardwaru
1 vCPU a 4 GB RAM
1 vCPU a 8 GB RAM
1 vCPU a 12 GB RAM

Rychlost CUH za hodinu se zvyšuje o 0.5 pro každé přidané vCPU . Například 1x Driver: 3vCPU with 12GB of RAM a 4x Executors: 2vCPU with 8GB of RAM se rovná (3 + (4 * 2)) = 11 vCPUs a 5.5 CUH.

Notebooky a prostředí Spark

Můžete vybrat stejnou šablonu prostředí Spark pro více než jeden zápisník. Každý zápisník přidružený k tomuto prostředí má svůj vlastní vyhrazený klastr Spark a žádné prostředky nejsou sdíleny.

Když spustíte prostředí Spark, budete potřebovat další prostředky pro démony Jupyter Enterprise Gateway, Spark Master a Spark worker. Tyto další prostředky představují 1 vCPU a 2 GB RAM pro ovladač a 1 GB RAM pro každého exekutora. Tyto dodatečné prostředky musíte vzít v úvahu při výběru velikosti hardwaru prostředí Spark. Například: pokud vytvoříte zápisník a vyberete volbu Default Spark 3.3 & Python 3.10, klastr Spark spotřebuje 3 vCPU a 12 GB RAM, ale protože 1 vCPU a 4 GB RAM jsou požadovány pro další prostředky, zbývající prostředky pro zápisník jsou 2 vCPU a 8 GB RAM.

Systém souborů na klastru Spark

Chcete-li sdílet soubory mezi exekutory a ovladačem nebo jádrem klastru Spark, můžete použít sdílený systém souborů na adrese /home/spark/shared.

Chcete-li používat vlastní knihovny, můžete je uložit do adresáře /home/spark/shared/user-libs/. V adresáři /home/spark/shared/user-libs/ jsou čtyři podadresáře, které jsou předkonfigurované, aby byly k dispozici pro běhová prostředí Python a R nebo Java.

V následujících tabulkách jsou uvedeny předkonfigurované podadresáře, do kterých můžete přidat vlastní libarie.

Tabulka 5. Předkonfigurované podadresáře pro vlastní knihovny
Adresář Typ knihovny
/home/spark/shared/user-libs/python3/ Python 3 knihovny
/home/spark/shared/user-libs/R/ Balíky R
/home/spark/shared/user-libs/spark2/ Soubory JAR prostředí Java

Chcete-li sdílet knihovny mezi ovladačem Spark a exekutory, postupujte takto:

  1. Stáhněte si vlastní knihovny nebo soubory JAR do příslušného předkonfigurovaného adresáře.
  2. Restartujte jádro z nabídky zápisníku klepnutím na volbu Jádro > Restartovat jádro. Tím se načtou vaše vlastní knihovny nebo soubory JAR do Spark.

Všimněte si, že tyto knihovny nejsou trvalé. Když zastavíte běhové prostředí a restartujete jej později, musíte znovu načíst knihovny.

Šablony prostředí GPU

Pro zápisníky můžete vybrat následující šablonu prostředí GPU. Šablony prostředí jsou uvedeny v části Šablony na stránce Prostředí na kartě Spravovat vašeho projektu.

Názvy šablon prostředí GPU označují sílu akcelerátoru. Šablony prostředí GPU zahrnují knihovnu Watson Natural Language Processing s předem natrénovanými modely pro úlohy zpracování jazyka, které můžete spustit na nestrukturovaných datech. Viz Použití knihovny Watson Natural Language Processing.

~ Označuje, že šablona prostředí vyžaduje profesionální plán Watson Studio . Viz Plány nabídky.

Výchozí šablony prostředí GPU pro notebooky
Název Konfigurace hardwaru Rychlost v CUH za hodinu
GPU V100 běhový modul 22.2 v systému Python 3.10 ~ 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
GPU V100 běhový modul 23.1 v systému Python 3.10 ~ 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
GPU 2xV100 běhový modul 22.2 v systému Python 3.10 ~ 80 vCPU a 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136
GPU 2xV100 běhový modul 23.1 v systému Python 3.10 ~ 80 vCPU a 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136

Měli byste zastavit všechna aktivní běhová prostředí GPU, když je již nepotřebujete, abyste zabránili spotřebování jednotek kapacity navíc (CUHs). Viz Časový limit nečinnosti GPU.

Notebooky a prostředí GPU

Prostředí GPU pro notebooky jsou k dispozici pouze v oblasti služeb Dallas IBM Cloud .

Můžete vybrat stejnou šablonu prostředí Python a GPU pro více než jeden zápisník v projektu. V tomto případě je každé jádro zápisníku spuštěno ve stejné běhové instanci a prostředky jsou sdíleny. Chcete-li se vyhnout sdílení běhových prostředků, vytvořte více vlastních šablon prostředí se stejnými specifikacemi a přidružte každý zápisník k vlastní šabloně.

Výchozí hardwarové specifikace pro přidělení skóre modelům pomocí produktu Watson Machine Learning

Když vyvoláte rozhraní API Watson Machine Learning v rámci notebooku, spotřebujete výpočetní prostředky ze služby Watson Machine Learning a také výpočetní prostředky pro jádro notebooku.

Při připojení k produktu Watson Machine Learning můžete vybrat libovolnou z následujících specifikací hardwaru a vytvořit implementaci.

Specifikace hardwaru dostupné při vyvolání služby Watson Machine Learning v zápisníku
Velikost kapacity Konfigurace hardwaru Rychlost v CUH za hodinu
Velmi malý 1x4 = 1 vCPU a 4 GB RAM 0.5
Malý 2x8 = 2 vCPU a 8 GB RAM 1
Střední 4x16 = 4 vCPU a 16 GB RAM 2
Velký 8x32 = 8 vCPU a 32 GB RAM 4

Datové soubory v prostředí zápisníku

Pokud pracujete s velkými datovými sadami, měli byste datové sady uložit do menších diskových bloků v produktu IBM Cloud Object Storage přidruženém k vašemu projektu a zpracovat data v diskových blocích v zápisníku. Případně byste měli spustit zápisník v prostředí Spark.

Uvědomte si, že systém souborů každého běhového prostředí je dočasný a nelze jej sdílet mezi prostředími. Chcete-li trvale uchovat soubory v produktu Watson Studio, měli byste použít produkt IBM Cloud Object Storage. Nejjednodušším způsobem, jak použít produkt IBM Cloud Object Storage v noteboocích v projektech, je využít balík project-lib pro Python nebo balík project-lib pro R.

Vypočítat využití podle služby

Běhová prostředí zápisníku spotřebovávají výpočetní prostředky jako CUH z produktu Watson Studiopři spuštění výchozího nebo vlastního prostředí. Spotřebu CUH produktu Watson Studio v projektu můžete monitorovat na stránce Využití prostředků na kartě Spravovat projektu.

Zápisníky mohou také spotřebovat CUH ze služby Watson Machine Learning , když zápisník vyvolá Watson Machine Learning pro skóre modelu. Můžete monitorovat celkovou měsíční spotřebu CUH pro službu Watson Machine Learning na stránce Využití prostředků na kartě Spravovat projektu.

Sledování spotřeby CUH pro Watson Machine Learning v notebooku

Chcete-li vypočítat hodiny jednotky kapacity spotřebované přenosným počítačem, spusťte v přenosném počítači tento kód:

CP =  client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

Například:

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

vrací 5.49 CUH

Podrobnosti viz část Instance služeb v dokumentaci IBM Watson Machine Learning API .

Rozsah běhového prostředí

Běhová prostředí jsou vždy vymezena na šablonu prostředí a uživatele v rámci projektu. Pokud různí uživatelé v projektu pracují se stejným prostředím, každý uživatel obdrží samostatné běhové prostředí.

Pokud vyberete spuštění verze zápisníku jako naplánované úlohy, každá naplánovaná úloha se vždy spustí ve vyhrazeném běhovém prostředí. Běhové prostředí se zastaví po dokončení úlohy.

Změna prostředí zápisníku

Prostředí můžete přepínat z různých důvodů, například můžete:

  • Vyberte prostředí s vyšším výkonem zpracování nebo více pamětí RAM.
  • Změna z používání prostředí bez Spark na prostředí Spark

Prostředí zápisníku můžete změnit pouze v případě, že je zápisník odemčený. Můžete změnit prostředí:

  • Ze zápisníku otevřeného v režimu úprav:

    1. Uložte změny zápisníku.
    2. Klepněte na ikonu Informace o zápisníku (Ikona Informace o zápisníku) na panelu nástrojů zápisníku a poté klepněte na volbu Prostředí.
    3. Ze seznamu vyberte jinou šablonu s výpočetním výkonem a kapacitou paměti.
    4. Vyberte volbu Změnit prostředí. Tím se zastaví aktivní běhové prostředí a spustí se nově vybrané prostředí.
  • Na stránce Aktiva vašeho projektu:

    1. Vyberte zápisník v sekci Zápisníky, klepněte na volbu Akce > Změnit prostředí a vyberte jiné prostředí. Před změnou prostředí musí být jádro zastaveno. Toto nové běhové prostředí bude převedeno na instanci při příštím otevření zápisníku pro úpravy.
  • V úloze zápisníku úpravou šablony úlohy. Viz Úprava nastavení úlohy.

Další kroky

Další informace

Nadřízené téma: Vypočítat prostředky pro nástroje

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more