Translation not up to date
Když spustíte zápisník v editoru zápisníků v projektu, zvolíte šablonu prostředí, která definuje výpočetní prostředky pro běhové prostředí. Šablona prostředí uvádí typ, velikost a sílu konfigurace hardwaru plus konfiguraci softwaru. Pro notebooky šablony prostředí zahrnují podporovaný jazyk Python a R.
- Typy prostředí
- Běhová vydání
- Šablony prostředí CPU
- Šablony prostředí Spark
- Šablony prostředí GPU
- Výchozí hardwarové specifikace pro hodnocení modelů pomocí produktu Watson Machine Learning
- Datové soubory v prostředí zápisníku
- Vypočítat využití podle služby
- Rozsah běhového prostředí
- Změna prostředí
Typy prostředí
Pro spuštění zápisníku můžete použít tyto typy prostředí:
- Prostředí Anaconda CPU pro standardní pracovní zátěže.
- Prostředí Spark pro paralelní zpracování poskytované platformou nebo jinými službami.
- Prostředí GPU pro výpočetně náročné modely strojového učení.
Většina typů prostředí pro notebooky má výchozí šablony prostředí, takže můžete začít rychle. Jinak můžete vytvořit vlastní šablony prostředí.
Typ prostředí | Výchozí šablony | Vlastní šablony |
---|---|---|
Anakonda CPU (CPU) | ✓ | ✓ |
Jiskrové klastry | ✓ | ✓ |
GPU | ✓ | ✓ |
Běhová vydání
Výchozí prostředí pro notebooky se přidávají jako přidružené k běhovému vydání a mají předponu Runtime
následovanou rokem vydání a verzí vydání.
Běhové vydání uvádí seznam klíčových knihoven vědy o datech a jazykovou verzi, například Python 3.10. Všechna prostředí běhového vydání jsou sestavena na základě verzí knihovny definovaných ve vydání, čímž je zajištěno konzistentní používání knihoven datových věd ve všech aplikacích datových věd.
Vydání Runtime 22.2
a Runtime 23.1
jsou k dispozici pro Python 3.10 a R 4.2.
Zatímco je podporováno běhové vydání, produkt IBM aktualizuje verze knihovny tak, aby splňovaly požadavky na zabezpečení. Všimněte si, že tyto aktualizace nezmění verze knihoven <Major>.<Minor>
, ale pouze verze <Patch>
. Tím zajistíte, že vaše aktiva zápisníku budou i nadále spuštěna.
Balíky knihoven zahrnuté v běhových prostředí
Specifické verze populárních balíků knihovny vědy o datech, které jsou součástí běhových prostředí Watson Studio , viz tyto tabulky:
Knihovna | Běhové prostředí 22.2 v systému Python 3.10 | Běhové prostředí 23.1 v systému Python 3.10 |
---|---|---|
Keras | 2.9 | 2.12 |
Břidlice | 0.7 | 0.7 |
LightGBM | 3.3 | 3.3 |
NumPy | 1.23 | 1.23 |
ONNX | 1.12 | 1.13 |
Běhové prostředí ONNX | 1.12 | 1.13 |
OpenCV | 4.6 | 4.7 |
pandas | 1.4 | 1.5 |
PyArrow | 8.0 | 11.0 |
PyTorch | 1.12 | 2.0 |
scikit-učit se | 1.1 | 1.1 |
SciPy | 1.8 | 1.10 |
SnapML | 1.8 | 1.13 |
TensorFlow | 2.9 | 2.12 |
XGBoost (zvýšení) | 1.6 | 1.6 |
Knihovna | Běhové prostředí 22.2 na R 4.2 | Běhové prostředí 23.1 na R 4.2 |
---|---|---|
šipka | 8.0 | 11.0 |
Automobil | 3.0 | 3.0 |
stříška | 6.0 | 6.0 |
katooly | 1.18 | 1.18 |
prognóza | 8.16 | 8.16 |
ggplot2 | 3.3 | 3.3 |
glmnet | 4.1 | 4.1 |
hmisc | 4.7 | 4.7 |
Jádra | 2.9 | 2.12 |
lme4 | 1.1 | 1.1 |
mvtnorm | 1.1 | 1.1 |
pandoc | 2.12 | 2.12 |
psychika | 2.2 | 2.2 |
Python | 3.10 | 3.10 |
randomforest | 4.7 | 4.7 |
retikulovat | 1.25 | 1.25 |
sendvič | 3.0 | 3.0 |
scikit-učit se | 1.1 | 1.1 |
geografická a | 7.3 | 7.3 |
tensorflow | 2.9 | 2.12 |
Časové_číslo | 1.2 | 1.2 |
xgboost | 1.6 | 1.6 |
Kromě knihoven uvedených v tabulkách zahrnují běhová prostředí mnoho dalších užitečných knihoven. Chcete-li zobrazit úplný seznam, vyberte kartu Spravovat ve vašem projektu, klepněte na volbu Šablony, vyberte kartu Prostředí a poté klepněte na jedno z uvedených prostředí.
Šablony prostředí CPU
Pro notebooky můžete vybrat libovolnou z následujících výchozích šablon prostředí CPU. Výchozí šablony prostředí jsou uvedeny v části Šablony na stránce Prostředí na kartě Spravovat vašeho projektu.
DO
Označuje, že šablony prostředí zahrnují knihovny CPLEX a DOcplex pro modelování a řešení problémů s optimalizací rozhodnutí, které přesahují složitost, kterou podporuje Community Edition knihoven v jiných výchozích prostředích Python . Viz zápisníkyDecision Optimization.
NLP
Označuje, že šablony prostředí zahrnují knihovnu Watson Natural Language Processing s předem natrénovanými modely pro úlohy zpracování jazyka, které můžete spustit na nestrukturovaných datech. Viz Použití knihovny Watson Natural Language Processing. Toto výchozí prostředí by mělo být dostatečně velké pro spuštění předem natrénovaných modelů.
Název | Konfigurace hardwaru | Rychlost v CUH za hodinu |
---|---|---|
Běhové prostředí 22.2 v systému Python 3.10 XXS | 1 vCPU a 4 GB RAM | 0.5 |
Běhové prostředí 22.2 v systému Python 3.10 XS | 2 vCPU a 8 GB RAM | 1 |
Běhové prostředí 22.2 v systému Python 3.10 S | 4 vCPU a 16 GB RAM | 2 |
Běhové prostředí 23.1 v systému Python 3.10 XXS | 1 vCPU a 4 GB RAM | 0.5 |
Běhové prostředí 23.1 v systému Python 3.10 XS | 2 vCPU a 8 GB RAM | 1 |
Běhové prostředí 23.1 v systému Python 3.10 S | 4 vCPU a 16 GB RAM | 2 |
DO + NLP Runtime 22.2 na Python 3.10 XS | 2 vCPU a 8 GB RAM | 6 |
Běhové prostředí NLP 23.1 v systému Python 3.10 XS | 2 vCPU a 8 GB RAM | 6 |
Běhové prostředí 22.2 na R 4.2 S | 4 vCPU a 16 GB RAM | 2 |
Běhové prostředí 23.1 na R 4.2 S | 4 vCPU a 16 GB RAM | 2 |
Měli byste zastavit všechna aktivní běhová prostředí CPU, když je již nepotřebujete, abyste zabránili spotřebování jednotek kapacity navíc (CUHs). Viz Časový limit nečinnosti CPU.
Notebooky a prostředí CPU
Když otevřete zápisník v režimu úprav v běhovém prostředí CPU, právě jedna interaktivní relace se připojí k jádru Jupyter pro jazyk zápisníku a běhové prostředí prostředí, které jste vybrali. Běhové prostředí je spuštěno pro jednoho uživatele a ne pro zápisník. To znamená, že pokud otevřete druhý zápisník se stejnou šablonou prostředí ve stejném projektu, spustí se druhé jádro ve stejném běhovém prostředí. Běhové prostředky jsou sdíleny jádry Jupyter, které spouštíte v běhovém prostředí. Běhové prostředky jsou také sdíleny, pokud má CPU GPU.
Chcete-li se vyhnout sdílení běhových prostředí, ale chcete použít stejnou šablonu prostředí pro více notebooků v projektu, měli byste vytvořit vlastní šablony prostředí se stejnými specifikacemi a přidružit každý zápisník k vlastní šabloně.
V případě potřeby můžete restartovat nebo se znovu připojit k jádru. Při restartování jádra je jádro zastaveno a poté znovu spuštěno ve stejné relaci, ale všechny výsledky provedení jsou ztraceny. Po opětovném připojení k jádru po ztrátě připojení je zápisník připojen ke stejné relaci jádra a všechny předchozí výsledky provedení, které byly uloženy, jsou k dispozici.
Šablony prostředí Spark
Můžete vybrat libovolnou z následujících výchozích šablon prostředí Spark pro notebooky. Výchozí šablony prostředí jsou uvedeny v části Šablony na stránce Prostředí na kartě Spravovat vašeho projektu.
Název | Konfigurace hardwaru | Rychlost v CUH za hodinu |
---|---|---|
Výchozí Spark 3.3 & R 4.2 | 2 prováděcí moduly: 1 vCPU a 4 GB RAM; ovladač: 1 vCPU a 4 GB RAM |
1 |
Výchozí Spark 3.4 & R 4.2 | 2 prováděcí moduly: 1 vCPU a 4 GB RAM; ovladač: 1 vCPU a 4 GB RAM |
1 |
Měli byste zastavit všechna aktivní běhová prostředí Spark, když je již nepotřebujete, abyste zabránili spotřebování jednotek kapacity navíc (CUHs). Viz Časový limit nečinnosti Spark.
Velká prostředí Spark
Máte-li plán Watson Studio Professional, můžete vytvořit vlastní šablony prostředí pro větší prostředí Spark.
Profesionální uživatelé plánu mohou mít až 35 exekutorů a mohou si vybrat z následujících možností jak pro řidiče, tak pro exekutora:
Konfigurace hardwaru |
---|
1 vCPU a 4 GB RAM |
1 vCPU a 8 GB RAM |
1 vCPU a 12 GB RAM |
Rychlost CUH za hodinu se zvyšuje o 0.5 pro každé přidané vCPU . Například 1x Driver: 3vCPU with 12GB of RAM
a 4x Executors: 2vCPU with 8GB of RAM
se rovná (3 + (4 * 2)) = 11 vCPUs
a 5.5 CUH
.
Notebooky a prostředí Spark
Můžete vybrat stejnou šablonu prostředí Spark pro více než jeden zápisník. Každý zápisník přidružený k tomuto prostředí má svůj vlastní vyhrazený klastr Spark a žádné prostředky nejsou sdíleny.
Když spustíte prostředí Spark, budete potřebovat další prostředky pro démony Jupyter Enterprise Gateway, Spark Master a Spark worker. Tyto další prostředky představují 1 vCPU a 2 GB RAM pro ovladač a 1 GB RAM pro každého exekutora. Tyto dodatečné prostředky musíte vzít v úvahu při výběru velikosti hardwaru prostředí Spark. Například: pokud vytvoříte zápisník a vyberete volbu Default Spark 3.3 & Python 3.10
, klastr Spark spotřebuje 3 vCPU a 12 GB RAM, ale protože 1 vCPU a 4 GB RAM jsou požadovány pro další prostředky, zbývající prostředky pro zápisník jsou 2 vCPU a 8 GB RAM.
Systém souborů na klastru Spark
Chcete-li sdílet soubory mezi exekutory a ovladačem nebo jádrem klastru Spark, můžete použít sdílený systém souborů na adrese /home/spark/shared
.
Chcete-li používat vlastní knihovny, můžete je uložit do adresáře /home/spark/shared/user-libs/
. V adresáři /home/spark/shared/user-libs/
jsou čtyři podadresáře, které jsou předkonfigurované, aby byly k dispozici pro běhová prostředí Python a R nebo Java.
V následujících tabulkách jsou uvedeny předkonfigurované podadresáře, do kterých můžete přidat vlastní libarie.
Adresář | Typ knihovny |
---|---|
/home/spark/shared/user-libs/python3/ |
Python 3 knihovny |
/home/spark/shared/user-libs/R/ |
Balíky R |
/home/spark/shared/user-libs/spark2/ |
Soubory JAR prostředí Java |
Chcete-li sdílet knihovny mezi ovladačem Spark a exekutory, postupujte takto:
- Stáhněte si vlastní knihovny nebo soubory JAR do příslušného předkonfigurovaného adresáře.
- Restartujte jádro z nabídky zápisníku klepnutím na volbu Jádro > Restartovat jádro. Tím se načtou vaše vlastní knihovny nebo soubory JAR do Spark.
Všimněte si, že tyto knihovny nejsou trvalé. Když zastavíte běhové prostředí a restartujete jej později, musíte znovu načíst knihovny.
Šablony prostředí GPU
Pro zápisníky můžete vybrat následující šablonu prostředí GPU. Šablony prostředí jsou uvedeny v části Šablony na stránce Prostředí na kartě Spravovat vašeho projektu.
Názvy šablon prostředí GPU označují sílu akcelerátoru. Šablony prostředí GPU zahrnují knihovnu Watson Natural Language Processing s předem natrénovanými modely pro úlohy zpracování jazyka, které můžete spustit na nestrukturovaných datech. Viz Použití knihovny Watson Natural Language Processing.
~ Označuje, že šablona prostředí vyžaduje profesionální plán Watson Studio . Viz Plány nabídky.
Název | Konfigurace hardwaru | Rychlost v CUH za hodinu |
---|---|---|
GPU V100 běhový modul 22.2 v systému Python 3.10 ~ | 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) | 68 |
GPU V100 běhový modul 23.1 v systému Python 3.10 ~ | 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) | 68 |
GPU 2xV100 běhový modul 22.2 v systému Python 3.10 ~ | 80 vCPU a 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) | 136 |
GPU 2xV100 běhový modul 23.1 v systému Python 3.10 ~ | 80 vCPU a 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) | 136 |
Měli byste zastavit všechna aktivní běhová prostředí GPU, když je již nepotřebujete, abyste zabránili spotřebování jednotek kapacity navíc (CUHs). Viz Časový limit nečinnosti GPU.
Notebooky a prostředí GPU
Prostředí GPU pro notebooky jsou k dispozici pouze v oblasti služeb Dallas IBM Cloud .
Můžete vybrat stejnou šablonu prostředí Python a GPU pro více než jeden zápisník v projektu. V tomto případě je každé jádro zápisníku spuštěno ve stejné běhové instanci a prostředky jsou sdíleny. Chcete-li se vyhnout sdílení běhových prostředků, vytvořte více vlastních šablon prostředí se stejnými specifikacemi a přidružte každý zápisník k vlastní šabloně.
Výchozí hardwarové specifikace pro přidělení skóre modelům pomocí produktu Watson Machine Learning
Když vyvoláte rozhraní API Watson Machine Learning v rámci notebooku, spotřebujete výpočetní prostředky ze služby Watson Machine Learning a také výpočetní prostředky pro jádro notebooku.
Při připojení k produktu Watson Machine Learning můžete vybrat libovolnou z následujících specifikací hardwaru a vytvořit implementaci.
Velikost kapacity | Konfigurace hardwaru | Rychlost v CUH za hodinu |
---|---|---|
Velmi malý | 1x4 = 1 vCPU a 4 GB RAM | 0.5 |
Malý | 2x8 = 2 vCPU a 8 GB RAM | 1 |
Střední | 4x16 = 4 vCPU a 16 GB RAM | 2 |
Velký | 8x32 = 8 vCPU a 32 GB RAM | 4 |
Datové soubory v prostředí zápisníku
Pokud pracujete s velkými datovými sadami, měli byste datové sady uložit do menších diskových bloků v produktu IBM Cloud Object Storage přidruženém k vašemu projektu a zpracovat data v diskových blocích v zápisníku. Případně byste měli spustit zápisník v prostředí Spark.
Uvědomte si, že systém souborů každého běhového prostředí je dočasný a nelze jej sdílet mezi prostředími. Chcete-li trvale uchovat soubory v produktu Watson Studio, měli byste použít produkt IBM Cloud Object Storage. Nejjednodušším způsobem, jak použít produkt IBM Cloud Object Storage v noteboocích v projektech, je využít balík project-lib
pro Python nebo balík project-lib
pro R.
Vypočítat využití podle služby
Běhová prostředí zápisníku spotřebovávají výpočetní prostředky jako CUH z produktu Watson Studiopři spuštění výchozího nebo vlastního prostředí. Spotřebu CUH produktu Watson Studio v projektu můžete monitorovat na stránce Využití prostředků na kartě Spravovat projektu.
Zápisníky mohou také spotřebovat CUH ze služby Watson Machine Learning , když zápisník vyvolá Watson Machine Learning pro skóre modelu. Můžete monitorovat celkovou měsíční spotřebu CUH pro službu Watson Machine Learning na stránce Využití prostředků na kartě Spravovat projektu.
Sledování spotřeby CUH pro Watson Machine Learning v notebooku
Chcete-li vypočítat hodiny jednotky kapacity spotřebované přenosným počítačem, spusťte v přenosném počítači tento kód:
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
Například:
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
vrací 5.49 CUH
Podrobnosti viz část Instance služeb v dokumentaci IBM Watson Machine Learning API .
Rozsah běhového prostředí
Běhová prostředí jsou vždy vymezena na šablonu prostředí a uživatele v rámci projektu. Pokud různí uživatelé v projektu pracují se stejným prostředím, každý uživatel obdrží samostatné běhové prostředí.
Pokud vyberete spuštění verze zápisníku jako naplánované úlohy, každá naplánovaná úloha se vždy spustí ve vyhrazeném běhovém prostředí. Běhové prostředí se zastaví po dokončení úlohy.
Změna prostředí zápisníku
Prostředí můžete přepínat z různých důvodů, například můžete:
- Vyberte prostředí s vyšším výkonem zpracování nebo více pamětí RAM.
- Změna z používání prostředí bez Spark na prostředí Spark
Prostředí zápisníku můžete změnit pouze v případě, že je zápisník odemčený. Můžete změnit prostředí:
Ze zápisníku otevřeného v režimu úprav:
- Uložte změny zápisníku.
- Klepněte na ikonu Informace o zápisníku () na panelu nástrojů zápisníku a poté klepněte na volbu Prostředí.
- Ze seznamu vyberte jinou šablonu s výpočetním výkonem a kapacitou paměti.
- Vyberte volbu Změnit prostředí. Tím se zastaví aktivní běhové prostředí a spustí se nově vybrané prostředí.
Na stránce Aktiva vašeho projektu:
- Vyberte zápisník v sekci Zápisníky, klepněte na volbu Akce > Změnit prostředí a vyberte jiné prostředí. Před změnou prostředí musí být jádro zastaveno. Toto nové běhové prostředí bude převedeno na instanci při příštím otevření zápisníku pro úpravy.
V úloze zápisníku úpravou šablony úlohy. Viz Úprava nastavení úlohy.
Další kroky
Další informace
Nadřízené téma: Vypočítat prostředky pro nástroje