Translation not up to date
Bir projedeki not defteri düzenleyicisinde bir not defteri çalıştırdığınızda, yürütme ortamı için bilgi işlem kaynaklarını tanımlayan bir ortam şablonu seçersiniz. Ortam şablonu, donanım yapılandırmasının tipini, boyutunu ve gücünü ve yazılım yapılandırmasını belirtir. Dizüstü bilgisayarlar için ortam şablonları, desteklenen bir Python ve R dilini içerir.
- Ortam tipleri
- Çalıştırma zamanı yayınları
- CPU ortamı şablonları
- Spark ortam şablonları
- GPU ortam şablonları
- Watson Machine Learning
- Not defteri ortamlarındaki veri dosyaları
- Kullanımı hizmete göre hesapla
- Çalıştırma zamanı kapsamı
- Ortamların değiştirilmesi
Ortam tipleri
Not defterini çalıştırmak için bu ortam tiplerini kullanabilirsiniz:
- Standart iş yükleri için Anaconda CPU ortamları .
- Platform ya da diğer hizmetler tarafından sağlanan paralel işleme için Spark ortamları .
- Yoğun bilgi işlem gerektiren makine öğrenimi modelleri için GPU ortamları .
Not defterlerine ilişkin çoğu ortam tipinin varsayılan ortam şablonları vardır, bu nedenle hızlı bir şekilde başlayabilirsiniz. Aksi takdirde, özel ortam şablonları oluşturabilirsiniz.
Ortam tipi | Varsayılan şablonlar | Özel şablonlar |
---|---|---|
Anakonda CPU 'su | ✓ | ✓ |
Kıvılcım kümeleri | ✓ | ✓ |
GPU | ✓ | ✓ |
Çalıştırma zamanı yayınları
Not defterlerine ilişkin varsayılan ortamlar, çalıştırma zamanı yayın düzeyinin bir üyesi olarak eklenir ve Runtime
önekinin ardından yayın yılı ve yayın sürümü eklenir.
Çalıştırma zamanı yayını, anahtar veri bilimi kitaplıklarının ve dil sürümünün bir listesini belirtir; örneğin, Python 3.10. Bir çalıştırma zamanı yayın düzeyinin tüm ortamları, yayın düzeyinde tanımlanan kitaplık sürümlerine dayalı olarak oluşturulur ve böylece tüm veri bilimi uygulamalarında veri bilimi kitaplıklarının tutarlı bir şekilde kullanılmasını sağlar.
Runtime 22.2
ve Runtime 23.1
yayın düzeyleri Python 3.10 ve R 4.2için kullanılabilir.
Bir çalıştırma zamanı yayını desteklenirken IBM , kitaplık sürümlerini güvenlik gereksinimlerini karşılayacak şekilde günceller. Bu güncellemelerin kitaplıkların <Major>.<Minor>
sürümlerini değil, yalnızca <Patch>
sürümlerini değiştireceğini unutmayın. Bu, not defteri varlıklarınızın çalışmaya devam etmesini sağlar.
Çalıştırma zamanlarında bulunan kitaplık paketleri
Watson Studio çalıştırma zamanlarında bulunan popüler veri bilimi kitaplığı paketlerinin belirli sürümleri için şu tablolara bakın:
Kitaplık | Python 3.10 üzerinde Runtime 22.2 | Python 3.10 üzerinde çalıştırma zamanı 23.1 |
---|---|---|
Keras | 2.9 | 2.12 |
Lale. | 0.7 | 0.7 |
LightGBM | 3.3 | 3.3 |
NumPy | 1.23 | 1.23 |
ONNX | 1.12 | 1.13 |
ONNX Çalıştırma Zamanı | 1.12 | 1.13 |
OpenCV | 4.6 | 4.7 |
pandalar | 1.4 | 1.5 |
PyArrow | 8.0 | 11.0 |
PyTorch | 1.12 | 2.0 |
scikit-öğrenme | 1.1 | 1.1 |
SciPy | 1.8 | 1.10 |
SnapML | 1.8 | 1.13 |
TensorFlow | 2.9 | 2.12 |
XGBoost | 1.6 | 1.6 |
Kitaplık | R 4.2 üzerinde çalıştırma zamanı 22.2 | R 4.2 üzerinde çalıştırma zamanı 23.1 |
---|---|---|
Ok | 8.0 | 11.0 |
Otomobil | 3.0 | 3.0 |
Düzeltme işareti | 6.0 | 6.0 |
catools | 1.18 | 1.18 |
Tahmin | 8.16 | 8.16 |
ggplot2 | 3.3 | 3.3 |
glmnet | 4.1 | 4.1 |
hmisc | 4.7 | 4.7 |
keras | 2.9 | 2.12 |
lme4 | 1.1 | 1.1 |
mvtnorm | 1.1 | 1.1 |
pandoc | 2.12 | 2.12 |
psikoloji | 2.2 | 2.2 |
Python | 3.10 | 3.10 |
rasgele orman | 4.7 | 4.7 |
yeniden zamanla | 1.25 | 1.25 |
sandviç | 3.0 | 3.0 |
scikit-öğrenme | 1.1 | 1.1 |
uzamsal | 7.3 | 7.3 |
tensorflow | 2.9 | 2.12 |
tidyr | 1.2 | 1.2 |
xgboost | 1.6 | 1.6 |
Çizelgelerde listelenen kitaplıklara ek olarak, yürütme ortamları diğer yararlı kitaplıkları da içerir. Tam listeyi görmek için, projenizde Yönet sekmesini seçin, ardından Şablonlar' ı tıklatın, Ortamlar sekmesini seçin ve listelenen ortamlardan birini tıklatın.
CPU ortam şablonları
Not defterleri için aşağıdaki varsayılan CPU ortamı şablonlarından herhangi birini seçebilirsiniz. Varsayılan ortam şablonları, projenizin Yönet sekmesindeki Ortamlar sayfasında Şablonlar altında listelenir.
DO
Ortam şablonlarının, diğer varsayılan Python ortamlarındaki kitaplıkların Community Edition tarafından desteklenen karmaşıklığı aşan karar optimizasyonu sorunlarını modellemek ve çözmek için CPLEX ve DOcplex kitaplıklarını içerdiğini gösterir. Bkz. Decision Optimization not defterleri.
NLP
Ortam şablonlarının, yapılandırılmamış veriler üzerinde çalıştırabileceğiniz dil işleme görevleri için önceden eğitilmiş modellerle birlikte Watson Natural Language Processing (Doğal Dil İşleme) kitaplığını içerdiğini gösterir. Bkz. Watson Natural Language Processing kitaplığının kullanılması. Bu varsayılan ortam, önceden eğitilmiş modelleri çalıştıracak kadar büyük olmalıdır.
Ad | Donanım yapılandırması | Saat başına CUH oranı |
---|---|---|
Python 3.10 XXS üzerinde çalıştırma zamanı 22.2 | 1 vCPU ve 4 GB RAM | 0.5 |
Python 3.10 XS üzerinde çalıştırma zamanı 22.2 | 2 vCPU ve 8 GB RAM | 1 |
Python 3.10 S üzerinde çalıştırma zamanı 22.2 | 4 vCPU ve 16 GB RAM | 2 |
Python 3.10 XXS üzerinde çalıştırma zamanı 23.1 | 1 vCPU ve 4 GB RAM | 0.5 |
Python 3.10 XS üzerinde çalıştırma zamanı 23.1 | 2 vCPU ve 8 GB RAM | 1 |
Python 3.10 S üzerinde çalıştırma zamanı 23.1 | 4 vCPU ve 16 GB RAM | 2 |
Python 3.10 XS üzerinde DO + NLP Runtime 22.2 | 2 vCPU ve 8 GB RAM | 6 |
Python 3.10 XS üzerinde NLP Çalıştırma Zamanı 23.1 | 2 vCPU ve 8 GB RAM | 6 |
R 4.2 üzerinde çalıştırma zamanı 22.2 | 4 vCPU ve 16 GB RAM | 2 |
R 4.2 üzerinde çalıştırma zamanı 23.1 | 4 vCPU ve 16 GB RAM | 2 |
Ekstra kapasite birim saatleri (CUH) kullanımını önlemek için artık bunlara gereksinim duymadığınızda tüm etkin CPU çalıştırma zamanlarını durdurmanız gerekir. Bkz. CPU boşta durma zamanaşımı.
Dizüstü bilgisayarlar ve CPU ortamları
Bir not defterini CPU yürütme ortamında düzenleme kipinde açtığınızda, seçtiğiniz not defteri dili ve ortam çalıştırma zamanı için Jüpiter çekirdeğine tam olarak bir etkileşimli oturum bağlanır. Çalıştırma zamanı, not defteri başına değil, tek kullanıcı başına başlatılır. Başka bir deyişle, aynı projede aynı ortam şablonuyla ikinci bir not defteri açarsanız, aynı çalıştırma zamanında ikinci bir çekirdek başlatılır. Çalıştırma zamanı kaynakları, çalıştırma zamanında başladığınız Jüpiter çekirdekleri tarafından paylaşılır. Çalıştırma zamanı kaynakları, CPU ' nun GPU 'su varsa da paylaşılır.
Yürütme ortamlarını paylaşmaktan kaçınmak, ancak bir projedeki birden çok not defteri için aynı ortam şablonunu kullanmak istiyorsanız, aynı belirtimlere sahip özel ortam şablonları oluşturmalı ve her not defterini kendi şablonuyla ilişkilendirmelisiniz.
Gerekirse, çekirdeği yeniden başlatabilir ya da çekirdeğe yeniden bağlanabilirsiniz. Bir çekirdeği yeniden başlattığınızda, çekirdek durdurulur ve aynı oturumda yeniden başlatılır, ancak tüm yürütme sonuçları kaybolur. Bağlantıyı kaybettikten sonra bir çekirdeğe yeniden bağlandığınızda, not defteri aynı çekirdek oturumuna bağlanır ve kaydedilen önceki tüm yürütme sonuçları kullanılabilir.
Spark ortam şablonları
Not defterleri için aşağıdaki varsayılan Spark ortamı şablonlarından herhangi birini seçebilirsiniz. Varsayılan ortam şablonları, projenizin Yönet sekmesindeki Ortamlar sayfasında Şablonlar altında listelenir.
Ad | Donanım yapılandırması | Saat başına CUH oranı |
---|---|---|
Varsayılan Spark 3.3 & R 4.2 | Her biri: 1 vCPU ve 4 GB RAM; Sürücü: 1 vCPU ve 4 GB RAM |
1 |
Varsayılan Spark 3.4 & R 4.2 | Her biri: 1 vCPU ve 4 GB RAM; Sürücü: 1 vCPU ve 4 GB RAM |
1 |
Ekstra kapasite birim saatleri (CUH) tüketimini önlemek için artık bunlara gereksinim duymadığınızda tüm etkin Spark çalıştırma zamanlarını durdurmanız gerekir. Bkz. Spark boşta durma zamanaşımı.
Büyük Spark ortamları
Watson Studio Professional planınız varsa, daha büyük Spark ortamları için özel ortam şablonları oluşturabilirsiniz.
Profesyonel plan kullanıcıları 35 'e kadar yürütücü kullanabilir ve hem sürücü hem de yürütücü için aşağıdaki seçenekler arasından seçim yapabilir:
Donanım yapılandırması |
---|
1 vCPU ve 4 GB RAM |
1 vCPU ve 8 GB RAM |
1 vCPU ve 12 GB RAM |
CUH/saat hızı, eklenen her vCPU için 0.5 artar. Örneğin, 1x Driver: 3vCPU with 12GB of RAM
ve 4x Executors: 2vCPU with 8GB of RAM
, (3 + (4 * 2)) = 11 vCPUs
ve 5.5 CUH
olarak belirtilir.
Dizüstü bilgisayarlar ve Spark ortamları
Birden çok not defteri için aynı Spark ortam şablonunu seçebilirsiniz. Bu ortamla ilişkili her dizüstü bilgisayarın kendi özel olarak ayrılmış Spark kümesi vardır ve hiçbir kaynak paylaşılmaz.
Bir Spark ortamı başlattığınızda, Jupyter Enterprise Gateway, Spark Master ve Spark işçi cinleri için ek kaynaklar gerekir. Bu ekstra kaynaklar, sürücü için 1 vCPU ve 2 GB RAM ve her bir yürütücü için 1 GB RAM 'dir. Bir Spark ortamının donanım boyutunu seçerken bu ekstra kaynakları göz önünde bulundurmanız gerekir. Örneğin: Bir dizüstü bilgisayar oluşturur ve Default Spark 3.3 & Python 3.10
seçeneğini belirlerseniz, Spark kümesi 3 vCPU ve 12 GB RAM tüketir, ancak ek kaynaklar için 1 vCPU ve 4 GB RAM gerekli olduğu için, dizüstü bilgisayar için kalan kaynaklar 2 vCPU ve 8 GB RAM 'dir.
Bir Spark kümesindeki dosya sistemi
Dosyaları bir Spark kümesinin yürütücüsü ve sürücüsü ya da çekirdeği arasında paylaşmak istiyorsanız, /home/spark/shared
adresindeki paylaşılan dosya sistemini kullanabilirsiniz.
Kendi özel kitaplıklarınızı kullanmak istiyorsanız, bunları /home/spark/shared/user-libs/
altında saklayabilirsiniz. /home/spark/shared/user-libs/
altında, Python ve R ya da Java çalıştırma zamanlarının kullanımına sunulmak üzere önceden yapılandırılmış dört alt dizin vardır.
Aşağıdaki çizelgelerde, özel libarilerinizi ekleyebileceğiniz önceden yapılandırılmış alt dizinler listelenir.
Dizin | Kitaplık tipi |
---|---|
/home/spark/shared/user-libs/python3/ |
Python 3 kitaplık |
/home/spark/shared/user-libs/R/ |
R paketleri |
/home/spark/shared/user-libs/spark2/ |
Java JAR dosyaları |
Bir Spark sürücüsü ve yürütücü arasında kitaplıkları paylaşmak için:
- Özel kitaplıklarınızı ya da JAR dosyalarınızı önceden yapılandırılmış uygun dizine yükleyin.
- Kernel > Restart Kernel(Çekirdek > Kernel 'i Yeniden Başlat) seçeneklerini tıklatarak, çekirdeği not defteri menüsünden yeniden başlatın. Bu, özel kitaplıklarınızı ya da JAR dosyalarınızı Spark 'ta yükler.
Bu kitaplıkların kalıcı olarak saklanmadığına dikkat edin. Ortam yürütme ortamını durdurup daha sonra yeniden başlattığınızda, kitaplıkları yeniden yüklemeniz gerekir.
GPU ortam şablonları
Not defterleri için aşağıdaki GPU ortam şablonunu seçebilirsiniz. Ortam şablonları, projenizin Yönet sekmesindeki Ortamlar sayfasında Şablonlar altında listelenir.
GPU ortam şablonu adları hızlandırıcının gücünü gösterir. GPU ortam şablonları, yapısal olmayan veriler üzerinde çalıştırabileceğiniz dil işleme görevleri için önceden eğitilmiş modellerle birlikte Watson Natural Language Processing (Doğal Dil İşleme) kitaplığını içerir. Bkz. Watson Natural Language Processing kitaplığının kullanılması.
~ Ortam şablonunun Watson Studio Professional planını gerektirdiğini gösterir. Bkz. Ürün planları.
Ad | Donanım yapılandırması | Saat başına CUH oranı |
---|---|---|
Python 3.10 ~ üzerinde GPU V100 Runtime 22.2 | 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) | 75 |
Python 3.10 ~ üzerinde GPU V100 Çalıştırma Zamanı 23.1 | 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) | 75 |
Python 3.10 ~ üzerinde GPU 2xV100 Runtime 22.2 | 80 vCPU ve 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) | 136 |
Python 3.10 ~ üzerinde GPU 2xV100 Çalıştırma Zamanı 23.1 | 80 vCPU ve 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) | 136 |
Ekstra kapasite birim saatleri (CUH) tüketimini önlemek için artık bunlara gereksinim duymadığınızda tüm etkin GPU çalıştırma zamanlarını durdurmanız gerekir. Bkz. GPU boşta durma zamanaşımı.
Dizüstü bilgisayarlar ve GPU ortamları
Not defterlerine ilişkin GPU ortamları yalnızca Dallas IBM Cloud hizmet bölgesinde bulunur.
Bir projede birden çok not defteri için aynı Python ve GPU ortam şablonunu seçebilirsiniz. Bu durumda, her not defteri çekirdeği aynı çalıştırma zamanı örneğinde çalışır ve kaynaklar paylaşılır. Çalıştırma zamanı kaynaklarının paylaşılmasını önlemek için aynı belirtimlere sahip birden çok özel ortam şablonu oluşturun ve her bir not defterini kendi şablonuyla ilişkilendirin.
Watson Machine Learning ile puanlama modelleri için varsayılan donanım belirtimleri
Bir dizüstü bilgisayarda Watson Machine Learning API 'sini çağırdığınızda, Watson Machine Learning hizmetinden ve dizüstü çekirdeğe ilişkin bilgi işlem kaynaklarından bilgi işlem kaynaklarını kullanıyorsunuz.
Watson Machine Learning ' e bağlandığınızda ve bir devreye alma oluşturduğunuzda aşağıdaki donanım belirtimlerinden herhangi birini seçebilirsiniz.
Kapasite boyutu | Donanım yapılandırması | Saat başına CUH oranı |
---|---|---|
Çok küçük | 1x4 = 1 vCPU ve 4 GB RAM | 0.5 |
Küçük | 2x8 = 2 vCPU ve 8 GB RAM | 1 |
Orta | 4x16 = 4 vCPU ve 16 GB RAM | 2 |
Büyük | 8x32 = 8 vCPU ve 32 GB RAM | 4 |
Not defteri ortamlarındaki veri dosyaları
Büyük veri kümeleriyle çalışıyorsanız, projenizle ilişkili IBM Cloud Object Storage içindeki veri kümelerini daha küçük parçalar halinde depolamanız ve verileri dizüstü bilgisayardaki parçalar halinde işlemeniz gerekir. Diğer bir yöntem olarak, not defterini bir Spark ortamında çalıştırmanız gerekir.
Her yürütme ortamının dosya sisteminin kalıcı olmadığını ve ortamlar arasında paylaşılamayacağını unutmayın. Watson Studio' da dosyaları kalıcı kılmak için IBM Cloud Object Storagekullanmalısınız. IBM Cloud Object Storage ürününü projelerdeki dizüstü bilgisayarlarda kullanmanın en kolay yolu project-lib
paket Python ya da R için project-lib
paketiürününden yararlanmaktır.
Hizmete göre kullanımı hesapla
Not defteri çalıştırma zamanları, varsayılan ya da özel ortamları çalıştırırken Watson Studio' dan CUH olarak bilgi işlem kaynaklarını kullanır. Projenin Yönet sekmesindeki Kaynak kullanımı sayfasında projedeki Watson Studio CUH tüketimini izleyebilirsiniz.
Not defterleri, not defteri bir modeli puanlamak için Watson Machine Learning 'i çağırdığında Watson Machine Learning hizmetinden CUH' u da kullanabilir. Projenin Yönet sekmesindeki Kaynak kullanımı sayfasında Watson Machine Learning hizmeti için toplam aylık CUH tüketimini izleyebilirsiniz.
Bir dizüstü bilgisayarda Watson Machine Learning için CUH tüketimini izleyin
Bir dizüstü bilgisayar tarafından tüketilen kapasite birim saatlerini hesaplamak için bu kodu dizüstü bilgisayarda çalıştırın:
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
Örneğin:
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
5.49 CUH değerini döndürür
Ayrıntılar için IBM Watson Machine Learning API belgelerinin Hizmet Eşgörünümleri bölümüne bakın.
Yürütme ortamı kapsamı
Ortam yürütme ortamları her zaman bir ortam şablonuyla ve bir proje içindeki bir kullanıcıyla kapsanmıştır. Bir projedeki farklı kullanıcılar aynı ortamla çalışırsa, her kullanıcı ayrı bir yürütme ortamı alır.
Bir not defterinin bir sürümünü zamanlanmış iş olarak çalıştırmayı seçerseniz, zamanlanmış her iş her zaman özel olarak ayrılmış bir çalıştırma zamanında başlatılır. İş tamamlandığında çalıştırma zamanı durdurulur.
Not defteri ortamının değiştirilmesi
Ortamları farklı nedenlerle değiştirebilirsiniz; örneğin, şunları yapabilirsiniz:
- Daha fazla işleme gücüne ya da daha fazla RAM ' e sahip bir ortam seçin
- Spark olmadan bir ortamdan Spark ortamına dönüşme
Not defterinin ortamını yalnızca, defterin kilidi açılırsa değiştirebilirsiniz. Ortamı değiştirebilirsiniz:
Düzenleme kipinde açılan not defterinden:
- Not defteri değişikliklerinizi kaydedin.
- Not defteri araç çubuğundan Not Defteri Bilgileri simgesini () tıklatın ve ardından Ortam' ı tıklatın.
- Listeden bilgi işlem gücü ve bellek kapasitesine sahip başka bir şablon seçin.
- Change environment(Ortamı değiştir) seçeneğini belirleyin. Bu, etkin yürütme ortamını durdurur ve yeni seçilen ortamı başlatır.
Projenizin Varlıklar sayfasından:
- Not defterleri bölümünde not defterini seçin, İşlemler > Ortamı Değiştir seçeneklerini tıklatın ve başka bir ortam seçin. Ortamı değiştirebilmeniz için çekirdek durdurulmalıdır. Bu yeni yürütme ortamı, not defterinin düzenlenmek üzere bir sonraki açılışında somutlaştırılacaktır.
İş şablonunu düzenleyerek not defteri işinde. Bkz. İş ayarlarının düzenlenmesi.
Sonraki adımlar
Daha fazla bilgi
Üst konu: Araçlar için kaynakları hesapla