0 / 0
Go back to the English version of the documentation
Projelerdeki not defteri düzenleyicisi için kaynak seçeneklerini hesapla
Last updated: 09 Kas 2023
Projelerdeki not defteri düzenleyicisi için kaynak seçeneklerini hesapla

Bir projedeki not defteri düzenleyicisinde bir not defteri çalıştırdığınızda, yürütme ortamı için bilgi işlem kaynaklarını tanımlayan bir ortam şablonu seçersiniz. Ortam şablonu, donanım yapılandırmasının tipini, boyutunu ve gücünü ve yazılım yapılandırmasını belirtir. Dizüstü bilgisayarlar için ortam şablonları, desteklenen bir Python ve R dilini içerir.

Ortam tipleri

Not defterini çalıştırmak için bu ortam tiplerini kullanabilirsiniz:

Not defterlerine ilişkin çoğu ortam tipinin varsayılan ortam şablonları vardır, bu nedenle hızlı bir şekilde başlayabilirsiniz. Aksi takdirde, özel ortam şablonları oluşturabilirsiniz.

Dizüstü bilgisayarlar için ortam tipleri
Ortam tipi Varsayılan şablonlar Özel şablonlar
Anakonda CPU 'su
Kıvılcım kümeleri
GPU

Çalıştırma zamanı yayınları

Not defterlerine ilişkin varsayılan ortamlar, çalıştırma zamanı yayın düzeyinin bir üyesi olarak eklenir ve Runtime önekinin ardından yayın yılı ve yayın sürümü eklenir.

Çalıştırma zamanı yayını, anahtar veri bilimi kitaplıklarının ve dil sürümünün bir listesini belirtir; örneğin, Python 3.10. Bir çalıştırma zamanı yayın düzeyinin tüm ortamları, yayın düzeyinde tanımlanan kitaplık sürümlerine dayalı olarak oluşturulur ve böylece tüm veri bilimi uygulamalarında veri bilimi kitaplıklarının tutarlı bir şekilde kullanılmasını sağlar.

Runtime 22.2 ve Runtime 23.1 yayın düzeyleri Python 3.10 ve R 4.2için kullanılabilir.

Bir çalıştırma zamanı yayını desteklenirken IBM , kitaplık sürümlerini güvenlik gereksinimlerini karşılayacak şekilde günceller. Bu güncellemelerin kitaplıkların <Major>.<Minor> sürümlerini değil, yalnızca <Patch> sürümlerini değiştireceğini unutmayın. Bu, not defteri varlıklarınızın çalışmaya devam etmesini sağlar.

Çalıştırma zamanlarında bulunan kitaplık paketleri

Watson Studio çalıştırma zamanlarında bulunan popüler veri bilimi kitaplığı paketlerinin belirli sürümleri için şu tablolara bakın:

Masa 3. Python için çeşitli Çalıştırma Zamanı yayınlarındaki paketler ve sürümleri
Kitaplık Python 3.10 üzerinde Runtime 22.2 Python 3.10 üzerinde çalıştırma zamanı 23.1
Keras 2.9 2.12
Lale. 0.7 0.7
LightGBM 3.3 3.3
NumPy 1.23 1.23
ONNX 1.12 1.13
ONNX Çalıştırma Zamanı 1.12 1.13
OpenCV 4.6 4.7
pandalar 1.4 1.5
PyArrow 8.0 11.0
PyTorch 1.12 2.0
scikit-öğrenme 1.1 1.1
SciPy 1.8 1.10
SnapML 1.8 1.13
TensorFlow 2.9 2.12
XGBoost 1.6 1.6
Masa 4. R için çeşitli Çalıştırma Zamanı yayınlarındaki paketler ve sürümleri
Kitaplık R 4.2 üzerinde çalıştırma zamanı 22.2 R 4.2 üzerinde çalıştırma zamanı 23.1
Ok 8.0 11.0
Otomobil 3.0 3.0
Düzeltme işareti 6.0 6.0
catools 1.18 1.18
Tahmin 8.16 8.16
ggplot2 3.3 3.3
glmnet 4.1 4.1
hmisc 4.7 4.7
keras 2.9 2.12
lme4 1.1 1.1
mvtnorm 1.1 1.1
pandoc 2.12 2.12
psikoloji 2.2 2.2
Python 3.10 3.10
rasgele orman 4.7 4.7
yeniden zamanla 1.25 1.25
sandviç 3.0 3.0
scikit-öğrenme 1.1 1.1
uzamsal 7.3 7.3
tensorflow 2.9 2.12
tidyr 1.2 1.2
xgboost 1.6 1.6

Çizelgelerde listelenen kitaplıklara ek olarak, yürütme ortamları diğer yararlı kitaplıkları da içerir. Tam listeyi görmek için, projenizde Yönet sekmesini seçin, ardından Şablonlar' ı tıklatın, Ortamlar sekmesini seçin ve listelenen ortamlardan birini tıklatın.

CPU ortam şablonları

Not defterleri için aşağıdaki varsayılan CPU ortamı şablonlarından herhangi birini seçebilirsiniz. Varsayılan ortam şablonları, projenizin Yönet sekmesindeki Ortamlar sayfasında Şablonlar altında listelenir.

DO Ortam şablonlarının, diğer varsayılan Python ortamlarındaki kitaplıkların Community Edition tarafından desteklenen karmaşıklığı aşan karar optimizasyonu sorunlarını modellemek ve çözmek için CPLEX ve DOcplex kitaplıklarını içerdiğini gösterir. Bkz. Decision Optimization not defterleri.

NLP Ortam şablonlarının, yapılandırılmamış veriler üzerinde çalıştırabileceğiniz dil işleme görevleri için önceden eğitilmiş modellerle birlikte Watson Natural Language Processing (Doğal Dil İşleme) kitaplığını içerdiğini gösterir. Bkz. Watson Natural Language Processing kitaplığının kullanılması. Bu varsayılan ortam, önceden eğitilmiş modelleri çalıştıracak kadar büyük olmalıdır.

Not defterleri için varsayılan CPU ortamı şablonları
Ad Donanım yapılandırması Saat başına CUH oranı
Python 3.10 XXS üzerinde çalıştırma zamanı 22.2 1 vCPU ve 4 GB RAM 0.5
Python 3.10 XS üzerinde çalıştırma zamanı 22.2 2 vCPU ve 8 GB RAM 1
Python 3.10 S üzerinde çalıştırma zamanı 22.2 4 vCPU ve 16 GB RAM 2
Python 3.10 XXS üzerinde çalıştırma zamanı 23.1 1 vCPU ve 4 GB RAM 0.5
Python 3.10 XS üzerinde çalıştırma zamanı 23.1 2 vCPU ve 8 GB RAM 1
Python 3.10 S üzerinde çalıştırma zamanı 23.1 4 vCPU ve 16 GB RAM 2
Python 3.10 XS üzerinde DO + NLP Runtime 22.2 2 vCPU ve 8 GB RAM 6
Python 3.10 XS üzerinde NLP Çalıştırma Zamanı 23.1 2 vCPU ve 8 GB RAM 6
R 4.2 üzerinde çalıştırma zamanı 22.2 4 vCPU ve 16 GB RAM 2
R 4.2 üzerinde çalıştırma zamanı 23.1 4 vCPU ve 16 GB RAM 2

Ekstra kapasite birim saatleri (CUH) kullanımını önlemek için artık bunlara gereksinim duymadığınızda tüm etkin CPU çalıştırma zamanlarını durdurmanız gerekir. Bkz. CPU boşta durma zamanaşımı.

Dizüstü bilgisayarlar ve CPU ortamları

Bir not defterini CPU yürütme ortamında düzenleme kipinde açtığınızda, seçtiğiniz not defteri dili ve ortam çalıştırma zamanı için Jüpiter çekirdeğine tam olarak bir etkileşimli oturum bağlanır. Çalıştırma zamanı, not defteri başına değil, tek kullanıcı başına başlatılır. Başka bir deyişle, aynı projede aynı ortam şablonuyla ikinci bir not defteri açarsanız, aynı çalıştırma zamanında ikinci bir çekirdek başlatılır. Çalıştırma zamanı kaynakları, çalıştırma zamanında başladığınız Jüpiter çekirdekleri tarafından paylaşılır. Çalıştırma zamanı kaynakları, CPU ' nun GPU 'su varsa da paylaşılır.

Yürütme ortamlarını paylaşmaktan kaçınmak, ancak bir projedeki birden çok not defteri için aynı ortam şablonunu kullanmak istiyorsanız, aynı belirtimlere sahip özel ortam şablonları oluşturmalı ve her not defterini kendi şablonuyla ilişkilendirmelisiniz.

Gerekirse, çekirdeği yeniden başlatabilir ya da çekirdeğe yeniden bağlanabilirsiniz. Bir çekirdeği yeniden başlattığınızda, çekirdek durdurulur ve aynı oturumda yeniden başlatılır, ancak tüm yürütme sonuçları kaybolur. Bağlantıyı kaybettikten sonra bir çekirdeğe yeniden bağlandığınızda, not defteri aynı çekirdek oturumuna bağlanır ve kaydedilen önceki tüm yürütme sonuçları kullanılabilir.

Spark ortam şablonları

Not defterleri için aşağıdaki varsayılan Spark ortamı şablonlarından herhangi birini seçebilirsiniz. Varsayılan ortam şablonları, projenizin Yönet sekmesindeki Ortamlar sayfasında Şablonlar altında listelenir.

Not defterleri için varsayılan Spark ortamı şablonları
Ad Donanım yapılandırması Saat başına CUH oranı
Varsayılan Spark 3.3 & R 4.2 Her biri: 1 vCPU ve 4 GB RAM;
Sürücü: 1 vCPU ve 4 GB RAM
1
Varsayılan Spark 3.4 & R 4.2 Her biri: 1 vCPU ve 4 GB RAM;
Sürücü: 1 vCPU ve 4 GB RAM
1

Ekstra kapasite birim saatleri (CUH) tüketimini önlemek için artık bunlara gereksinim duymadığınızda tüm etkin Spark çalıştırma zamanlarını durdurmanız gerekir. Bkz. Spark boşta durma zamanaşımı.

Büyük Spark ortamları

Watson Studio Professional planınız varsa, daha büyük Spark ortamları için özel ortam şablonları oluşturabilirsiniz.

Profesyonel plan kullanıcıları 35 'e kadar yürütücü kullanabilir ve hem sürücü hem de yürütücü için aşağıdaki seçenekler arasından seçim yapabilir:

Spark ortamları için donanım yapılandırmaları
Donanım yapılandırması
1 vCPU ve 4 GB RAM
1 vCPU ve 8 GB RAM
1 vCPU ve 12 GB RAM

CUH/saat hızı, eklenen her vCPU için 0.5 artar. Örneğin, 1x Driver: 3vCPU with 12GB of RAM ve 4x Executors: 2vCPU with 8GB of RAM , (3 + (4 * 2)) = 11 vCPUs ve 5.5 CUHolarak belirtilir.

Dizüstü bilgisayarlar ve Spark ortamları

Birden çok not defteri için aynı Spark ortam şablonunu seçebilirsiniz. Bu ortamla ilişkili her dizüstü bilgisayarın kendi özel olarak ayrılmış Spark kümesi vardır ve hiçbir kaynak paylaşılmaz.

Bir Spark ortamı başlattığınızda, Jupyter Enterprise Gateway, Spark Master ve Spark işçi cinleri için ek kaynaklar gerekir. Bu ekstra kaynaklar, sürücü için 1 vCPU ve 2 GB RAM ve her bir yürütücü için 1 GB RAM 'dir. Bir Spark ortamının donanım boyutunu seçerken bu ekstra kaynakları göz önünde bulundurmanız gerekir. Örneğin: Bir dizüstü bilgisayar oluşturur ve Default Spark 3.3 & Python 3.10seçeneğini belirlerseniz, Spark kümesi 3 vCPU ve 12 GB RAM tüketir, ancak ek kaynaklar için 1 vCPU ve 4 GB RAM gerekli olduğu için, dizüstü bilgisayar için kalan kaynaklar 2 vCPU ve 8 GB RAM 'dir.

Bir Spark kümesindeki dosya sistemi

Dosyaları bir Spark kümesinin yürütücüsü ve sürücüsü ya da çekirdeği arasında paylaşmak istiyorsanız, /home/spark/sharedadresindeki paylaşılan dosya sistemini kullanabilirsiniz.

Kendi özel kitaplıklarınızı kullanmak istiyorsanız, bunları /home/spark/shared/user-libs/altında saklayabilirsiniz. /home/spark/shared/user-libs/ altında, Python ve R ya da Java çalıştırma zamanlarının kullanımına sunulmak üzere önceden yapılandırılmış dört alt dizin vardır.

Aşağıdaki çizelgelerde, özel libarilerinizi ekleyebileceğiniz önceden yapılandırılmış alt dizinler listelenir.

Masa 5. Özel kitaplıklar için önceden yapılandırılmış alt dizinler
Dizin Kitaplık tipi
/home/spark/shared/user-libs/python3/ Python 3 kitaplık
/home/spark/shared/user-libs/R/ R paketleri
/home/spark/shared/user-libs/spark2/ Java JAR dosyaları

Bir Spark sürücüsü ve yürütücü arasında kitaplıkları paylaşmak için:

  1. Özel kitaplıklarınızı ya da JAR dosyalarınızı önceden yapılandırılmış uygun dizine yükleyin.
  2. Kernel > Restart Kernel(Çekirdek > Kernel 'i Yeniden Başlat) seçeneklerini tıklatarak, çekirdeği not defteri menüsünden yeniden başlatın. Bu, özel kitaplıklarınızı ya da JAR dosyalarınızı Spark 'ta yükler.

Bu kitaplıkların kalıcı olarak saklanmadığına dikkat edin. Ortam yürütme ortamını durdurup daha sonra yeniden başlattığınızda, kitaplıkları yeniden yüklemeniz gerekir.

GPU ortam şablonları

Not defterleri için aşağıdaki GPU ortam şablonunu seçebilirsiniz. Ortam şablonları, projenizin Yönet sekmesindeki Ortamlar sayfasında Şablonlar altında listelenir.

GPU ortam şablonu adları hızlandırıcının gücünü gösterir. GPU ortam şablonları, yapısal olmayan veriler üzerinde çalıştırabileceğiniz dil işleme görevleri için önceden eğitilmiş modellerle birlikte Watson Natural Language Processing (Doğal Dil İşleme) kitaplığını içerir. Bkz. Watson Natural Language Processing kitaplığının kullanılması.

~ Ortam şablonunun Watson Studio Professional planını gerektirdiğini gösterir. Bkz. Ürün planları.

Dizüstü bilgisayarlar için varsayılan GPU ortamı şablonları
Ad Donanım yapılandırması Saat başına CUH oranı
Python 3.10 ~ üzerinde GPU V100 Runtime 22.2 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 75
Python 3.10 ~ üzerinde GPU V100 Çalıştırma Zamanı 23.1 40 vCPU + 172 GB RAM + 1 NVIDIA TESLA V100 (1 GPU) 75
Python 3.10 ~ üzerinde GPU 2xV100 Runtime 22.2 80 vCPU ve 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136
Python 3.10 ~ üzerinde GPU 2xV100 Çalıştırma Zamanı 23.1 80 vCPU ve 344 GB RAM + 2 NVIDIA TESLA V100 (2 GPU) 136

Ekstra kapasite birim saatleri (CUH) tüketimini önlemek için artık bunlara gereksinim duymadığınızda tüm etkin GPU çalıştırma zamanlarını durdurmanız gerekir. Bkz. GPU boşta durma zamanaşımı.

Dizüstü bilgisayarlar ve GPU ortamları

Not defterlerine ilişkin GPU ortamları yalnızca Dallas IBM Cloud hizmet bölgesinde bulunur.

Bir projede birden çok not defteri için aynı Python ve GPU ortam şablonunu seçebilirsiniz. Bu durumda, her not defteri çekirdeği aynı çalıştırma zamanı örneğinde çalışır ve kaynaklar paylaşılır. Çalıştırma zamanı kaynaklarının paylaşılmasını önlemek için aynı belirtimlere sahip birden çok özel ortam şablonu oluşturun ve her bir not defterini kendi şablonuyla ilişkilendirin.

Watson Machine Learning ile puanlama modelleri için varsayılan donanım belirtimleri

Bir dizüstü bilgisayarda Watson Machine Learning API 'sini çağırdığınızda, Watson Machine Learning hizmetinden ve dizüstü çekirdeğe ilişkin bilgi işlem kaynaklarından bilgi işlem kaynaklarını kullanıyorsunuz.

Watson Machine Learning ' e bağlandığınızda ve bir devreye alma oluşturduğunuzda aşağıdaki donanım belirtimlerinden herhangi birini seçebilirsiniz.

Bir dizüstü bilgisayarda Watson Machine Learning hizmeti çağrılırken kullanılabilir donanım belirtimleri
Kapasite boyutu Donanım yapılandırması Saat başına CUH oranı
Çok küçük 1x4 = 1 vCPU ve 4 GB RAM 0.5
Küçük 2x8 = 2 vCPU ve 8 GB RAM 1
Orta 4x16 = 4 vCPU ve 16 GB RAM 2
Büyük 8x32 = 8 vCPU ve 32 GB RAM 4

Not defteri ortamlarındaki veri dosyaları

Büyük veri kümeleriyle çalışıyorsanız, projenizle ilişkili IBM Cloud Object Storage içindeki veri kümelerini daha küçük parçalar halinde depolamanız ve verileri dizüstü bilgisayardaki parçalar halinde işlemeniz gerekir. Diğer bir yöntem olarak, not defterini bir Spark ortamında çalıştırmanız gerekir.

Her yürütme ortamının dosya sisteminin kalıcı olmadığını ve ortamlar arasında paylaşılamayacağını unutmayın. Watson Studio' da dosyaları kalıcı kılmak için IBM Cloud Object Storagekullanmalısınız. IBM Cloud Object Storage ürününü projelerdeki dizüstü bilgisayarlarda kullanmanın en kolay yolu project-lib paket Python ya da R için project-lib paketiürününden yararlanmaktır.

Hizmete göre kullanımı hesapla

Not defteri çalıştırma zamanları, varsayılan ya da özel ortamları çalıştırırken Watson Studio' dan CUH olarak bilgi işlem kaynaklarını kullanır. Projenin Yönet sekmesindeki Kaynak kullanımı sayfasında projedeki Watson Studio CUH tüketimini izleyebilirsiniz.

Not defterleri, not defteri bir modeli puanlamak için Watson Machine Learning 'i çağırdığında Watson Machine Learning hizmetinden CUH' u da kullanabilir. Projenin Yönet sekmesindeki Kaynak kullanımı sayfasında Watson Machine Learning hizmeti için toplam aylık CUH tüketimini izleyebilirsiniz.

Bir dizüstü bilgisayarda Watson Machine Learning için CUH tüketimini izleyin

Bir dizüstü bilgisayar tarafından tüketilen kapasite birim saatlerini hesaplamak için bu kodu dizüstü bilgisayarda çalıştırın:

CP =  client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

Örneğin:

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

5.49 CUH değerini döndürür

Ayrıntılar için IBM Watson Machine Learning API belgelerinin Hizmet Eşgörünümleri bölümüne bakın.

Yürütme ortamı kapsamı

Ortam yürütme ortamları her zaman bir ortam şablonuyla ve bir proje içindeki bir kullanıcıyla kapsanmıştır. Bir projedeki farklı kullanıcılar aynı ortamla çalışırsa, her kullanıcı ayrı bir yürütme ortamı alır.

Bir not defterinin bir sürümünü zamanlanmış iş olarak çalıştırmayı seçerseniz, zamanlanmış her iş her zaman özel olarak ayrılmış bir çalıştırma zamanında başlatılır. İş tamamlandığında çalıştırma zamanı durdurulur.

Not defteri ortamının değiştirilmesi

Ortamları farklı nedenlerle değiştirebilirsiniz; örneğin, şunları yapabilirsiniz:

  • Daha fazla işleme gücüne ya da daha fazla RAM ' e sahip bir ortam seçin
  • Spark olmadan bir ortamdan Spark ortamına dönüşme

Not defterinin ortamını yalnızca, defterin kilidi açılırsa değiştirebilirsiniz. Ortamı değiştirebilirsiniz:

  • Düzenleme kipinde açılan not defterinden:

    1. Not defteri değişikliklerinizi kaydedin.
    2. Not defteri araç çubuğundan Not Defteri Bilgileri simgesini (Not Defteri Bilgileri simgesi) tıklatın ve ardından Ortam' ı tıklatın.
    3. Listeden bilgi işlem gücü ve bellek kapasitesine sahip başka bir şablon seçin.
    4. Change environment(Ortamı değiştir) seçeneğini belirleyin. Bu, etkin yürütme ortamını durdurur ve yeni seçilen ortamı başlatır.
  • Projenizin Varlıklar sayfasından:

    1. Not defterleri bölümünde not defterini seçin, İşlemler > Ortamı Değiştir seçeneklerini tıklatın ve başka bir ortam seçin. Ortamı değiştirebilmeniz için çekirdek durdurulmalıdır. Bu yeni yürütme ortamı, not defterinin düzenlenmek üzere bir sonraki açılışında somutlaştırılacaktır.
  • İş şablonunu düzenleyerek not defteri işinde. Bkz. İş ayarlarının düzenlenmesi.

Sonraki adımlar

Daha fazla bilgi

Üst konu: Araçlar için kaynakları hesapla

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more