Translation not up to date
RStudio IDE, R ortamı çalıştırma zamanı ile bir Spark 'ta başlatılamasa da, Spark çekirdeklerine programlı olarak erişerek R komut dosyalarınızda ve Shiny uygulamalarınızda Spark 'ı kullanabilirsiniz. RStudio, R ' den Spark 'a bağlanmak için sparklyr
paketini kullanır. sparklyr
paketi, Spark veri çerçevelerine yönelik bir dplyr
arabiriminin yanı sıra Spark 'ın dağıtılmış makine öğrenimi boru hatlarına yönelik bir R arabirimi içerir.
RStudio 'dan Spark 'a bağlanabilirsiniz:
- IBM Watson Studio ' daki RStudio kapsayıcısında yerel olarak çalışan bir Spark çekirdeğine bağlanarak
RStudio, her iki yöntem için de uygulamalarınızda bir Spark çekirdeğine nasıl bağlanacağınızı gösteren örnek kod parçacıklarını içerir.
IDE ' yi başlattıktan sonra RStudio 'da Spark 'ı kullanmak için:
Ana dizininizin altındaki
ibm_sparkaas_demos
dizinini bulun ve açın. Dizin aşağıdaki R komut dosyalarını içerir:- İçerilen R örnek komut dosyalarıyla ilgili ayrıntıları içeren bir benioku
spark_kernel_basic_local.R
, yerel bir Spark çekirdeğine nasıl bağlanılacağına ilişkin örnek kodu içerirspark_kernel_basic_remote.R
, uzak bir Spark çekirdeğine nasıl bağlanılacağına ilişkin örnek kodu içerirsparkaas_flights.R
vesparkaas_mtcars.R
dosyaları, küçük bir örnek uygulamada Spark 'ın nasıl kullanılacağına ilişkin iki örnektir.
Spark 'ı kullanmaya başlamanıza yardımcı olması için R komut dosyalarınızdaki ya da uygulamalarınızdaki örnek kod parçacıklarını kullanın.
RStudio 'dan Spark 'a bağlanılıyor
Sparklyr
R paketini kullanarak RStudio 'dan Spark 'a bağlanmak için R ortamına sahip bir Spark gerekir. Sağlanan R ortamıyla varsayılan Spark 'ı kullanabilir ya da R ortamıyla özel bir Spark oluşturabilirsiniz. Özel bir ortam oluşturmak için Ortam şablonları oluşturmabaşlıklı konuya bakın.
RStudio 'yu bir RStudio ortamında başlattıktan sonra aşağıdaki adımları izleyin:
Spark ortamı ayrıntılarının bir listesini almak ve RStudio oturumundan bir Spark çekirdeğine bağlanmak için aşağıdaki örnek kodu kullanın:
# load spark R packages
library(ibmwsrspark)
library(sparklyr)
# load kernels
kernels <- load_spark_kernels()
# display kernels
display_spark_kernels()
# get spark kernel Configuration
conf <- get_spark_config(kernels[1])
# Set spark configuration
conf$spark.driver.maxResultSize <- "1G"
# connect to Spark kernel
sc <- spark_connect(config = conf)
Daha sonra Spark bağlantısını kesmek için şunu kullanın:
# disconnect
spark_disconnect(sc)
Bu komutlara ilişkin örnekler, /home/wsuser/ibm_sparkaas_demos
altındaki Beni Oku (Readme) başlığı altında verilmiştir.
Üst konu: RStudio