0 / 0
Go back to the English version of the documentation
RStudio 'da Spark 'ı kullanma
Last updated: 26 Tem 2023
RStudio 'da Spark 'ı kullanma

RStudio IDE, R ortamı çalıştırma zamanı ile bir Spark 'ta başlatılamasa da, Spark çekirdeklerine programlı olarak erişerek R komut dosyalarınızda ve Shiny uygulamalarınızda Spark 'ı kullanabilirsiniz. RStudio, R ' den Spark 'a bağlanmak için sparklyr paketini kullanır. sparklyr paketi, Spark veri çerçevelerine yönelik bir dplyr arabiriminin yanı sıra Spark 'ın dağıtılmış makine öğrenimi boru hatlarına yönelik bir R arabirimi içerir.

RStudio 'dan Spark 'a bağlanabilirsiniz:

  • IBM Watson Studio ' daki RStudio kapsayıcısında yerel olarak çalışan bir Spark çekirdeğine bağlanarak

RStudio, her iki yöntem için de uygulamalarınızda bir Spark çekirdeğine nasıl bağlanacağınızı gösteren örnek kod parçacıklarını içerir.

IDE ' yi başlattıktan sonra RStudio 'da Spark 'ı kullanmak için:

  1. Ana dizininizin altındaki ibm_sparkaas_demos dizinini bulun ve açın. Dizin aşağıdaki R komut dosyalarını içerir:

    • İçerilen R örnek komut dosyalarıyla ilgili ayrıntıları içeren bir benioku
    • spark_kernel_basic_local.R , yerel bir Spark çekirdeğine nasıl bağlanılacağına ilişkin örnek kodu içerir
    • spark_kernel_basic_remote.R , uzak bir Spark çekirdeğine nasıl bağlanılacağına ilişkin örnek kodu içerir
    • sparkaas_flights.Rve sparkaas_mtcars.R dosyaları, küçük bir örnek uygulamada Spark 'ın nasıl kullanılacağına ilişkin iki örnektir.
  2. Spark 'ı kullanmaya başlamanıza yardımcı olması için R komut dosyalarınızdaki ya da uygulamalarınızdaki örnek kod parçacıklarını kullanın.

RStudio 'dan Spark 'a bağlanılıyor

Sparklyr R paketini kullanarak RStudio 'dan Spark 'a bağlanmak için R ortamına sahip bir Spark gerekir. Sağlanan R ortamıyla varsayılan Spark 'ı kullanabilir ya da R ortamıyla özel bir Spark oluşturabilirsiniz. Özel bir ortam oluşturmak için Ortam şablonları oluşturmabaşlıklı konuya bakın.

RStudio 'yu bir RStudio ortamında başlattıktan sonra aşağıdaki adımları izleyin:

Spark ortamı ayrıntılarının bir listesini almak ve RStudio oturumundan bir Spark çekirdeğine bağlanmak için aşağıdaki örnek kodu kullanın:

# load spark R packages
library(ibmwsrspark)
library(sparklyr)

# load kernels
kernels <- load_spark_kernels()

# display kernels
display_spark_kernels()

# get spark kernel Configuration

conf <- get_spark_config(kernels[1])
# Set spark configuration
conf$spark.driver.maxResultSize <- "1G"
# connect to Spark kernel

sc <- spark_connect(config = conf)

Daha sonra Spark bağlantısını kesmek için şunu kullanın:

# disconnect
spark_disconnect(sc)

Bu komutlara ilişkin örnekler, /home/wsuser/ibm_sparkaas_demosaltındaki Beni Oku (Readme) başlığı altında verilmiştir.

Üst konu: RStudio

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more