Utilizzo di Spark in RStudio

Sebbene l'IDE RStudio non possa essere avviato in un runtime dell'ambiente Spark with R, è possibile utilizzare Spark negli script R e nelle applicazioni Shiny accedendo ai kernel Spark in modo programmatico.

RStudio utilizza il pacchetto sparklyr per connettersi a Spark da R. Il pacchetto sparklyr include un'interfaccia dplyr per i frame di dati Spark nonché un'interfaccia R per le pipeline di machine learning distribuite di Spark.

Puoi connetterti a Spark da RStudio:

• Collegandosi a un kernel Spark che viene eseguito localmente nel contenitore RStudio in IBM watsonx.ai Studio

RStudio include snippet code di esempio che mostrano come collegarsi ad un kernel di Spark nelle applicazioni per entrambi i metodi.

Per utilizzare Spark in RStudio dopo aver lanciato l'IDE:

1. Individuare la directory ibm_sparkaas_demos sotto la propria directory home e aprirla. La directory contiene i seguenti script R:

   • Un readme con dettagli sugli script di esempio R inclusi
   • spark_kernel_basic_local.R include il codice di esempio di come connettersi a un kernel Spark locale
   • spark_kernel_basic_remote.R include il codice di esempio di come connettersi a un kernel Spark remoto
   • I file sparkaas_flights.Re sparkaas_mtcars.R sono due esempi di come utilizzare Spark in una piccola applicazione di esempio

2. Usa i snippet di codice di esempio nei tuoi script R o applicazioni per aiutarti a iniziare a usare Spark.

# load spark R packages
library(ibmwsrspark)
library(sparklyr)

# load kernels
kernels <- load_spark_kernels()

# display kernels
display_spark_kernels()

# get spark kernel Configuration

conf <- get_spark_config(kernels[1])
# Set spark configuration
conf$spark.driver.maxResultSize <- "1G"
# connect to Spark kernel

sc <- spark_connect(config = conf)

# disconnect
spark_disconnect(sc)