RStudio での Spark の使用

RStudio IDE を Spark with R 環境のランタイムで開始することはできませんが、Spark カーネルにプログラムによってアクセスすることで、R スクリプトおよび Shiny アプリで Spark を使用できます。

RStudio は sparklyr パッケージを使用して 「R」 から 「Spark」 に接続します。 sparklyr パッケージには、「Spark」 データ・フレームへの dplyr インターフェースと、「Spark」 の分散機械学習パイプラインへの 「R」 インターフェースが含まれています。

RStudio から Spark に接続できます。

• IBM Watson Studio の RStudio コンテナーでローカル実行される Spark カーネルに接続する

RStudio には、これらのいずれの方法についてもアプリケーションで Spark カーネルに接続する方法を示すサンプル・コード・スニペットが用意されています。

IDE を起動した後に RStudio で Spark を使用するには、以下のようにします。

1. ホーム・ディレクトリーの下の ibm_sparkaas_demos ディレクトリーを見つけて開きます。 このディレクトリーには、以下の R スクリプトが含まれています。

   • 含まれている R サンプル・スクリプトに関する詳細が記載された README
   • spark_kernel_basic_local.R には、ローカル 「Spark」 カーネルに接続する方法を示すサンプル・コードが含まれています
   • spark_kernel_basic_remote.R には、リモート 「Spark」 カーネルに接続する方法を示すサンプル・コードが含まれています
   • sparkaas_flights.Rファイルと sparkaas_mtcars.R ファイルは、小さなサンプル・アプリケーションで 「Spark」 を使用する方法の 2 つの例です

2. ご使用の R スクリプトまたはアプリケーションでサンプル・コード・スニペットを使用すると、Spark の使用を開始するための参考になります。

# load spark R packages
library(ibmwsrspark)
library(sparklyr)

# load kernels
kernels <- load_spark_kernels()

# display kernels
display_spark_kernels()

# get spark kernel Configuration

conf <- get_spark_config(kernels[1])
# Set spark configuration
conf$spark.driver.maxResultSize <- "1G"
# connect to Spark kernel

sc <- spark_connect(config = conf)

# disconnect
spark_disconnect(sc)