狠狠撸

在Linux上實現Rstudio
Server 與Spark的溝通

配置
? 8GB以上記憶體
? CentOS7
? Vmware Player
? Rstudio Server
? Sparklyr

安裝完VmwarePlay選右上角新增虛擬機器
將剛剛下載的CentOS7 ISO檔匯入

值得注意的是記憶體必須選擇至少4G、
CUP至少兩顆才不會在安裝Spark時出錯

其他安裝過程可以參考網路上其他教學檔
? http://ktess1020.pixnet.net/blog/post/286058413-vmware-
%E5%AE%89%E8%A3%9D-centos-7

編碼問題
? 安裝完以後Linux會問要使用何種語言，這時不能選中文不然會在
安裝R studio時出現問題ASCII編碼問題，如果不小心選到中文請用
localectl set-locale LANG=en_US.UTF-8改回英文(此語法只支援
CentOS7)並重開機
? 改成中文 localectl set-locale LANG=zh_CN.utf8

安裝相關套件與R
? su root //切到最高權限者請輸入您安裝時設的密碼
? yum -y install epel-release
? yum -y update
? yum -y install curl curl-devel
? yum -y install libxml2 libxml2-devel openssl-devel.x86_64
? yum -y install gcc glibc-headers gcc-c++ gcc-gfortran readline-devel libXt-
devel
? yum install gnutls-devel.x86_64
? yum -y install libcurl libcurl-devel
? yum -y install R

依據不同版本的Sparklyr你可能需要yum更
多的東西，所以這裡要交一項能力”Debug”

安裝Server Rstudio
wget https://download2.rstudio.org/rstudio-server-rhel-1.0.44-
x86_64.rpm
sudo yum install --nogpgcheck rstudio-server-rhel-1.0.44-x86_64.rpm

登入Rstudio Server
? 打開瀏覽器
? 在最上面輸入localhost:8787 //用Rstudio Server版就是霸氣87
? 輸入Linux的帳號密碼
? 其餘操作等同R單機版

安裝Sparklyr、 local version Spark
install.packages("devtools")
devtools::install_github("rstudio/sparklyr")
library(sparklyr)
spark_install(version = "1.6.1 ")
library(dplyr)
sc <- spark_connect(master = “local”) // 本地版佈署
//群集版請參考http://spark.rstudio.com/deployment.html

測試
install.packages("nycflights13")
flights_table <- copy_to(sc, nycflights13::flights, "flights")
//拿 R的nycflights13套件的flights表出來塞給Spark
//sc就是Spark context
src_tbls(sc)
//看一下Spark context裡有哪些表
flights_table %>% filter(dep_delay == 2)
//找出遲到兩分鐘的飛機
// flights_table透過%>%丟給函式filter並加入條件(dep_delay == 2
spark_web(sc)//用Web看運作情形
spark_disconnect(sc)//關閉R與Spark間連結

下期預告
? R、資料庫的溝通概念與實現

狠狠撸

在Linux上實現Rstudio Server 與Spark的溝通

Recommended

More Related Content

What's hot (19)

Similar to 在Linux上實現Rstudio Server 與Spark的溝通 (20)

Recently uploaded (8)

在Linux上實現Rstudio Server 與Spark的溝通