際際滷

際際滷Share a Scribd company logo

皆沿温姻一檎をつかってみた(干温沿温稼.檎)

?Download as PPTX, PDF?
?
_
__john_smith__

干温沿温稼.檎の晦意でk燕した皆沿温姻一檎の彿創

1 of 17
Downloaded 11 times
SparkRを聞ってみた ただそれだけ
徭失B初 @__john_smith__ (じょんすみす) どこにでもいる噸宥のアル嶄 なぜかTwitterでビアドベントカレンダ`を匯繁でやってる ☆ビアドベントカレンダ`とは アドベントカレンダ`の勣Iで鞍侫唏`ルをB初 B初するビ`ルは駅ずその晩むこと
SparkRってなんぞ SparkをRから荷恬するためのもの Sparkってなんぞ燭辰瀞はしません 檎ってなんぞ燭辰道阿榔慴ありません
ただしき 書指は云輝にただ聞ってみただけです まじでサンプルg佩した殻業です localで咾しているので蛍柊しません 蛍柊しないのでRのライブラリと 堀業曳^で栖ません 蛍柊しないのでin-memoryでも 聞えるデ`タサイズはRと謹蛍笋錣蠅泙擦
やってみたこと Word Count Hadoopのせいで恷兜にやってみることの旗燕鯉になった 蛍柊I尖順のHallo, World議な贋壓 SparkのREADME.md Spark順晢ではなぜかチュ`トリアルでQうファイルはこいつ
まずは 噸宥にSparkで $ ./bin/spark-shell scala> val textFile = sc.textFile(＾README.md￣) scala> val fm = textFile.flatMap(_.split(＾ ＾)) scala> val m = fm.map((_, 1)) scala> val rk = m.reduceByKey(_ + _) scala> rk.collect()
まずは 噸宥にSparkで $ ./bin/spark-shell scala> val textFile = sc.textFile(＾README.md￣) scala> val fm = textFile.flatMap(_.split(＾ ＾)) scala> val m = fm.map((_, 1)) scala> val rk = m.reduceByKey(_ + _) scala> rk.collect() ね榛gでしょ
Rでやる SparkRのインスト`ル # このx秘ってなければ秘れる install.packages("rJava") install.packages("devtools") library(devtools) # githubから隔ってくる install_github("amplab-extras/SparkR-pkg", subdir="pkg￣)
Rでやる iみzみ library(SparkR) sc <- sparkR.init(＾local￣) lines <- textFile(sc, ＾README.md￣)
Rでやる gZで曝俳る library(SparkR) sc <- sparkR.init(＾local￣) lines <- textFile(sc, ＾README.md￣) words <- flatMap(function(line) { strsplit(line, ＾ ＾)[[1]] })
Rでやる 光gZの竃F指方に1を秘れる library(SparkR) sc <- sparkR.init(＾local￣) lines <- textFile(sc, ＾README.md￣) words <- flatMap(function(line) { strsplit(line, ＾ ＾)[[1]] }) wordCount <- lapply(words, function(word) { list(word, 1) }
Rでやる 栽して竃F指方を箔める library(SparkR) sc <- sparkR.init(＾local￣) lines <- textFile(sc, ＾README.md￣) words <- flatMap(function(line) { strsplit(line, ＾ ＾)[[1]] }) wordCount <- lapply(words, function(word) { list(word, 1) } count <- reduceByKey(wordCount, ＾+￣, 2L)
Rでやる 竃薦 library(SparkR) sc <- sparkR.init(＾local￣) lines <- textFile(sc, ＾README.md￣) words <- flatMap(function(line) { strsplit(line, ＾ ＾)[[1]] }) wordCount <- lapply(words, function(word) { list(word, 1) } count <- reduceByKey(wordCount, ＾+￣, 2L) output <- collect(count) for (item in output) { cat(item[[1]], ＾ t＾ item[[2]], ＾n￣) }
Rでやる 竃薦 library(SparkR) sc <- sparkR.init(＾local￣) lines <- textFile(sc, ＾README.md￣) words <- flatMap(function(line) { strsplit(line, ＾ ＾)[[1]] }) wordCount <- lapply(words, function(word) { list(word, 1) } count <- reduceByKey(wordCount, ＾+￣, 2L) output <- collect(count) for (item in output) { cat(item[[1]], ＾ t＾ item[[2]], ＾n￣) } ね榛gでしょ
鮸vS ほぼほぼ揖じv方がそのまま聞える Spark R sc.textFile textFile flatMap flatMap map lapply reduceByKey reduceByKey 醤悶議なI尖はRでける words <- flatMap(function(line) { strsplit(line, ＾ ＾)[[1]] })
でも... そのままRの篳としては聞えないっぽいです RDDオブジェクト 庄姻庄壊を檎禽禽にして檎の鉛馨v方とか聞えなかった...
Y 書瘁に豚棋

More Related Content

皆沿温姻一檎をつかってみた(干温沿温稼.檎)