![まずはいじってみましょう。
? Rの基本
– 行列はこんな感じで作れます。
?matrix(1:12,3,4)
?行列計算も普通にできます。
– 行列の一部を取り出すには添え字を使います
?a <- matrix(1:12,3,4)
?a #-> 1,2,3
4,5,6
7,8,9
10,11,12
?a[1,] #-> 1 4 7 10
?a[,1] #-> 1 2 3
?a[1,1] #-> 1](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-22-320.jpg)
![データを扱ってみる
? 基本的な処理関数
処理内容 関数 例
合計 sum() sum(iris[,1])
平均 mean() mean(iris[,1])
標準偏差 sd() sd(iris[,1])
最大 max() max(iris[,1])
最少 min() min(iris[,1])
データの作成?結合 c() c(1,2,3,4,5)
データの基本統計量 summary() summry(iris)
データに関する情報 str() str(iris)](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-24-320.jpg)
![データを扱ってみる
? 図形描画
– 最も簡単な図形描画である散布図を作ります
?plot(iris[,1],iris[,3])
?irisの一列目と三列目をそれぞれx軸y軸にした散布図ができます
– 下記の書き方でも大丈夫です。
?plot(Petal.Length ~ Sepal.Length, data=iris)
?plot(iris$Sepal.Length,iris$Petal.Length)
?この２つだと、x,y軸それぞれに名前が付けられます。
?『データ名$行?列名』でその行を出すこともできます。
– 全変数に対する散布図
?plot(iris)で全変数をクロスした散布図表が出てきます。
?pairs(iris[1:5])でも同じです。
– 色づけ
?pairs(iris[1:4], pch = 21, bg = c("red", "green3",
"blue")[unclass(iris$Species)])](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-25-320.jpg)
![データを扱ってみる
? 続き2
– 相関を見てみましょう。
?cor(iris[,1:4])
– 単回帰分析をしてみましょう。
?kaiki <- lm(iris$Petal.Length ~ iris$Sepal.Length)
– lmは線形モデルによる回帰を出します。
– lm(目的変数~説明変数)で使います
?kaiki #->
?(Intercept) iris$Sepal.Length
-7.101 1.858
– これは単回帰直線がy=1.858x-7.101という事です。
?plot(iris$Sepal.Length, iris$Petal.Length)
?abline(kaiki)](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-26-320.jpg)
![Rの掟
? Rを使う上での掟
– for なるべく使わないでください。
– if なるべく使わないでください。
– while やめてください。
– repeat やめてください。
– 添字操作 絶対にやめてください。
?こういうの
test[]={1,2,3,4,5}
for(i=0,i<=4,i++){
if(test[i]<=3){
count++
}
print(count)](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-30-320.jpg)
![Rの掟(例1)
? 逐次処理(足し算)
start <- proc.time()
rep <- 1000 # 足し算の回数
n <- 1000 # 変数の数（配列の要素数）
x <- rep(0, n) # 一万個の変数（配列）の初期化
for (j in (1:rep) ) { # rep 回の繰り返し
for (i in (1:n)) { # 一万個の変数それぞれに値を加える
x[i] <- x[i] + i # 数値計算ライブラリのテストでは、x[i] <- x[i] + log(i + 1)
}
}
print(proc.time() - start) #->経過6.42秒
上記をやると処理コストが大きい。](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-31-320.jpg)
![Rの掟(例2)
? 添字操作による論理判断
start <- proc.time()
count=0 #結果を入れる変数
i=0 #カウンタ
rep=1000 #繰り返し数
for(j in 1:rep){
for(i in 1:150){
if(iris[i,5]=="virginica"){
count = count+iris[i,1]
}
}
}
print(proc.time() - start) #->経過26.05秒](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-33-320.jpg)
![Rの掟(例2)
? 添字集合による論理判断
– 添字を一つでは無く「ある条件の集合体」として操作さ
せる。
– それによってできた添字集合は逐次の論理判断と等価
start <- proc.time()
count=0 #結果を入れる変数
i=0 #カウンタ
rep=1000 #繰り返し数
for(j in 1:rep){
count=sum(iris[iris[,5]=="virginica",1])+count
}
print(proc.time() - start)#経過->0.28秒](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-34-320.jpg)
![１手詰め
? 下記の処理を早くして下さい。
? ヒント
– Rは関数に「集合を突っ込む」のが基本です。
– exp()の処理自体は重要ではありません。
?対数でも三角関数でも同じです。
x <- runif(1000000) #runifは乱数を発生させています。ここは変えないでください。
test1 <- function () {
res <- numeric(1000000) #numericは0が入った数値オブジェクトを生成します。
for (i in 1:1000000) res[i] <- exp(x[i]) #expはeのべき乗をとります。
return(res)}
system.time(test1())](https://image.slidesharecdn.com/e3-83-87-e3-83-bc-e3-82-bf-e8-a7-a3-e6-9e-90-e6-8a-80-e8-a1-93-e5-85-a5-e9-96-80-28r-e7-b7-a8-29-130513175837-phpapp02/85/R-35-320.jpg)
データ解析技术入门(搁编)
- 2. 自己紹介 ? 浅井 拓海(26歳) – 職歴： – H21～H23 NTT Communications 先端IPアークテクチャセンタ – H23～現在 NTTレゾナント サーチ事業部ビジネス推進部門 – twitter:@p_i_o4545 – blog:http://pioneerinocean.hatenablog.com/ ? 移行した時に記事を全部消したので、今はほとんど内容がありません。 ? これからしっかりしたRとかHadoopの記事を書きたい(震え声) – 趣味：ピアノ、ギター、シミュゲをやる事、歴史?軍事オタ ? どれも「下手の横好き」レベルです。
- 13. 今日触れる技术
- 14. Rとは？ ? R言語について – オープンソースの統計解析用言語とその利用環境 – 対話形式を基本とするため、プログラミング初心 者でも扱いやすい。 – 今までは教育現場などを中心に使われてきたが、 ここ数年でビジネスでも一気に使われ始めた。 – 比較対象を挙げるとするとSP○S,S○S？
- 15. Rの特徴 ? 基本的には対話型でリアルタイムに操作 – バッチ処理も可能。 – 「作业领域」と呼ばれるメモリ空间を确保して动く
- 16. Rの特徴 ? 統計?集計?分析系の関数が標準でもいっぱい！ – 基本統計量(平均、分散、標準偏差??) – 単純集計、クロス集計 – 回帰分析系、検定系???etc ? グラフィック処理も高水準な関数がたくさんある。 – 引数とか指定しなくても勝手に解釈してくれたりする。
- 17. Rの特徴 ? 良い点 – 解析?行列系の言語にしては動作が速い。 – Win,Mac,linuxどれでも利用できる。 – 処理が簡単なので、プログラミング初心者でも親しみや すい。 – エクセルより大きなデータを扱える。 – 高機能な解析環境を「タダ」で使える！(重要) ? ネックな点 – とはいえ、Hadoop等で扱えるレベルのデータは使えない ?メモリがあふれて死にます。 – 行列、ベクトル単位で処理をするという事を常に念頭に 置いてコードを書く必要がある。 – 「R」でググってもヒットしづらい??。
- 18. R vs Excel 比較内容 直感的な使いやすさ △ ○ 価格 無料 1万円ちょっと データ量 △ × 処理速度 △ × 利用用途 統計関連 様々 拡張 ○ △ 問：何故エクセルと比較したのか？ 答：Rはコーダーだけの道具ではないから。(多分)
- 20. Rを使ってみましょう ? ダウンロード&インストール – 『R インストール』でググるとインストールの仕方が出 てきます。 – 適当にインストールしてみてください。 – 普通のWindowsプログラムと同じ感じでインストールでき ます。 ? インストールが出来たら起動してください。
- 21. まずはいじってみましょう。 ? Rの基本 – 全てがオブジェクトです。変数型宣言等は要りません。 ?test1 <- 1 or a = 1 ?test2 <- “abcde” ?test3 <- function(x)return(x-1) – 電卓的な計算も普通にできます ?1+3 – 一次元の集合は下記のように作れます。 ?a <- c(1,2,3,4,5) ?Rではこれを『ベクトル』と呼びます。 – 連続数は下記の通りで作れます。 ?1:12
- 22. まずはいじってみましょう。 ? Rの基本 – 行列はこんな感じで作れます。 ?matrix(1:12,3,4) ?行列計算も普通にできます。 – 行列の一部を取り出すには添え字を使います ?a <- matrix(1:12,3,4) ?a #-> 1,2,3 4,5,6 7,8,9 10,11,12 ?a[1,] #-> 1 4 7 10 ?a[,1] #-> 1 2 3 ?a[1,1] #-> 1
- 23. データを扱ってみる ? irisを使ったRの基本的利用方法 – irisと打ってみてください。 – 出てきたデータは「アヤメの萼片と花びら」に関するデ ータです。 ?正直なところかなりどうでもいいデータですが、これを使ってR の基本関数を試してみようと思います。 ?ただ、R入門は必ずと言っていいほどこのデータを使います。私 もアヤメの萼片と花びらの関係自体はどうでもいいのですが、使 い勝手がいいのでこれを使います。 – まずは基本統計量を出してみましょう。 ?summary(iris)
- 24. データを扱ってみる ? 基本的な処理関数 処理内容 関数 例 合計 sum() sum(iris[,1]) 平均 mean() mean(iris[,1]) 標準偏差 sd() sd(iris[,1]) 最大 max() max(iris[,1]) 最少 min() min(iris[,1]) データの作成?結合 c() c(1,2,3,4,5) データの基本統計量 summary() summry(iris) データに関する情報 str() str(iris)
- 25. データを扱ってみる ? 図形描画 – 最も簡単な図形描画である散布図を作ります ?plot(iris[,1],iris[,3]) ?irisの一列目と三列目をそれぞれx軸y軸にした散布図ができます – 下記の書き方でも大丈夫です。 ?plot(Petal.Length ~ Sepal.Length, data=iris) ?plot(iris$Sepal.Length,iris$Petal.Length) ?この２つだと、x,y軸それぞれに名前が付けられます。 ?『データ名$行?列名』でその行を出すこともできます。 – 全変数に対する散布図 ?plot(iris)で全変数をクロスした散布図表が出てきます。 ?pairs(iris[1:5])でも同じです。 – 色づけ ?pairs(iris[1:4], pch = 21, bg = c("red", "green3", "blue")[unclass(iris$Species)])
- 26. データを扱ってみる ? 続き2 – 相関を見てみましょう。 ?cor(iris[,1:4]) – 単回帰分析をしてみましょう。 ?kaiki <- lm(iris$Petal.Length ~ iris$Sepal.Length) – lmは線形モデルによる回帰を出します。 – lm(目的変数~説明変数)で使います ?kaiki #-> ?(Intercept) iris$Sepal.Length -7.101 1.858 – これは単回帰直線がy=1.858x-7.101という事です。 ?plot(iris$Sepal.Length, iris$Petal.Length) ?abline(kaiki)
- 30. Rの掟 ? Rを使う上での掟 – for なるべく使わないでください。 – if なるべく使わないでください。 – while やめてください。 – repeat やめてください。 – 添字操作 絶対にやめてください。 ?こういうの test[]={1,2,3,4,5} for(i=0,i<=4,i++){ if(test[i]<=3){ count++ } print(count)
- 31. Rの掟(例1) ? 逐次処理(足し算) start <- proc.time() rep <- 1000 # 足し算の回数 n <- 1000 # 変数の数（配列の要素数） x <- rep(0, n) # 一万個の変数（配列）の初期化 for (j in (1:rep) ) { # rep 回の繰り返し for (i in (1:n)) { # 一万個の変数それぞれに値を加える x[i] <- x[i] + i # 数値計算ライブラリのテストでは、x[i] <- x[i] + log(i + 1) } } print(proc.time() - start) #->経過6.42秒 上記をやると処理コストが大きい。
- 32. Rの掟(例1) ? ベクトル処理 start <- proc.time() rep <- 1000 # 足し算の回数 n <- 1000 # 変数の数（配列の要素数） x <- rep(0, n) # 一万個の変数（配列）の初期化 for (j in (1:rep) ) { # rep 回の繰り返し # 一万個の変数に、一度に値を加える x <- x + (1:n) # 数値計算ライブラリのテストでは、x <- x + log(1:n) } print(proc.time() - start) #->経過1.27秒 足し算を「一気に」行うのが正解。
- 33. Rの掟(例2) ? 添字操作による論理判断 start <- proc.time() count=0 #結果を入れる変数 i=0 #カウンタ rep=1000 #繰り返し数 for(j in 1:rep){ for(i in 1:150){ if(iris[i,5]=="virginica"){ count = count+iris[i,1] } } } print(proc.time() - start) #->経過26.05秒
- 34. Rの掟(例2) ? 添字集合による論理判断 – 添字を一つでは無く「ある条件の集合体」として操作さ せる。 – それによってできた添字集合は逐次の論理判断と等価 start <- proc.time() count=0 #結果を入れる変数 i=0 #カウンタ rep=1000 #繰り返し数 for(j in 1:rep){ count=sum(iris[iris[,5]=="virginica",1])+count } print(proc.time() - start)#経過->0.28秒
- 35. １手詰め ? 下記の処理を早くして下さい。 ? ヒント – Rは関数に「集合を突っ込む」のが基本です。 – exp()の処理自体は重要ではありません。 ?対数でも三角関数でも同じです。 x <- runif(1000000) #runifは乱数を発生させています。ここは変えないでください。 test1 <- function () { res <- numeric(1000000) #numericは0が入った数値オブジェクトを生成します。 for (i in 1:1000000) res[i] <- exp(x[i]) #expはeのべき乗をとります。 return(res)} system.time(test1())
- 36. 正解 ? これだけ。 ? 解説 – Rは「集合を突っ込む」のが基本です。 – 今までの例でもそうでしたが、Rは極力「コードを書かな い」でください。 – 大体の関数はベクトル化されていて、「一気に操作」が 可能です。 x <- runif(1000000) system.time(res <- exp(x))
- 37. Rを適切に使うには。(ネタ) ? エスニックジョーク的な。 – Rが遅いって？おいおい、CPUがバカみたいに速いマシンを買ってメ モリをアホみたいに積めばいいじゃないか！ＨＡＨＡＨＡ！ – Rが遅いって？同志よ。コンピュータを酷使するのだ。シベリアには 行きたくないだろう？ – Rが遅いって？紳士たる者、そんなことでうろたえてはいけない。 – Rが遅いって？しかし、ルールにのっとって書かれたコードであれば それが正しい。 – Rが遅いって？そのやり方は有名な研究室の先生が提示した方法です か？ – Rが遅いって？人員を投入して手計算させるのだ！ – Rが遅いって？委託の決裁を作成しよう！ 冗談ではありますが、一部(解決策としての)真理を含みます。 ※エスニックジョークとは各国の国民性をジョークにしたものです。上から米,露,英,独,日,中のイメージ。最後は??。
- 40. 復習 ? Rの特徴 – 端的に言って汎用言語に慣れた人からは少々クセがある 言語だと思われる。 – ただし、ハマればかなり高速。コンパイラを使う言語に はさすがに敵わないが、RubyやPerlより高速に処理をする ことも出来る。 ?ただし、for文,if文を多用したりすると、Ruby,Perlでやるときの数 倍以上の時間が掛かる事も???。 – 図形描画、統計処理共に高水準の関数が揃っている。 使い方を間違えなければ、強力なツールとなる！
- 41. ３つの要素：長所(R) ? 処理速度 – Rの書き方さえ押さえれば驚くほど速い。 ? 処理できるデータサイズ – エクセルなどよりは大きなデータも扱える。 – 統計的解析を行う場合は「サンプリング」するという基 本思想 ? 使いやすさ、手間 – プログラム初心者であっても覚えやすい – インストールすればすぐに使える。環境依存が少ない。 – 拡張パッケージがかなり豊富
- 42. ３つの要素：短所(R) ? 処理速度 – 裏を返せばRの書き方を押さえないと恐ろしく遅い ? 処理できるデータサイズ – 基本的にメモリ容量以下しか扱えない ? 使いやすさ、手間 – 流石にエクセル並みの親しみやすさまでは行かない。 – 巷での利用例などがCやRubyほど充実しておらず、情報 収集が若干困難な時もある。 ?「R」という名前がまず検索しにくい。意外と深刻。
- 43. Rに関する取り組み ? Rの大容量?高速化 – RとHadoopやRとmpiを組み合わせるという取り組みもあ ります。 – が、入门编ですので今回は触れません。别の机会に。
- 44. 実体験 ? 処理容量の話 – 恐らく世の中にギガバイト、テラバイト、ペタバイトの 分析を日常的に必要な人というのはそこまでいない？？ – そのため、日常的な(メガ、ギガ程度)の分析?集計はRで 行っています。テキスト処理もめんどくさいのでRでやっ てます。 – 大容量データに対して「高度な処理」を加える事もそん なに多くはないので、なるべくHiveを使ってます。 今のところ、全てのデータに向いた万能解析 ツールは無い。
- 46. 最後に ? データ分析について – データ分析といっても人によって求める者は様々です。 ?単なる集計 ?統計学的な手法 ?機械学習?クラスタリング 等々??? – データ全部が必要なのか、一部でいいのかでも違います – それぞれに合ったツールを選んでください。 あくまで、今日取り上げた内容は入門編です。 実際の利用については(機会があれば)やらせて頂きます。