20170312 r言語環境構築&dplyr ハンス?オン
5 likes1,134 views
https://fukuoka-r.connpass.com/event/50986/
![データ確認 コマンドの場合
? nrowで?数、head( tail )で中?、
? なお変数名を??してそのままエンターを押すと全件表?しようと
しますが、数が多すぎてRStudioが固まる場合は「STOP」ボタンを
押下します
# データの?数確認
nrow(data)
# カラム名確認
names(data)
# 先頭3件のデータ表?
head(data, 3)
# 変数の型を調べる
class(data)
>[1] "data.frame”
# 変数の詳細を調べる
str(data)](https://image.slidesharecdn.com/20170312rdplyr-170325050903/85/20170312-r-amp-dplyr-21-320.jpg)
20170312 r言語環境構築&dplyr ハンス?オン
- 2. ?的 ? 後半のセッションの前提知識を得てもらう ? dplyrを使うための環境構築(+マークダウンで再現性を確保) ? 诲辫濒测谤の基本的な関数を使ってみる
- 3. ?次 ? Rの導? ? RStudioの導? ? RStudioを使ってみる ? Rマークダウン ? knitr ? サンプルデータ(kaggle) ? CSVファイル読み込み ? ファイル読み込み ? データを?てみる ? いくつか集計 ? データフレーム操作 ? パッケージインストール ? dplyr ? dplyrで集計 ? 選択 ? グループ集計 ? 列を追加 ? 結合 ? ファイル出? ? write.csv ? 再度knitr
- 5. RStudioの導? ? 下記URLよりRStudioをダウンロードしてインストールして下 さい ? https://www.rstudio.com/products/rstudio/download/ ? 通常は「Installers for Supported Platforms」のもの
- 8. 例えば : irisデータをコンソールで操作 # irisデータの例 # シャープでコメントが記述可能 plot(iris) #データの散布図を描画 head(iris) #先頭6件のデータ表?
- 9. Rマークダウン ? 処理の再現性を確保するためにRマークダウンのプロジェクトを作 成します(必須ではありませんが、推奨) ? 左上のメニューから「R Markdown…」を選択 ? その後関連パッケージをインストールするか聞かれるので「yes」を 押下
- 11. Rマークダウン Knit ? 「Knit」ボタンを押下するとRマークダウンを実?してHTML に変換してくれる ? 初回は贬罢惭尝ファイルの保存先を闻かれるので适当に选択
- 12. Rマークダウン Knit 実?结果 ? 基本的には```{r}と```で括られている部分がRのスクリプトとして 実?される(細かいオプションは割愛) ? ちなみに保存したHTMLファイルを直接配ればブラウザベースの簡 易レポートととしても使える(閲覧者はR導?不要)
- 13. 下準備 ? 説明をシンプルにするため、サンプルを書き換えて?旦以下の コードブロックのみ作成して下さい --- title: "Untitled" output: html_document --- ```{r} ``` ここにコードを書いて いく
- 14. 下準備 ? 先ほどのirisデータをマークダウンで試してみましょう ? コードを書いた後は範囲選択して右上の「Run」ボタンから「Run Selected Line(s)」で実?できます ? Macなら「command+Enter」 でもいけます --- title: "Untitled" output: html_document --- ```{r} plot(iris) ``` ここにコードを書いて いく
- 15. 実?结果
- 16. サンプルデータ(kaggle) ? Irisデータだけだとちょっとイメージが湧きにくいので、今回はリク ルートのkaggleチャレンジより以下の２データをダウンロードしま す(ポンパレのデータを切り出したものとのこと) ? https://www.kaggle.com/c/coupon-purchase-prediction/data 1. クーポンデータ : coupon_detail_train.csv 2. ユーザーデータ : user_list.csv.zip ※kaggleとは ? データ分析コンペのプラットフォーム及びその運営会社 ? 課題?の実データをマスクした、サンプルデータも多数提供されている ? コンペの詳細はこちら http://www.recruit.jp/news_data/release/2015/0716_15946.html
- 17. kaggleのアカウントがない?(github) ? 取り急ぎ、以下のgithubにもサンプルデータとしてコピーを置 いていますので、ご参照ください ? https://github.com/doradora09/sampledata/tree/master/ka ggle_recruit_challenge 1. クーポンデータ : coupon_detail_train.csv 2. ユーザーデータ : user_list.csv (解凍済み) ? なお1に関しては、?さなサンプルとして 「coupon_detail_train_head_1000.csv」も置いてますので、お好みで ダウロードしてください
- 18. やりたいこと ? 今回は先ほどの2データを?いて以下のデータ操作を?います 1. ファイルの読み込み 2. データの確認 3. 簡易集計 4. dplyrで簡易集計 5. dplyrで2つのデータを組み合わせる 6. ファイル出? 7. マークダウン出?
- 19. ファイルの読み込み ? read.csv関数でcsvファイルを読み込み、結果をdataと?う名前の変数に保存し ます ? Rではデータの代?に <- を使います(?応他?語同様の = も動作する模様) ? read.csvはstringsAsFactors=Fを指定しない場合、?字列がファクター型で読み 込まれます # 現在のディレクトリを確認 getwd() # デスクトップにディレクトリを移動 setwd("/Users/st20909/Desktop") # csvデータの読み込み data <- read.csv("coupon_detail_train.csv", stringsAsFactors=F )
- 21. データ確認 コマンドの場合 ? nrowで?数、head( tail )で中?、 ? なお変数名を??してそのままエンターを押すと全件表?しようと しますが、数が多すぎてRStudioが固まる場合は「STOP」ボタンを 押下します # データの?数確認 nrow(data) # カラム名確認 names(data) # 先頭3件のデータ表? head(data, 3) # 変数の型を調べる class(data) >[1] "data.frame” # 変数の詳細を調べる str(data)
- 22. いくつか集計 ? hist関数でヒストグラムを、tableで要素ごとのグループ化集計 が可能です # ヒストグラム hist(data$ITEM_COUNT) # テーブル集計 table(data$ITEM_COUNT) table(data$SMALL_AREA_NAME)
- 23. dplyrとは ? C++で書かれた?速なデータフレームの集計処理ができるライ ブラリ ? %>% という演算?でパイプライン処理での記述ができるのが 特徴
- 24. dplyrパッケージの準備 ? install.packages関数でパッケージをインストールできます ? なお参考まで、CRANになく個?のgithubに上がっているパッケージ は、devtoolsパッケージに含まれるinstall_github関数を使うことでイ ンストールが可能です # dplyrインストール install.packages('dplyr') # パッケージのロード library('dplyr') # ヘルプの表?。 ? dplyrでも可能 help(dplyr)
- 25. dplyr 操作?覧 http://qiita.com/matsuou1/items/e995da273e3108e2338e より引? ? dplyrとR本体とで書き?が異なるため、どちらか??から覚えたほうが効率的 ? 今回はグループ化処理や結合処理(JOIN)が可能なdplyrメインで説明します
- 26. dplyr ?の絞り込み # 福岡のデータのみ抽出 data %>% filter(SMALL_AREA_NAME == '福岡') %>% head()
- 27. dplyr 都道府県別にグループ化集計&ソート # グループ化集計 data %>% group_by(SMALL_AREA_NAME) %>% summarise(num=n()) %>% # 数を集計 arrange(desc(num)) %>% # numで後順にソート head()
- 28. dplyr 列の追加 # グループ化集計 & カラム追加(1万件より多いエリア) data2 <- data %>% group_by(SMALL_AREA_NAME) %>% summarise(num=n()) %>% # 数を集計 mutate(is_over_10000 = ifelse(num > 10000 , 1 , 0)) %>% arrange(desc(num)) %>% # numで後順にソート head() data2
- 29. JOINの前にユーザーリスト?意 # ユーザーリスト読み込み users <- read.csv("user_list.csv", stringsAsFactors=F) head(users)
- 30. user_id_hashでLEFT JOIN # LEFT JOIN joined <- data %>% left_join(users, by='USER_ID_hash') head(joined)
- 31. user_id_hashでLEFT JOIN & 集計 # 性別で集計 joined2 <- joined %>% select(SMALL_AREA_NAME, SEX_ID) %>% table() joined2
- 32. 結果をファイル出? # ファイル書き出し write.csv(joined2, "output_data.csv", quote=F, fileEncoding="UTF-8") # Excelで開く際は?字化け対策としてSJISで書き出す write.csv(joined2, "output_data_sjis.csv", quote=F, fileEncoding="SJIS")
- 34. まとめ ? RとRStudioのインストール ? 再現性確保のためのRマークダウン ? ファイルの?出? ? dplyrを使ったデータフレーム操作(基礎) dplyrを使った基礎的な集計と、 処理再現のための環境構築が完了
- 35. 今後 ? ?的に合わせてRを使ってみて下さい ? データをさらに整形したい => reshape2 ? 意思決定に分析?法を試したい => rpart, 各種書籍、発表資料 ? 予測モデルを?々を試したい => caret ? もっと可視化したい => ggplot2やleaflet ? Webサーバーでダッシュボード化したい => Shiny, flexdashboard ? 他?語と連携したい => CやExcel、SQLなど連携できます ??などなど ?途別にいろいろなパッケージがあるので是?探して使ってみて 下さい。
- 36. ご静聴ありがとうございました！