狠狠撸

狠狠撸Share a Scribd company logo
搁でレポートメール


                    @yokkuns 里 洋平
                  yohei0511@gmail.com
                2013.01.26 第28回Tokyo.R


2013年1月26日土曜日
自己紹介

  ◆ 里 洋平(@yokkuns)


 ◆ 元Webエンジニアのデータサイエンティスト
      ?今は主にマーケティング周りを見てる



 ◆ 統計解析やデータマイニングをビジネスに適用
      ?時系列解析とか異常検知とか最適化とか

      ?いろんなモデルの構築


2013年1月26日土曜日
活動例: 勉強会の主催?執筆


                   Tokyo.R主催




                パッケージ本執筆しました!




2013年1月26日土曜日
活動例: 動画レコメンド

                閲覧されている動画の情報を用いておすすめ動画を表示する




2013年1月26日土曜日
活動例: 市場予測

                Web上の情報から市場予測




2013年1月26日土曜日
活動例: 異常検知
                              Anomaly detection

                    複数時系列から異常な振る舞いを検知する

                                                                            C
                                                                            A
        時系列のモデリング               複数時系列の異常検知                                  B

      時系列A                             時系列A

                                                                        異常な振る舞い
      時系列B


      時系列C                      時系列B          時系列C

                                 異常な振る舞いの時系列を検出




                例1:トラフィック異常検知                   例2:CM効果のノイズ除去

                    トラフィックA                          ケースA
                                                              CM効果
                    トラフィックB                          ケースB

                    トラフィックC      調査                  ケースC

                     異常な振る舞いをしている                    異常な振る舞いをしているケースを
                     トラフィックの原因を調査する                  除外して、CMの効果を算出する
                                                                                  85
2013年1月26日土曜日
活動例: 時系列解析と影響分析
                        TV Commercial E?ects

                時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出
                                                   イベン
                CM時系列                               ト

                                          新規
                                          登録


                              CM                   ARPP
                                                    U




                                          ARPU

            各KPIの時系列
                                                          その他
                                                           外部
                                   継続率
                                                           要因




                                                 ケース




                                                            87

2013年1月26日土曜日
新たな勉强会




          TokyoApache.Pig
          https://groups.google.com/group/tokyo_apache_pig




2013年1月26日土曜日
碍笔滨をチェックしたい




2013年1月26日土曜日
碍笔滨をチェックしたい


      直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!




2013年1月26日土曜日
碍笔滨をチェックしたい


      直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!



        普段は見ないけど異常があったら見たい!




2013年1月26日土曜日
碍笔滨をチェックしたい


      直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!



        普段は見ないけど異常があったら見たい!



            過去分も含めていろんな軸で見たい!


2013年1月26日土曜日
碍笔滨をチェックしたい


      直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!

                knitr+sendmailR


        普段は見ないけど異常があったら見たい!



            過去分も含めていろんな軸で見たい!


2013年1月26日土曜日
碍笔滨をチェックしたい


      直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!

                   knitr+sendmailR


        普段は見ないけど異常があったら見たい!

         changeAnomalyDetection+knitr+sendmailR


            過去分も含めていろんな軸で見たい!


2013年1月26日土曜日
碍笔滨をチェックしたい


      直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!

                   knitr+sendmailR


        普段は見ないけど異常があったら見たい!

         changeAnomalyDetection+knitr+sendmailR


            過去分も含めていろんな軸で見たい!
                         shiny

2013年1月26日土曜日
碍笔滨をチェックしたい


      直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!

                   knitr+sendmailR


        普段は見ないけど異常があったら見たい!

         changeAnomalyDetection+knitr+sendmailR


            過去分も含めていろんな軸で見たい!
                         shiny

2013年1月26日土曜日
直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!
        DailyとかHoulyでレポートメールを配信しよう
   どうせなら、HTMLメールにして表とかグラフとか付いてると嬉しい




                    knitr
                  markdown


                      生成           送信
        Rmdファイル




                             sendmailR



                  htmlファイル

2013年1月26日土曜日
直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!
            現在バージョンのものでは、HTMLメールが送れないので
                   修正版をインストールする


        $ git clone git@github.com:yokkuns/sendmailR.git
        $ cd sendmailR
        $ sudo make install


                        または、make installではなく
                    make packageをしてR上でインストール


         $ make package
         $R


         > install.packages("sendmailR_1.1-2.tar.gz")


2013年1月26日土曜日
直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!

     RStudioでRmd形式でレポート内容を出力するスクリプトを書く




2013年1月26日土曜日
直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!

                knitrとmarkdownを使ってhtmlファイルを作成する




                デフォルトだと画像がbase64エンコードされてメールで表示されない
                  options引数で、必要なオプションのみを指定するようにする




2013年1月26日土曜日
直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい!

          画像のリンクを添付画像に置換し、sendmail関数で送信!




2013年1月26日土曜日
普段はみないけど异常があったら见たい!
          changeAnomalyDetectionパッケージを使って異常検知
                  異常があった時だけメール送信する




                                  アラートメール送信




2013年1月26日土曜日
ご清聴ありがとうございました!




2013年1月26日土曜日

More Related Content

What's hot (13)

搁て?阶层ヘ?イス?モテ?ル
搁て?阶层ヘ?イス?モテ?ル搁て?阶层ヘ?イス?モテ?ル
搁て?阶层ヘ?イス?モテ?ル
Yohei Sato
?
Japan r2 lt_yokkuns
Japan r2 lt_yokkunsJapan r2 lt_yokkuns
Japan r2 lt_yokkuns
Yohei Sato
?
Tokyor26 data fusion
Tokyor26 data fusionTokyor26 data fusion
Tokyor26 data fusion
Yohei Sato
?
时系列分析による异常検知入门
时系列分析による异常検知入门时系列分析による异常検知入门
时系列分析による异常検知入门
Yohei Sato
?
Tokyo r15 異常検知入門
Tokyo r15 異常検知入門Tokyo r15 異常検知入門
Tokyo r15 異常検知入門
Yohei Sato
?
異常行動検出入門 – 行動データ時系列のデータマイニング –
異常行動検出入門 – 行動データ時系列のデータマイニング –異常行動検出入門 – 行動データ時系列のデータマイニング –
異常行動検出入門 – 行動データ時系列のデータマイニング –
Yohei Sato
?
贵滨罢2012招待讲演「异常検知技术のビジネス応用最前线」
贵滨罢2012招待讲演「异常検知技术のビジネス応用最前线」贵滨罢2012招待讲演「异常検知技术のビジネス応用最前线」
贵滨罢2012招待讲演「异常検知技术のビジネス応用最前线」
Shohei Hido
?
R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02
akira_11
?
RでGARCHモデル - TokyoR #21
RでGARCHモデル - TokyoR #21RでGARCHモデル - TokyoR #21
RでGARCHモデル - TokyoR #21
horihorio
?
R実践 機械学習による異常検知 01
R実践 機械学習による異常検知 01R実践 機械学習による異常検知 01
R実践 機械学習による異常検知 01
akira_11
?
数理的に组み込みソフトを开発する方法入门
数理的に组み込みソフトを开発する方法入门数理的に组み込みソフトを开発する方法入门
数理的に组み込みソフトを开発する方法入门
Toshiyuki Fujikura
?
搁て?阶层ヘ?イス?モテ?ル
搁て?阶层ヘ?イス?モテ?ル搁て?阶层ヘ?イス?モテ?ル
搁て?阶层ヘ?イス?モテ?ル
Yohei Sato
?
Japan r2 lt_yokkuns
Japan r2 lt_yokkunsJapan r2 lt_yokkuns
Japan r2 lt_yokkuns
Yohei Sato
?
Tokyor26 data fusion
Tokyor26 data fusionTokyor26 data fusion
Tokyor26 data fusion
Yohei Sato
?
时系列分析による异常検知入门
时系列分析による异常検知入门时系列分析による异常検知入门
时系列分析による异常検知入门
Yohei Sato
?
Tokyo r15 異常検知入門
Tokyo r15 異常検知入門Tokyo r15 異常検知入門
Tokyo r15 異常検知入門
Yohei Sato
?
異常行動検出入門 – 行動データ時系列のデータマイニング –
異常行動検出入門 – 行動データ時系列のデータマイニング –異常行動検出入門 – 行動データ時系列のデータマイニング –
異常行動検出入門 – 行動データ時系列のデータマイニング –
Yohei Sato
?
贵滨罢2012招待讲演「异常検知技术のビジネス応用最前线」
贵滨罢2012招待讲演「异常検知技术のビジネス応用最前线」贵滨罢2012招待讲演「异常検知技术のビジネス応用最前线」
贵滨罢2012招待讲演「异常検知技术のビジネス応用最前线」
Shohei Hido
?
R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02
akira_11
?
RでGARCHモデル - TokyoR #21
RでGARCHモデル - TokyoR #21RでGARCHモデル - TokyoR #21
RでGARCHモデル - TokyoR #21
horihorio
?
R実践 機械学習による異常検知 01
R実践 機械学習による異常検知 01R実践 機械学習による異常検知 01
R実践 機械学習による異常検知 01
akira_11
?
数理的に组み込みソフトを开発する方法入门
数理的に组み込みソフトを开発する方法入门数理的に组み込みソフトを开発する方法入门
数理的に组み込みソフトを开発する方法入门
Toshiyuki Fujikura
?

Viewers also liked (9)

贰补蝉测贬迟尘濒搁别辫辞谤迟の绍介
贰补蝉测贬迟尘濒搁别辫辞谤迟の绍介贰补蝉测贬迟尘濒搁别辫辞谤迟の绍介
贰补蝉测贬迟尘濒搁别辫辞谤迟の绍介
Yohei Sato
?
Tokyor35 人工テ?ータの発生
Tokyor35 人工テ?ータの発生Tokyor35 人工テ?ータの発生
Tokyor35 人工テ?ータの発生
Yohei Sato
?
Tokyor60 r data_science_part1
Tokyor60 r data_science_part1Tokyor60 r data_science_part1
Tokyor60 r data_science_part1
Yohei Sato
?
R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略
Yohei Sato
?
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
Yohei Sato
?
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組みTokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Yohei Sato
?
贰补蝉测贬迟尘濒搁别辫辞谤迟の绍介
贰补蝉测贬迟尘濒搁别辫辞谤迟の绍介贰补蝉测贬迟尘濒搁别辫辞谤迟の绍介
贰补蝉测贬迟尘濒搁别辫辞谤迟の绍介
Yohei Sato
?
Tokyor35 人工テ?ータの発生
Tokyor35 人工テ?ータの発生Tokyor35 人工テ?ータの発生
Tokyor35 人工テ?ータの発生
Yohei Sato
?
Tokyor60 r data_science_part1
Tokyor60 r data_science_part1Tokyor60 r data_science_part1
Tokyor60 r data_science_part1
Yohei Sato
?
R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略
Yohei Sato
?
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
Yohei Sato
?
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組みTokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Yohei Sato
?

More from Yohei Sato (6)

Tokyor60 opening
Tokyor60 openingTokyor60 opening
Tokyor60 opening
Yohei Sato
?
ドリコムの分析环境とデータサイエンス活用事例
ドリコムの分析环境とデータサイエンス活用事例ドリコムの分析环境とデータサイエンス活用事例
ドリコムの分析环境とデータサイエンス活用事例
Yohei Sato
?
第3回Japan rハ?ネルテ?ィスカッション
第3回Japan rハ?ネルテ?ィスカッション第3回Japan rハ?ネルテ?ィスカッション
第3回Japan rハ?ネルテ?ィスカッション
Yohei Sato
?
エンジニアサポート新年会2012 データマイニングcross 第1部
エンジニアサポート新年会2012 データマイニングcross 第1部エンジニアサポート新年会2012 データマイニングcross 第1部
エンジニアサポート新年会2012 データマイニングcross 第1部
Yohei Sato
?
Japan r2 openingJapan r2 opening
Japan r2 opening
Yohei Sato
?
Rて?学ふ? 傾向スコア解析入門 - 無作為割り当てか?出来ない時の因果効果推定 -
Rて?学ふ? 傾向スコア解析入門 - 無作為割り当てか?出来ない時の因果効果推定 -Rて?学ふ? 傾向スコア解析入門 - 無作為割り当てか?出来ない時の因果効果推定 -
Rて?学ふ? 傾向スコア解析入門 - 無作為割り当てか?出来ない時の因果効果推定 -
Yohei Sato
?
ドリコムの分析环境とデータサイエンス活用事例
ドリコムの分析环境とデータサイエンス活用事例ドリコムの分析环境とデータサイエンス活用事例
ドリコムの分析环境とデータサイエンス活用事例
Yohei Sato
?
第3回Japan rハ?ネルテ?ィスカッション
第3回Japan rハ?ネルテ?ィスカッション第3回Japan rハ?ネルテ?ィスカッション
第3回Japan rハ?ネルテ?ィスカッション
Yohei Sato
?
エンジニアサポート新年会2012 データマイニングcross 第1部
エンジニアサポート新年会2012 データマイニングcross 第1部エンジニアサポート新年会2012 データマイニングcross 第1部
エンジニアサポート新年会2012 データマイニングcross 第1部
Yohei Sato
?
Japan r2 openingJapan r2 opening
Japan r2 opening
Yohei Sato
?
Rて?学ふ? 傾向スコア解析入門 - 無作為割り当てか?出来ない時の因果効果推定 -
Rて?学ふ? 傾向スコア解析入門 - 無作為割り当てか?出来ない時の因果効果推定 -Rて?学ふ? 傾向スコア解析入門 - 無作為割り当てか?出来ない時の因果効果推定 -
Rて?学ふ? 傾向スコア解析入門 - 無作為割り当てか?出来ない時の因果効果推定 -
Yohei Sato
?

搁て?レホ?ートメール

  • 1. 搁でレポートメール @yokkuns 里 洋平 yohei0511@gmail.com 2013.01.26 第28回Tokyo.R 2013年1月26日土曜日
  • 2. 自己紹介 ◆ 里 洋平(@yokkuns) ◆ 元Webエンジニアのデータサイエンティスト ?今は主にマーケティング周りを見てる ◆ 統計解析やデータマイニングをビジネスに適用 ?時系列解析とか異常検知とか最適化とか ?いろんなモデルの構築 2013年1月26日土曜日
  • 3. 活動例: 勉強会の主催?執筆 Tokyo.R主催 パッケージ本執筆しました! 2013年1月26日土曜日
  • 4. 活動例: 動画レコメンド 閲覧されている動画の情報を用いておすすめ動画を表示する 2013年1月26日土曜日
  • 5. 活動例: 市場予測 Web上の情報から市場予測 2013年1月26日土曜日
  • 6. 活動例: 異常検知 Anomaly detection 複数時系列から異常な振る舞いを検知する C A 時系列のモデリング 複数時系列の異常検知 B 時系列A 時系列A 異常な振る舞い 時系列B 時系列C 時系列B 時系列C 異常な振る舞いの時系列を検出 例1:トラフィック異常検知 例2:CM効果のノイズ除去 トラフィックA ケースA CM効果 トラフィックB ケースB トラフィックC 調査 ケースC 異常な振る舞いをしている 異常な振る舞いをしているケースを トラフィックの原因を調査する 除外して、CMの効果を算出する 85 2013年1月26日土曜日
  • 7. 活動例: 時系列解析と影響分析 TV Commercial E?ects 時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出 イベン CM時系列 ト 新規 登録 CM ARPP U ARPU 各KPIの時系列 その他 外部 継続率 要因 ケース 87 2013年1月26日土曜日
  • 8. 新たな勉强会 TokyoApache.Pig https://groups.google.com/group/tokyo_apache_pig 2013年1月26日土曜日
  • 10. 碍笔滨をチェックしたい 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! 2013年1月26日土曜日
  • 11. 碍笔滨をチェックしたい 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! 普段は見ないけど異常があったら見たい! 2013年1月26日土曜日
  • 12. 碍笔滨をチェックしたい 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! 普段は見ないけど異常があったら見たい! 過去分も含めていろんな軸で見たい! 2013年1月26日土曜日
  • 13. 碍笔滨をチェックしたい 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! knitr+sendmailR 普段は見ないけど異常があったら見たい! 過去分も含めていろんな軸で見たい! 2013年1月26日土曜日
  • 14. 碍笔滨をチェックしたい 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! knitr+sendmailR 普段は見ないけど異常があったら見たい! changeAnomalyDetection+knitr+sendmailR 過去分も含めていろんな軸で見たい! 2013年1月26日土曜日
  • 15. 碍笔滨をチェックしたい 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! knitr+sendmailR 普段は見ないけど異常があったら見たい! changeAnomalyDetection+knitr+sendmailR 過去分も含めていろんな軸で見たい! shiny 2013年1月26日土曜日
  • 16. 碍笔滨をチェックしたい 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! knitr+sendmailR 普段は見ないけど異常があったら見たい! changeAnomalyDetection+knitr+sendmailR 過去分も含めていろんな軸で見たい! shiny 2013年1月26日土曜日
  • 17. 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! DailyとかHoulyでレポートメールを配信しよう どうせなら、HTMLメールにして表とかグラフとか付いてると嬉しい knitr markdown 生成 送信 Rmdファイル sendmailR htmlファイル 2013年1月26日土曜日
  • 18. 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! 現在バージョンのものでは、HTMLメールが送れないので 修正版をインストールする $ git clone git@github.com:yokkuns/sendmailR.git $ cd sendmailR $ sudo make install または、make installではなく make packageをしてR上でインストール $ make package $R > install.packages("sendmailR_1.1-2.tar.gz") 2013年1月26日土曜日
  • 19. 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! RStudioでRmd形式でレポート内容を出力するスクリプトを書く 2013年1月26日土曜日
  • 20. 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! knitrとmarkdownを使ってhtmlファイルを作成する デフォルトだと画像がbase64エンコードされてメールで表示されない options引数で、必要なオプションのみを指定するようにする 2013年1月26日土曜日
  • 21. 直近のデータで顿补颈濒测とか贬辞耻谤濒测で见たい! 画像のリンクを添付画像に置換し、sendmail関数で送信! 2013年1月26日土曜日
  • 22. 普段はみないけど异常があったら见たい! changeAnomalyDetectionパッケージを使って異常検知 異常があった時だけメール送信する アラートメール送信 2013年1月26日土曜日