狠狠撸

ソーシャルデータストリームから垣间见る
今後のエンタープライズアーキテクチャ考

A-1 CAC Corporation
夏サミ2012ハッシュタグ Systems Architect
◆夏サミ全体 #natsumi
facebook: kohei.kumazawa
【A-1】#natsumiA1
Developers［Social Enterprise］ Summit 2012 (A-1)

Profile http://www.facebook.com/kohei.kumazawa
職種： Systems Architect
名前：熊澤公平
1987年東北大学工学研究科機械工学専攻博士前期課程修了
スパコン（並列処理）の
数値解析アーキテクチャ
同年株式会社リクルートに入社

2003年株式会社シーエーシーに転職
（ネット業界におけるビジネスおよびシステムコンサル）大規模ＷＥＢインフラの
アーキテクチャ

2003年東京大学工学部システム創成学科非常勤講師
～2009年（Javaプログラミング基礎演習）
ビジネスとシステムの
アーキテクチャ
2008年横浜国立大学院工学府非常勤講師
～2010年（システムマネージメント）

1. デブは伝染する！

デベ


知っていますか？デブは伝染するって

友人同士の会話


最近ふとっちゃって….

いやいやそんなことないよ


同じくら
い普通
なら….

デブ閾値の増加


最近ふとっちゃって….

いやいやそんな
ことないよ


そして皆、デブになった…..。


都市伝説ではありません
? 米国、マサチューセッツ州、1万2067人を32年間追跡調査
? あなたの親友が肥満になった場合、あなたが肥満になる確率は57％増加
? また、兄弟姉妹が肥満になった場合、あなたが肥満になる確率は40％増加
? 夫婦は、37%増加
? 片方向のみ友人と思っている場合は、無関係。

丸の大きさがBMI値に比例
黄色が30以上、緑が30未満
黄色ばっかりに……
http://christakis.med.harvard.edu/

本日のお題はソーシャルエンタープライズ

企業におけるソーシャルコミュニケーションの活用？

? メール、掲示板、グループウエア、昔からコミュニ
ケーションツールはいろいろありますよね。

? でも…..、あるだけになっていませんか？

? 活発ですか？面白いですか？


本日お话したいこと

会話の流れを見る
↓
活性化：会話を刺激する
↓
仕組みって？


２．アクティブなソーシャルって？


Timeline
上
か
ら
下
へ
流
れ
て
い
く
も
の
?
?
?
?
?
？


ソーシャルデータはダイナミックな流れである

ソーシャルデータ → ソーシャルデータストリーム
同時多発で動的なもの

London周辺でのtweetの時間推移


典型的なソーシャルモニタリングツールといえば

Time series analysis（時系列解析）

Developers［Social Enterprise］ Summit 2012 (A-1) http://www.radian6.com/

「ソーシャルストリーム?ビジネス Twitter、Facebook、iPhone時代の消費者を巻き込むビジネスの新ルール」より
http://www.amazon.co.jp/gp/product/4844328956/

ソーシャルデータストリームの時系列パターン
? ４つのパターン
閲覧数

パルスクォリティ
パターンパターン
F=80~100% F=20~80%

時間

ブレーク複数の
パターン組み合わせ
F=0~20%


時系列パターンとアクティブ度
再生数

パルスパターンクオリティパターン
時間平均CTR: 0.01% 平均CTR: 0.6%
ブレークパターン
複数の組み合わせ
平均CTR: 2.3%

これが
重要


3. アクティブなソーシャルの構造？


ソーシャルデータストリームにはグラフ构造がある


構造を見てみよう：グラフ分析ツール
Tool
? Pajek http://vlado.fmf.uni-lj.si/pub/networks/pajek/
? Graphviz http://www.graphviz.org
? NetDraw https://sites.google.com/site/netdrawsoftware/
? Graphi http://oss.infoscience.co.jp/gephi/gephi.org/index.html
? NodeXL http://nodexl.codeplex.com/

R
? sna
? network graph
? igraph
? inetowork


ソーシャルデータストリームの构造例

NHK科学文化部

LHC アトラス実験
日本グループ

“ヒッグス”が含まれているtweetの伝播の様子 2012/7/4 17-18

ソーシャルデータストリームの构造例

“ヒッグス”が含まれているtweetの伝播の様子 2012/7/4 17:28-17:43

伝播パターン
花火パターン数珠つなぎ
パターン


瞬间的に広がる時間差がある
伝播パターン持続しない議論が持続する

花火パターン数珠つなぎ
パターン


伝播パターン：
ブレークパターン=数珠つなぎパターン
120

100

80

60

40

20

時間差がある
議論が持続し、 F=10.7%
0
盛り上がりがある
“ヒッグス”が含まれているtweetの伝播の様子
2012/7/7 0:00-16:00
UTC

4. アクティブなソーシャルに仕向けられれば


ハッシュタグ：コミュニティ同志をつなげる

デブサミに来ています！
#devsum

デブサミ面白いです！
#devsum
#devsum #rubyjp

RT デブサミ面白いで
す！@aaa ありがとうござ？
います！ #devsum
#rubyjp

媒介者になる
（媒介中心性）
(Betweenness centrality)

例）浦安水情報
小さなコミュニティ大きなコミュニティ

浦安の水情報をオープン
しました #urayasu_water

拡散希望浦安水情報
#urayasu_water
#urayasu_water #urayasu
RT ありがとうございま
す！拡散希望浦安水
情報 #urayasu_water
#urayasu


0
100
200
300
400
500
600
03月12日-…
03月12日-…
03月12日-…
03月12日-…
03月12日-…
03月12日-…
03月12日-…
03月12日-…

の流入
03月12日-…
03月12日-…
03月12日-…
#urayasu_water単独

03月12日-…

#urayasuから
03月13日-…
03月13日-…
#urayasu+#urayasu_water

03月13日-…
Gross Audience フォロワー数

03月13日-…
03月13日-…
03月13日-…
03月13日-…
03月13日-…
03月13日-…
03月13日-…
03月13日-…
03月13日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月14日-…
03月15日-…
03月15日-…

03月15日-…
03月15日-…
03月15日-…
03月15日-…
03月15日-…
03月15日-…
03月15日-…
03月15日-…
例）#urayasu → #urayasu_water

03月15日-…
03月15日-…
0
20000
60000
80000

40000
100000
120000
140000
160000
180000

例）#urayasu → #urayasu_water

初期(3/12-3/13 8:00)：シンプルな構造翌々日：複雑な構造


10
20
30
40
50
60
70

0
03月12日-00時
03月12日-04時
03月12日-08時
03月12日-12時
03月12日-16時
03月12日-20時
03月13日-00時
03月13日-04時
03月13日-08時
03月13日-12時
03月13日-16時
03月13日-20時
03月14日-00時
03月14日-04時
03月14日-08時
03月14日-12時
03月14日-16時
03月14日-20時
03月15日-00時
03月15日-04時
例）ブレークパターンに

03月15日-08時
03月15日-12時
03月15日-16時
03月15日-20時
03月16日-00時
03月16日-04時
03月16日-08時
03月16日-12時
03月16日-16時
03月16日-20時
03月17日-00時
03月17日-04時
03月17日-08時

03月17日-12時
03月17日-16時
03月17日-20時
03月18日-00時
03月18日-04時
03月18日-08時
03月18日-12時
03月18日-16時
03月18日-20時
03月19日-00時
03月19日-04時
03月19日-08時
03月19日-12時

5. アーキテクチャ考：データからストリームへ


ソーシャルコミュニケーションの活性化
? ソーシャルデータストリームは生きている
→ 常に見ておかなければならない


ストリームデータ管理?颁贰笔
? ソーシャルデータのすべてが必要なのだろうか？
? 分析が終わっている時には流れは変わっていますよね
? 変化した時にアラートがでれば十分なのでは？


ストリームデータ管理?颁贰笔

DATA
DATA

Query
DATA
DATA
DATA Query

DATA

DATA
DATA

DATA

DATA
DATA
Event

DATA

DATA
DBMS
DSMS


ソーシャルデータ → ソーシャルデータストリーム

流れの変化を見つけ、アクション
tweet
tweet
data
stream

Social data CEP
database

Action Action
貯めて分析し、アクション

Analytics Action Monitor Action


事例）厂迟谤别补尘产补蝉别検知したいことを
定義

モニターにアラー
twitterのtweetを
トを表示
入力ストリームと
して定義

必要な一部分のみを
全体を設計し、組み
上げていく作り、逐次組み上げ
ていく
Integration approach
Synthetic approach

http://www.streambase.com

大量データにも対応 BigDataも
対応可能に!
Big Data S4, C-MR, storm
MapReduce Online, jubat.us
Distributed Big Analytics
MapReduce
Stream Management

DEDUCE

Esper
Legacy DSMS,CEP Streambase
Small Data Oracle, WS
Stored Real time Sybase/SAP
Jubatus
S4
http://research.preferred.jp/2011/10/jubatus/
http://incubator.apache.org/s4/
Big Processing
C-MR http://cs.brown.edu/~backman/cmr.html
MapReduce Online http://www.usenix.org/event/nsdi10/tech/full_papers/condie.pdf
DEDUCE http://www.edbt.org/Proceedings/2010-Lausanne/edbt/papers/p0657-Kumar.pdf

Big Analytics :
分散オンライン解析 → どんどん提案が！

? 単純な分散は頻繁な更新が発生してしまう
? 各サーバー内で計算されるモデルをどう
やって緩やかに同期するか
例）グラフィカルモデルの分散処理

Residual Splash for Optimally Parallelizing Belief Propagation（2009）
http://www.cs.cmu.edu/~ylow/paraml_aistats2009.pdf

On Dense Pattern Mining in Graph Streams（2010）
http://www.cs.kent.edu/~jin/Papers/vldb10_gseq.pdf

GraphLab （2010）
http://graphlab.org/

GraphLab: 機械学習のための分散処理API
CMUのMLグループが中心、HDFSとインテグレート、オープンソース

Graph processing
Graph Graphical Computer Topic Collaborative
Analytics Models Vision
Clustering
Modeling Filtering
Triangle Counting
Pagerank
GraphLab Version 2.1 API (C++) K-Cores
Map/Reduce Ingress Collaborative Filtering
Async.
Sync. Engine ALS,Weighted ALS
Fault Tolerance Engine Distributed Graph SGD, Biased SGD
Graphical Models
MPI/TCP-IP Comms PThreads Boost Hadoop/HDFS
Loopy Belief
Linux Cluster Services (Amazon AWS) Propagation
Max product LP
Computer Vision
Twitter data 1536台 Image stitching
40M Users 423分 Feature extraction
1.2B Edges 64台、1024 Cores Clustering
1.5分 K-Means++
http://graphlab.org/ Developers［Social Enterprise］ Summit 2012 (A-1)

ちょっと待って


ちょっと待て、でも必要なのはアラート情報

? ソーシャルデータを自社にもってくる必要はある
のでしょうかね？

? もともと外にあるソーシャルデータストリームは、
もってこずに、単に監視できればいいのでは？


ストリームデータはどこに？ CEPも外へ

CEP

tweet
Alert
stream

CEP

Action
CEPは中 Action Monitoring

Monitor Action Action Monitor
in the enterprise in the enterprise


ストリームマイニングクラウド
分析装置
? Opera solutions

ストリーム
検知装置

ここにソーシャル
データストリーム
が入れば完璧だ
が…..。

Developers［Social Enterprise］ Summit 2012 (A-1) http://www.operasolutions.com/

国内でもストリームマイニングフレームワーク
リアルタイム
? Structured Perceptron
[Collins, EMNLP 2002] 2011年
? Passive Aggressive / MIRA 2004～
? oll: online-learning library
[岡野原, 2008]
ユバタス
プリファードインフラストラクチャー社

小規模大規模
単体 WEKA
The University
分散処理
of Waikato
1993年
2006年
1998年
バッチ
Special thanks to Preferred Infrastructure.
http://jubat.us/ http://preferred.jp


SalesForce/Radian6 + Twitter Firehose

※Firehoseは、全公開ツイートをリアルタイムに取得可能な機能


まとめ：Enterprise social

to public

CEP

Data mart

Business application Data mart
Sub system
CRM

Business application Data mart
Sub system ESB

Business application
Sub system
データはためて分析（処理）する
データプロセッシング

まとめ：Social enterprise 見方を変えよう

Stream data analysis platform
CEP

Cloud CEP

Data mart
Sub system

Sub system
ESB
CRM Social enterprise cockpit
Sub system パブリックなソーシャルデータ
Data mart

Legacy systems
ストリームからリアルタイムに情報を得る

まとめ:
データプロセッシングデベロッパーから

ストリームデータデベロッパーにL.up!

Shall we hack stream!

Thank you.

https://www.facebook.com/kohei.kumazawa

http://www.nasa.gov/mission_pages/sdo/multimedia/potw/potw-106.html

狠狠撸

Developers [Social Enterprise] Summit 2012 A1

More Related Content

Developers [Social Enterprise] Summit 2012 A1