Gunosy go2015 06-02
- 2. WHO
? バクフー株式会社?柏野 雄太
? 大規模リアルタイムデータのPPPP (P4)
? preprocess /process /persistence /providing
Wednesday, June 3, 15
- 4. WHAT: データプラットフォーム
? 大規模?リアルタイム?オンタイム
リアルタイムデータ 処理 ストア
API, 検索
ストリーミング
API, 検索
可視化 通知
API, 検索
ストリーミング
API, 検索
可視化
経済データ ES / redis /
s3
異常値検知
混雑データ ES / S3変換/分類
気象データ ES/S3変換/分類
ES/Solr/
mongoDB
自然言語処理/LDA/セ
ンチメント解析twitter
Wednesday, June 3, 15
- 5. HOW: 支える技術
? 分散マイクロサービス
async
tornado (eposs/kqueue)
asyncio (gevent/libev/libuv...)
gevent/greenlet (libev+libio)
node.js (libuv)
messaging ZeroMQ
MQS
RQ + Redis
Celery + RabbitMQ
DB
Elasticsearch / Solr
Redis, MongoDB
HDFS, Cassandra
MySQL / PostgreSQL
S3
ML/Sci
Numpy/Scipyツールチェーン
vowpal_wabbit
Theano / keras / caffe
Wednesday, June 3, 15
- 9. 感想: たしかに良い
? お気軽で速い (チューンなしで倍速)
? 単なるforが速い <- Pythonではforを使うと負け
? ただweb系サーバ自体の性能はほとんど変わらず…
? タイムスタンプとか普通に苦労しない
? cgoがある
? In?uxDBとか本格派フレームワークが登場してきた
Wednesday, June 3, 15
- 10. 感想: つらさも…
? 型がキツい
? goroutine/chanのスタイルがステキだが古くさい
? ジェネレータ的なコンカレントなスタイルが難しい
? zmqあればgorutineなくても別に困らない…
? ライブラリ等がカオス (awesome goはあるが…)
? 開発エコシステムがスケールしない？
Wednesday, June 3, 15
- 11. 感想: つらさも…2
? Go + MeCab / Chasen... とかつらすぎる
? 結局cgoで自前バインディングという…
? といいますか，日本語の自然言語処理全般に無理すぎ
感が…
? 逆に必要なcのライブラリさえあれば，cgoがあれば，
自力で少ない努力でなんでもできるという面はある
Wednesday, June 3, 15
- 12. 感想: つらさも…3
? ML/科学計算エコシステムが未成熟
? pandasのようなデータフレームがない
? numpy/scipyのような
? ML特に深層学習などイケてる技術は壊滅…
? リアルタイムwebが未成熟
? websocketライブラリが… (net, gorilla)
Wednesday, June 3, 15
