NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品?サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。
NTT communication developed the Hadoop-based log analysis system for the marketing purpose. This system extract the interest or feedbacks of the specific goods/products, by analyzing the access logs, query logs, click logs and CGM data. The three types of the analysis are supported: 1) reputation analysis, 2) related-word analysis 3) user interest estimation. This session also describes how to reduce the shuffle size, and the specifications of our Hadoop clusters.
Hadoop Conference Japan 2011 Fall: マーケティング向け大规模ログ解析事例绍介Kenji Hara
?
2011/9/26にベルサール汐留で開催された『Hadoop Conference Japan 2011 Fall』(日本Hadoopユーザー会主催)での講演資料です。
講演概要
==
NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。
本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品?サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。
本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。
NTT communication developed the Hadoop-based log analysis system for the marketing purpose. This system extract the interest or feedbacks of the specific goods/products, by analyzing the access logs, query logs, click logs and CGM data. The three types of the analysis are supported: 1) reputation analysis, 2) related-word analysis 3) user interest estimation.
This session also describes how to reduce the shuffle size, and the specifications of our Hadoop clusters.
NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品?サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。
NTT communication developed the Hadoop-based log analysis system for the marketing purpose. This system extract the interest or feedbacks of the specific goods/products, by analyzing the access logs, query logs, click logs and CGM data. The three types of the analysis are supported: 1) reputation analysis, 2) related-word analysis 3) user interest estimation. This session also describes how to reduce the shuffle size, and the specifications of our Hadoop clusters.
Hadoop Conference Japan 2011 Fall: マーケティング向け大规模ログ解析事例绍介Kenji Hara
?
2011/9/26にベルサール汐留で開催された『Hadoop Conference Japan 2011 Fall』(日本Hadoopユーザー会主催)での講演資料です。
講演概要
==
NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。
本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品?サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。
本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。
NTT communication developed the Hadoop-based log analysis system for the marketing purpose. This system extract the interest or feedbacks of the specific goods/products, by analyzing the access logs, query logs, click logs and CGM data. The three types of the analysis are supported: 1) reputation analysis, 2) related-word analysis 3) user interest estimation.
This session also describes how to reduce the shuffle size, and the specifications of our Hadoop clusters.
2. About me
San Diego State University
M.A in Computational Linguistics
Statistical machine translation
!
focused areas:
-machine translation
- Sentiment-analysis
- psycho-linguistics
Background
3. NLP関連サービス Map(独断と偏見)
B to B
技術/研究
ニーズ
言語処理系エンジン
サーチエンジン
Recommend
engine
Siri
Google Translation
Google Search
音声認知
自動翻訳ソフト
自動要約ソフト
WordNet
ConceptNet
!
News
キュレーション
Watson
MeCab
Cabocha
Twitter 分析
感情分析
Boomresearch
cocomimi
B to C