[WWW Conference 2011]Information Credibility on Twitter
?Download as PPTX, PDF?
1 like?1,213 views
Created by Kshi_Kshi Twitter: @Kshi_Kshi Hatena_id:Kshi_Kshi_Research
![Twitter Monitorの利用?Twitter上のツイートを解析（一定期間でのキーワードの頻出確率や、ツイートに付加されたURLなど…)?流行のトピックとしてツイートをまとめてくれるもの[18] M. Mathioudakis and N. Koudas. TwitterMonitor: trend detection over the twitter stream. In Proceedings of the 2010 international conference on Management of data,pages 1155–1158. ACM, 2010.http://mydailymonitor.net/12](https://image.slidesharecdn.com/2011-www-informationcredibilityontwitter-110511095843-phpapp01/85/WWW-Conference-2011-Information-Credibility-on-Twitter-12-320.jpg)
![分類器作成に使う特徴(Feature)先行研究を手掛かりに属性をリストアップ。[1,2,12,26]Message-based(メッセージの特徴)ツイートの長さ。RT, @reply 以下の文字を含んでいるかどうか？”?”,”!”,”^^”,”(*- -)” Positive or Negative, etc…User-based（ユーザの特徴)年齢,ツイート数,フォロー数,フォロワー数,プロフィールの有無,URLの有無。Propagation-based (拡散(RT)の特徴)拡散の深さ(RT),平均深さと最大深さ, etc…Topic-based(トピックの特徴)含まれているURLのドメインは有名(popular)なURLなのか？リツイートの頻度,ポストしたユーザの平均年齢, etc…16](https://image.slidesharecdn.com/2011-www-informationcredibilityontwitter-110511095843-phpapp01/85/WWW-Conference-2011-Information-Credibility-on-Twitter-16-320.jpg)
[WWW Conference 2011]Information Credibility on Twitter
- 1. Information Credibility on TwitterTwitter: @Kshi_KshiHatena_id: Kshi_Kshi_Research1
- 2. 序論 - 論文 Information - 論文 Overview - 選定理由2
- 3. 論文 informationTitle: Information Credibility on Twitter( Twitter上での情報の信用性 )Author: ?World Wide Web (WWW), ACM Press, 2011?Barbara Poblete@bpobletehttp://research.yahoo.com/Barbara_PobleteCarlos Castill@chatoxhttp://research.yahoo.com/Carlos_CastilloMarcelo Mendoza???http://research.yahoo.com/Marcelo_Mendozaresearch by3
- 4. 論文 Overview目的ツイートに信用性があるかどうかを、ソーシャルメディア上の情報のみから、自動的に判断できるかどうか？の試みによって、仮説：「ソーシャルメディアの中にはツイートの信用性を評価できる特徴があること」を示す。手法 - “Twitter Monitor”を用いて、盛り上がっている話題（ツイートの集合）を取得 - NEWS(報道価値のある情報）とCHAT(友達間の会話)を分類する分類器を作成 - 情報の信用性を判断するために、分類器を作成 - 分類器の最適な特徴(Feature)について考察する結果 - F値 92.4%の精度でNEWSクラスに分類できた。 - F値 86 %の精度で信用できるか否かに分類することができた。 - 情報の信用性と相関が高いor低い特徴(Feature)などが明らかになった。論文のポイント分類器を作成する時に、ソーシャルメディアのどのような情報を利用するのか？4
- 6. 論文紹介 はじめ - Twitter(研究背景) - 着目している問題点 - 目的 - 提案手法 概要図<附録> - Twitter 基本用語① - Twitter 基本用語②6
- 7. 140文字以内の短い投稿(ツイート)を投稿し て、みんなで共有するサービスです。今回の災害時には、大活躍！電話がつながらない中、安定してサービスを供給し、Twitterの特徴の即時性?手軽さの甲斐もあり、多くの人の情報源として貢献。http://twitter.com地方自治体もアカウントを開設し、情報を提供している?首相官邸（災害情報）@Kantei_Saigai ? 総務省消防庁 @FDMA_JAPAN?岩手県広聴広報課 @pref_iwate etc…しかし、7
- 8. 嘘情報も同時に拡散してしまうデマの拡散 ex) “放射能対策：うがい薬、効果あり”“うがい薬” and “放射能”を含むTweet数、時系列(2011/03/12)8http://getnews.jp/archives/107722
- 9. 目的?以下の仮説を明らかにする。ソーシャルメディアの中には、ユーザが情報の信頼性の評価に利用できるシグナル（要素）があるex) ツイートの傾向(リプライ?リツイート?被リツイート頻度…),ユーザ情報(フォロワーの数,…),Other Info(付加したURL先の情報,…), 别迟肠…?ソーシャルメディアの情报のみから、ツイートの信用性について、自动的に评価できるかどうか？の试み。9
- 10. 提案手法 概要図学習フェーズ分類器A※を作成(NEWS or CHAT )1Tweet 集合Trend Topicを取得学習フェーズ分類器B※ を作成(情報の信頼性の有無)分類器Aの適用NEWSUNSURE分類器Bの適用CHATTRUEFALSEor2Tweet の分類(NEWS or CHAT)3情報の信用性を評価※ Mechanical Turk にてラベル付けを行った後10
- 11. ① Trend Topic の取得 -Twitter Monitorの利用 - データセット概要<付録> - What is “Twitter Monitor” ?11
- 12. Twitter Monitorの利用?Twitter上のツイートを解析（一定期間でのキーワードの頻出確率や、ツイートに付加されたURLなど…)?流行のトピックとしてツイートをまとめてくれるもの[18] M. Mathioudakis and N. Koudas. TwitterMonitor: trend detection over the twitter stream. In Proceedings of the 2010 international conference on Management of data,pages 1155–1158. ACM, 2010.http://mydailymonitor.net/12
- 13. Trend Topicデータセット 概要?期間: 2カ月?1トピックの取得期間: 書き込まれた頻度がピークだった時間を中心に２日間のツイートを取得?取得数: 2500トピック以上?データセット対象:1トピックが10,000ツイート以下のトピック（取得した全体の99%に相当する）ピーク2日間図 ：Google リアルタイム検索 Query: ”もう帰るんですか”図 ：1トピックに含まれるツイート数13
- 14. ② Tweet の分類(学習データの作成方法は発表時間の都合上,割愛させていただきます) - ”NEWS” or “CHAT”の定義 - 分類器作成に使う特徴(Feature) - 具体的な特徴(Feature)リスト - 分類器Aの作成?結果<付録> - Mechanical Turk とは? - 学習データ(評価者の作業) - 学習データ 方法?結果14
- 16. 分類器作成に使う特徴(Feature)先行研究を手掛かりに属性をリストアップ。[1,2,12,26]Message-based(メッセージの特徴)ツイートの長さ。RT, @reply 以下の文字を含んでいるかどうか？”?”,”!”,”^^”,”(*- -)” Positive or Negative, etc…User-based（ユーザの特徴)年齢,ツイート数,フォロー数,フォロワー数,プロフィールの有無,URLの有無。Propagation-based (拡散(RT)の特徴)拡散の深さ(RT),平均深さと最大深さ, etc…Topic-based(トピックの特徴)含まれているURLのドメインは有名(popular)なURLなのか？リツイートの頻度,ポストしたユーザの平均年齢, etc…16
- 18. 分類器Aの作成アルゴリズム?結果?Algorithm: “J48 tree” (C4.5決定木を拡張した)採択理由: (SVM, ベイジアンネットワーク, decision trees, decision rulesなどの様々なアルゴリズムで試した結果、精度が一番良かったため。)結果適合率?再現率(F値 92.4%) 共にいい精度が得られた。18
- 19. ③ 情報の信用性の評価(学習データの作成方法は発表時間の都合上,割愛させていただきます) - 分類器作成時の特徴の選択 - 分類器Bの作成 - 分類器Bの結果 - 特徴と信用性との関係<付録> - 学習データ(評価者の作業) - 学習データ作成 方法?結果19
- 22. 分類器Bの結果22学習データ計 747 topicsテストデータ計 608 topics判定結果TRUE 306 topicsFALSE 302 topics結果適合率?再現率(F値: 86.0%)ともに高精度な結果が得られた
- 28. ご清聴ありがとうございましたThank you for listening.Let’s move on a question and answer session.28
- 29. 付録 - Twitter 基本用語集① - Twitter 基本用語集② - What is “Twitter Monitor” ? - What is “Mechanical Turk” ? - 学習データの作成方法 (分類器A,B)29
- 30. Twitter 基本用語集①（本論文の理解に必要と思われる）Example Community@A_san@C_san@B_sanTweet(ツイート):各ユーザが行う140文字以内の投稿Timeline/TL (タイムライン): Twitterのページで他のユーザーや自分の投稿が表示される部分のことを示す言葉。Follow(フォロー):あるユーザをフォローすると,自分のタイムラインに表示されるようになる。 Ex) @A_sanは@C_sanのみをフォローしているので、 @A_sanのタイムラインには @A_sanと @C_sanのTweetが表示される。Followers(フォロワー):フォローしているユーザをさす。 Ex)@A_sanのフォロワーは @B_san, @C_san, @D_sanの3人。 @C_sanのフォロワーは@A_sanの1人。@D_san: follow30
- 31. Twitter 基本用語集②（本論文の理解に必要と思われる）Example CommunityMention/reply(リプライ):ツイートの先頭に, ”@ユーザ名” をつけて,発言を行う行為。そのユーザに対して発言することを意味する。両者をフォローしていないと他のユーザのTLには表示されない。Ex) @A_sanが@C_sanにMentionを行った場合、@B_sanのTLには、その発言が表示されないが、両者をフォローしている@D_sanには表示される。Retweet / RT(リツイート): 返信(Reply)の場合その相手もフォローしていないとタイムラインに流れない仕様だが、多くの人に報知したい時など、他のユーザの発言を自分のフォロワーに共有したい場合に用いる。(公式RT,非公式RTがある)Ex)@A_sanがリツイートすると、@A_sanをフォローしている@B_san,@C_san,@D_sanのタイムラインに表示される。@A_san@C_san@B_san@D_san: followHash tag(ハッシュタグ): ツイートに記号 # から始まる識別子をつけると一つのテーマに沿った投稿を横断的に見ることができるようになる。ユーザ達のツイートを一つのテーマにまとめて観覧することができる。Ex)まだまだ、ありますが、実際にアカウントを作って、体験するのが近道かと。 ->http://twitter.com31
- 32. What is “Twitter Monitor”※?※ 現在はmyDailyMonitorという名前で公開されてますAboutmyDailyMonitor?is an online monitoring system that performs trend detection over the?Twitter?stream. The system identifies emerging topics (i.e. 'trends') on Twitter and provides meaningful analytics that synthesize an accurate description of each topic.myDailyMonitor?is currently under development as a research project at the?University of Toronto.SystemmyDailyMonitor?is written in Java and it runs on two Sun server machines. Its main components include (i) the Twitter streamlistener, a multi-threaded crawler that collects in real time over 15 million tweets per day, (ii) the?trend detection?module, which distills the collected data to identify trends and (iii) the?trend analysis?module, which employs text analysis algorithms to extract additional information about trends.http://mydailymonitor.net/32
- 33. Mechanical Turk とは?33Amazon Mechanical Turkとは、今まではソフトウェアに実行させていた処理の中でも、人間の方が得意であると思われる作業を、開発者がウェブ上に掲示することによって行ってもらうという市場形式のことである。http://www.sophia-it.com/content/Amazon+Mechanical+Turk詳しくはコチラ↓https://www.mturk.com/mturk/welcome
- 34. 学習データ作成(評価者の作業)評価者には以下のような作業が求められる。①それぞれに属するtopicの10ツイートとTwitter Monitor で表示される各々のtopicを代表するキーワードを見せる。② そのトピックに属しているツイートが、?現在,広がっている特定の出来事についての情報なのか?(NEWS)?コメントや会話なのか？(CHAT)尋ねる？③ 各々のトピックで、そのトピックについて評価者は短い説明を求められる。※ 情報が曖昧で、回答不可能と判断した場合、回答を無視できる。Understanding a topicNEWSor CHAT ? Asking the reason34
- 35. 学習データ作成 方法?結果-無作為に選択した 383 topics-３つに分ける (3 HITs)-10日間の評価(公開)期間-必ず7人に評価してもらう(each HIT)-7人中5人以上が同じクラスとした場合、クラスが決まる、それ以外は”UNSUREクラス”に属するものとする。NEWSクラス 29.5% (113 topics)CHATクラス 34.9% (134 topics)UNSUREクラス 35.6% (136 topics)Result35
- 36. 分類器Bの作成まで概略図2524 topics747 topicsMechanical 罢耻谤办にて学习データ作成狈贰奥厂分类器础颁贬础罢鲍狈厂鲍搁贰36
- 37. 学習データ（評価者の作業）?各々のトピックに対して、10tweetsを見せ、?そのトピックの信用性について、いずれかに属すか？評価者に判断してもらう。 (i) almost certainly true (ほぼ確実に正しい) (ii) likely to be false (嘘っぽい) (iii) almost certainly false (ほぼ確実に嘘) (iv) I can’t decide. (決められない)?また、判断した根拠を短い文章で求める。37
- 38. 学習データ作成 方法?結果対象: NEWSクラスに分類された 747topics評価者: 各々のトピックに対して7人に評価してもらう判定基準： 7つの評価のうち少なくとも5つ以上の一致があれば、その評価値に定まる。それ以外は”Ambiguous”とした。Result“almost certainly true” 41.0% (306 topics)“likely to be false” 31.8% (237 topics)“almost certainly false” 8.6% (65 topics)“Ambiguous” 18.6% (139 topics)38