狠狠撸

狠狠撸Share a Scribd company logo
今回の資料およびコードはコチラにあります
https://github.com/akrgt/otree-train
!1
クラウドソーシングを使って
oTreeで実験をやってみよう.
!2
オンライン実験について:
講義編
明治大学 情報コミュニケーション学部
後藤 晶
akiragoto@meiji.ac.jp
!3
クラウドソーシングを使って
oTreeで実験をやってみよう.
概要:
?社会科学の「実験」化:実験社会科学
– 社会科学のビッグデータ化.
– 「計算社会科学」という学術領域も立ち上がりつつある.
?クラウドソーシングを使ったオンライン実験をしよう!
– クラウドソーシング:オンライン上でタスク実施者を採用して実験参加者を集めて実
験を実施
– 当初はインタラクションのある実験の実施には難があった...
?インタラクションのある実験も無事にできた!
– 900人近くの実験参加者を集めた実験も実施できており,今後も様々な実験を展開して
いく.
?他にもいろんな応用可能性が待っている!
!4
軽く自己紹介を...
?後藤 晶
– (ごとう あきら)
?明治大学情報コミュニケーション学部専任講師
?専門分野:行動経済学?社会情報学?実験/計算社会科学
– 利他行動?協力行動の促進/抑制要因:ゲーム実験を中心として.
? SVOを使った調査なども実施
– 情報社会における監視と信頼に関する研究:創造?毀損?回復過程の解明
– 行動経済学の観点からの「政策」評価:行動経済学を政策に活かせないか?
? 最近はプレミアム商品券関連をどうにか攻めたい!
– クラウドソーシングを用いた経済ゲーム実験環境の構築
!5
クラウドソーシングを使って
oTreeで実験をやってみよう.
?イントロダクション
?oTreeとは
?クラウドソーシングとは
?残りは実践編へ
目次: !6
クラウドソーシングを使って
oTreeで実験をやってみよう.
?イントロダクション
?oTreeとは
?クラウドソーシングとは
?残りは実践編へ
目次: !7
社会科学の「実験」化:実験社会科学(西條?清水, 2014)
?異なる学問領域の研究者が「実験」を共通言語として
社会現象を解明&これからの社会をデザインする
– ラボ実験,フィールド実験,調査,コンピュータシミュレーションな
ども「実験」として包含
?実験が行われてなかった社会科学領域に対して導入
– 経済学,会計学,政治学など
– ゲーム理論の枠組みを用いた実験が中心&神経科学領域との融合
– ゲーム理論が応用可能な分野(様々なプレイヤーが関わる学問)に応
用できるのではないか.
– ラボ実験を中心として展開されてきた.
!8
「実験」のビッグデータ化:
?「実験室実験」から「オンライン実験へ」
– ラボ実験:充実した実験環境の構築にはコストが大きい.
? メリット:完璧な統制環境の構築が可能
? デメリット:数10人?200人程度を対象,1研究に10万円—のコスト
– コンピュータ等の整備を含めるともっと...
– 実験者の周辺にいる人(学生など)が中心
– オンライン実験:webフレンドリーなプログラムにより一気に実験
? メリット:数千人を対象に,数万円台?で実験を実施可能,広い社
会経済的要因の影響を分析可能
? デメリット:完璧な統制環境の構築は困難
– 実験室のような統制はできない.
!9
!10
実験参加者が周辺にいない&
お金がないと実験できない??
地方私大じゃ実験参加者を確保できない&
研究費に苦難の時代が...
「実験」のビッグデータ化:
?「実験室実験」から「オンライン実験へ」
– ラボ実験:充実した実験環境の構築にはコストが大きい.
? メリット:完璧な統制環境の構築が可能
? デメリット:数10人?200人程度を対象,1研究に10万円—のコスト
– コンピュータ等の整備を含めるともっと...
– 実験者の周辺にいる人(学生など)が中心
– オンライン実験:webフレンドリーなプログラムにより一気に実験
? メリット:数千人を対象に,数万円台?で実験を実施可能,広い社
会経済的要因の影響を分析可能
? デメリット:完璧な統制環境の構築は困難
– 実験室のような統制はできない.
!11
大規模な経済ゲーム実験の例:
?大阪大学,京都大学,早稲田大学,同志社大学,関西大
学,高知工科大学や北海道大学など,様々な大学で行動経
済学?実験経済学?社会心理学など様々な学問領域で実施
– 専用の実験室があるところはなかなかない.
?玉川大学(故?山岸先生)の研究チームの例:
– 2012年?2016年:一般家庭に約18万部のチラシを配布
– 応募の意志を表明した1670名の中から性別?世代のバランスを配慮した600
名を元に経済ゲーム実験?調査を実施
– fMRIなどの生物学的情報まで取得しているが,金銭面?時間面で非常に莫
大なコストが掛かっている
!12
オンライン実験の例:
?実験参加者:3つのWaveに分けて実施
– Wave1:2018年6月6日14:00?17:55(回答者284人)
– Wave2:2018年6月6日23:00?6月7日03:10(261人)
– Wave3:2018年6月7日17:00?23:40(294人)
– 公共財ゲーム実験には全参加者で855名が参加,最後の調査までは790
名が参加
?人的/金銭的コスト対効果が非常に高い!!
?成果報酬:65000円程度
– クラウドソーシング市場を考慮すると高い金額を払いにくい
!13
計算社会科学:
?計算社会科学:社会科学に対して,計算科学的な観点
からアプローチする(Mann, 2013)
– シミュレーション
– ビッグデータ?SNSデータ解析
– オンライン実験
?人間行動を分析するという観点から実験?行動経済学
と親和性が非常に高い
– 計算社会科学と実験社会科学の隙間を埋めるプラットフォームの構築
– ビッグデータとオンライン実験など.
!14
Computational Social Science: (Macy, 2015)
?この辺に実験?行動経済学のフロンティアがあるのでは!?
– コンピュータを用いた人間行動の分析
!15
Computer enabled studies of human behavior and social interactions(Mann, 2013)
計算モデルと
シミュレーション
オンライン上の
やり取りの分析
(ビッグデータ
ソーシャルデータ)
バーチャルラボ
(大規模かつwebを
使ったオンライン実験)
実験社会科学 計算社会科学
!16
クラウドソーシングを使って
oTreeで実験をやってみよう.
!17
クラウドソーシングを使って
oTreeで実験をやってみよう.
クラウドソーシングを使って
oTreeで実験をやってみよう.
?イントロダクション
?oTreeとは
?クラウドソーシングとは
?残りは実践編へ
目次: !18
oTreeとは:
?oTree(Chen et al, 2016)
– PythonのDjangoベースで開発できる経済ゲーム実験ソフト
– Webベースで実験できるためにブラウザや実験参加者の居場所を問わ
ずに実験可能
– Amazon MTurk連携も可能
– もちろん,実験室実験でも利用可能
? 玉川大学脳科学研究所では実験室実験としても利用
? 明治大学や大阪市立大学,早稲田大学などでも実験として実施.
!19
!20
後ほど,皆さんに
oTreeで実験を
作成してもらいます.
oTree:http://www.otree.org/ !21
!22
実験画面を
見てみましょう.
スマホでこちらに
アクセスしてください.
oTree:自分でPythonベースでプログラムできる
? z-Treeをオンラインでやってるイメージ
? cf.xeeは個人情報等は取得しない&教育メイン
!23
一般的な言語なので,普遍性が高い
→Pythonを知っていれば書きやすいし,授業でも有用かもしれない.
oTree:少しでも実験プログラムを開発しやすくする環境も!24
オンライン上でクリックだけでプログラム開発へ
https://www.otreehub.com/studio/
サーバ(Heroku)管理とあわせて,
有料サービスも最近始まった模様
z-Tree:経済ゲーム実験プログラムの王道
?z-Tree(Fischbacher, 2007)
– 世界中で広く使われているプログラム
– (基本的には)Windowsのみ,独自のプログラム言語体系
!25
xee:日本でのオンライン経済実験教材
?XEE:東海大学の林良平先生により開発されたオンライ
ン経済実験教材
– 教育志向であり,研究目的には用いられていない.
– 開発者自身も研究目的にこれは使っていない
– 現在研究に耐えられるシステム構築を進めているとの噂.乞うご期待.
!26
ConG:動学的経済実験のプログラム
?ConG:(Pettit et al, 2014)
– 時系列で推移していくゲームを行うためのプログラム
? ex.ゲームをもっと連続的に行う(バーを動かすだけ)などに良い
– 開発元もoTreeへ移行
? カリフォルニア大学サンタクルーズ校Learning and Experimental
Economics Projects (LEEPS)
!27
Moblab:(有料の)実験プログラム
?いろいろな機能があって便利そう.
– だが,有料の時点で興味を持てず...;;
!28
https://moblab.com/
SoPHIE:広く実験に使えそうな気配がある
?クリックだけで実験を作る&実施ができる模様.
– その分,自由が効かない??
– Amazon MTurk連携も可能
!29
https://www.sophielabs.com/
z-TreeとoTreeの関係:
?z-Treeが経済学実験に果たしてきた役割は大きい
– 基本を学ぶ意味でも非常に大きい
– 過去の膨大な蓄積が残っている
– しっかりと学んで基本的な考え方を学ぶためには重要.
– ページの組み方,マッチングの組み合わせなどが比較的容易
?oTreeは自由度が非常に高い
– △要Python(django)プログラム能力
? しかし,どうにかなる!意外と簡単に作れる!!
– 自由度が高すぎるために,いきなりoTreeに入ると混乱する可能性がある.
– Pythonを使ったことがある人にはいきなりでも良いかもしれない.
– 多くの研究者が使い始めているために,一気に開発が進んでいる印象
? webでできる強み+一般的な言語でプログラムを組める強み
– Web上でプログラム&実験を公開できるため,再現可能性を高める.
!30
!31
これからの実験社会科学は
“oTree”を攻めるしかない!
oTreeのメリットとデメリット:
?メリット:
– プログラム開発が一般的な言語(Python)を用いているので比較的容易
? cf.z-Treeは特化した言語
– Web上で実験ができるために,Webサーバを立てればいくらでも&どこ
でも&誰でも実験が可能
? cf.z-Treeはサーバとクライアントの通信設定がややこしい&ポー
トを開ける作業をしなければならないためにややこしい.
– タブレット端末で実験可能
? cf.z-Treeはwindows端末限定
?デメリット:
– 過去の実験環境との連続性を確保できない
? ex.z-Treeで開発したプログラムをそのまま使うことはできない
!32
oTreeを使うのに必要なもの:
?Pythonの知識:
– チュートリアルは割とあり,簡単な実験は簡単
– javascript等とあわせて,より応用が可能
– web解析ツール等をあわせて,細かい動き等も分析可能
?Webサーバ:Amazon EC2でスケーラブルな対応がおすすめ
– スペックを変更できるので,必要に応じて利用可能
– 実験時:c4.2xlargeプラン
– 仮想物理コア:8コア,メモリ15GB,0.504USD/時間
– 実験を実施していない時は最低スペックで運用orサーバを止める(コスト
が発生しない)
? ただ,Herokuを開発者は勧めているもよう.
!33
!34
クラウドソーシングを使って
oTreeで実験をやってみよう.
!35
クラウドソーシングを使って
oTreeで実験をやってみよう.
クラウドソーシングを使って
oTreeで実験をやってみよう.
?イントロダクション
?oTreeとは
?クラウドソーシングとは
?残りは実践編へ
目次: !36
クラウドソーシングとは:
?クラウドソーシング:(インターネットを通じて)不
特定多数の人に仕事を依頼すること,またはその仕組
み
– 匿名の不特定多数の相手に仕事を依頼可能(鹿島,et.al, 2016)
?メリット:
– 実験参加者をオンライン上で確保可能(幅広く実施可能)
– 非常に安価に実施可能
?国内にも複数のクラウドソーシングサービスが存在
– ランサーズ,クラウドワークスetc…
– 簡単なタスク(画像判別やアンケート)から,プログラミングやライ
ティング,ロゴのコンペ形式など様々なタイプが存在
!37
クラウドソーシングを用いた研究:
?Amazon Mechanical Turk(MTurk):Amazonが提供するク
ラウドソーシングサービス
– 独裁者ゲーム:Amir et.al. (2012); Raihani et.al. (2013);
Chandler et.al. (2013)etc…
– 信頼ゲーム: Chen et.al. (2009); Amir et.al. (2012) etc…
– 最終提案ゲーム:Chen et.al. (2009) ; Amir et.al. (2012);
Chandler et.al. (2013)etc…
?Amazon MTurkを国内でも使うことができるが,課題が
残る
– 英語圏の人がメインユーザであるため,日本人対象の実験が困難
? 実際にはインド人が多いらしい.
!38
MTurkを用いた経済ゲーム実験:Arechar et al, (2018)
?Fehr and G?chter(2000)をオンラインで検証
– 処罰のある3人公共財ゲーム実験
– MTurk条件の方が分配額が大きい
– MTurk条件の方がパニッシュメントの頻度が少ない
– 実験室実験とオンライン実験では傾向が異なる.
!39
https://link.springer.com/article/10.1007/s10683-017-9527-2
クラウドソーシングを用いるメリット:
?オンライン上で実験を実施できることで...
– 広く実験参加者を募ることができる,広い社会経済的属性を分析可能
– 低コストで大規模(数千人単位)の実験を実施可能
– 小規模実験(パイロット実験)を容易に実施可能
? 思い立ったらすぐできる.
?海外:クラウドソーシングを用いた実験が盛ん
– Amazon Mechanical Turkが中心
? Horton, et.al.(2011); Amir, et.al. (2012); Raihani, et.al, (2013)
etc…
– 実験参加者は海外(英語圏)が中心
– 日本ではAmazon Mechanical Turkをまだ使いにくい
? 現在でも回答者は英語圏が中心であり,日本人のみを対象は難しい
!40
日本でもMTurkが使える! !41
https://aws.amazon.com/jp/mturk/
!42
まだ日本語ユーザが少ない
↓
外国人対象が中心
(どうやらインドが多い?)
実験の枠組み: !43
http://www.otree.org/
クラウドソーシング実験の課題1:
?回答の「品質管理」:
– クラウドソーシングの利用者は「正しく」回答しているのか?
– 「適当」ではないのかを検討する必要がある.
– 最後の「キーワード」に正答しない人がいる
? ある程度のクォリティチェックにはなるか?
?正答割合が高くない
– キーワード間違え&途中離脱者が発生する
– インタラクションがある場合(なくても)だと問題が残る?
?インセンティブの設計等でどうにかできるのか?
!44
クラウドソーシング実験の課題2:
?Satisfice問題:オンライン調査参加者が,調査の際
に応分の注意資源を割こうとしない回答行動
– 三浦?小林, 2015
– 実験参加者が「適当に」答えている可能性がある?!
– しかし,しっかり答えていそうという...印象.
?「実験室の実験参加者」が応分の注意資源を割いてい
るのか?
– 実験室実験でも「適当」な可能性がある?!
– チェック問題の充実化などで対応?
– インタラクティブなチュートリアルで理解を促す
!45
クラウドソーシングの可能性:
?「パネルデータ」としての分析:
– 同一参加者を対象に(経時的な)調査を行うことも可能
– Yahoo!IDと紐付けられた数字列を取得可能
? Yahoo!IDはわからないために個人情報を探ることはできない.
?「報酬額の高さ」は良い影響を与えるとはいえない.
– 高い報酬のタスクには多くのワーカが参加するが,結果の精度に影響
を与えない(Mason and Wats, 2011)
– 営利目的情報と非営利目的情報の差異(Rogstadius et.al, 2011)
? 後者の方が正確な作業結果へ
? 「ゲーム実験」から「オンラインフィールド実験」へ
!46
MTurkはよくも悪くも監視下にある...
?MTurkにはレビュー機能がある
– ex.タスクの質,実施できたかどうかなど
?タイミングがずれると実験を進められない
– 複数人ゲームの場合,途中離脱者が発生して抜けた人がいて実験に参
加できない人がいたら,ネガティブな評価をする可能性がある.
– ネガティブな評価が今後の実験への影響を与え得る
!47
http://otree.readthedocs.io/en/latest/mturk.html
今後のシステム設計の課題: !48
http://www.otree.org/
Yahoo!株式会社&Yahoo!Japan研究所と
共同研究を計画中.
クラウドソーシングを使って
oTreeで実験をやってみよう.
?イントロダクション
?oTreeとは
?クラウドソーシングとは
?残りは実践編へ
目次: !49
!50
実際にoTreeを使って
プログラムを作ってみましょう
謝辞:
?オンライン実験環境の開発にあたり,公益財団法人電
気通信普及財団の助成を受けました.
!51
概要:
?社会科学の「実験」化:実験社会科学
– 社会科学のビッグデータ化.
– 「計算社会科学」という学術領域も立ち上がりつつある.
?クラウドソーシングを使ったオンライン実験をしよう!
– クラウドソーシング:オンライン上でタスク実施者を採用して実験参加者を集めて実
験を実施
– 当初はインタラクションのある実験の実施には難があった...
?インタラクションのある実験も無事にできた!
– 900人近くの実験参加者を集めた実験も実施できており,今後も様々な実験を展開して
いく.
?他にもいろんな応用可能性が待っている!
!52

More Related Content

Similar to 【更新版】20190628玉川大学脳トレ社会科学辞罢谤别别讲义编 (20)

PPT
Rikanet open int
TakaoHirata
?
PDF
ナレッジグラフ推论チャレンジ2018ミートアップ@东京(2018/12/26)
KnowledgeGraph
?
PPTX
河野ゼミ研究绍介20180702
義広 河野
?
PDF
行动计量シンポジウム20140321 丑迟迟辫://濒补产.蝉测苍别谤驳测-尘补谤办别迟颈苍驳.肠辞.箩辫/补肠迟颈惫颈迟测/产蝉箩冲98迟丑
Yoichi Motomura
?
PDF
心理学研究における蚕耻补濒迟谤颈肠蝉の活用
igarashilab
?
PDF
【早稲田础滨研究会 讲义资料】3顿スキャンと罢别虫迟罢辞3顿のツールを知ろう!(痴辞濒.1)
Hiroki Ichikura
?
PDF
石造物3顿アーカイブ―记録と公开のお勧め―
Kosuke Shinoda
?
PPTX
学认と电子书籍を利用したオープンエデュケーションツールの开発
Hori Masumi
?
PDF
楽天の贰颁における础滨技术の活用
Rakuten Group, Inc.
?
PPTX
奥别产システムプログラミング概要20150630
義広 河野
?
PDF
ICDE 2014参加報告資料
Masumi Shirakawa
?
PDF
マイニング探検会#12
Yoji Kiyota
?
PPT
学会、惭补办别:、公司を繋ぐニコニコ学会β
Nico-Tech Shenzhen/ニコ技深圳コミュニティ
?
PDF
Kernelvm8
Takuma Nakajima
?
PDF
cvpaper.challenge -CVの動向とこれからの問題を作るために- (東京大学講演)
cvpaper. challenge
?
PDF
一口で何度もおいしい?顿厂尝
You&I
?
PDF
mlabforum2012_okanohara
Preferred Networks
?
PPTX
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Takumi Ohkuma
?
PPTX
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
?
PDF
授业用罢飞颈迟迟别谤クライアント?アーカイブシステムの开発とその评価
Shinya Mori (@mosuke5)
?
Rikanet open int
TakaoHirata
?
ナレッジグラフ推论チャレンジ2018ミートアップ@东京(2018/12/26)
KnowledgeGraph
?
河野ゼミ研究绍介20180702
義広 河野
?
行动计量シンポジウム20140321 丑迟迟辫://濒补产.蝉测苍别谤驳测-尘补谤办别迟颈苍驳.肠辞.箩辫/补肠迟颈惫颈迟测/产蝉箩冲98迟丑
Yoichi Motomura
?
心理学研究における蚕耻补濒迟谤颈肠蝉の活用
igarashilab
?
【早稲田础滨研究会 讲义资料】3顿スキャンと罢别虫迟罢辞3顿のツールを知ろう!(痴辞濒.1)
Hiroki Ichikura
?
石造物3顿アーカイブ―记録と公开のお勧め―
Kosuke Shinoda
?
学认と电子书籍を利用したオープンエデュケーションツールの开発
Hori Masumi
?
楽天の贰颁における础滨技术の活用
Rakuten Group, Inc.
?
奥别产システムプログラミング概要20150630
義広 河野
?
ICDE 2014参加報告資料
Masumi Shirakawa
?
マイニング探検会#12
Yoji Kiyota
?
学会、惭补办别:、公司を繋ぐニコニコ学会β
Nico-Tech Shenzhen/ニコ技深圳コミュニティ
?
Kernelvm8
Takuma Nakajima
?
cvpaper.challenge -CVの動向とこれからの問題を作るために- (東京大学講演)
cvpaper. challenge
?
一口で何度もおいしい?顿厂尝
You&I
?
mlabforum2012_okanohara
Preferred Networks
?
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Takumi Ohkuma
?
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
?
授业用罢飞颈迟迟别谤クライアント?アーカイブシステムの开発とその评価
Shinya Mori (@mosuke5)
?

【更新版】20190628玉川大学脳トレ社会科学辞罢谤别别讲义编