狠狠撸

来?からできる!?
事前登録つき直接的追試
平?界（慶應義塾?学）
kaihiraishi@keio.jp
@kaihiraishi on Twitter
?本教育?理学会
第63回総会学会企画チュートリアル?セミナー
2021/8/21-30

今?お話したいこと
? なぜ事前登録なのか
? 研究者?由度とHARKing
? 品質保証としての事前登録
? どうやって事前登録する？
? OSF事始め
? 事前登録のお試しには直接的追試がお勧め。
? やってみた経験談
? スケジュール
? 具体例
? 【付録1】事前登録しなきゃだめ？
? FAQ
? 【付録2】事前登録が最終解？
? 多元宇宙的分析（multiverse-like analysis）

始まりは未来予知。
? Daryl Bem
? 有名な社会?理学者＠コーネル?学
? 「論?の書き?」でも有名（Bem, 2004）
? 超能?論?のJPSP掲載
? ”セクシーな画像がどっちに出るか予測！”
? ”未来に勉強することを記憶できる！”
? Bem, D. J. (2011).
? 外から?たら…
? 「?理学って超能?論?がトップジャーナルに載るんで
しょ？すごいなぁ。夢があっていいよね(^.^)」
? と、?われても反論できない状況。
? なんでこうなった。
There are two possible articles you can
write: (a) the article you planned to write
when you designed your study or (b)the
article that makes the most sense now that
you have seen the results. They are rarely
the same, and the correct answer is (b).
(Bem, 2004)

研究者?由度とMany Analysts
? 分析の過程では様々な決定が?
われ、そこに研究者?由度
（Researcher?s degree of
freedom）が紛れ込みうる。
? Gelman, A., & Loken, E.
(2013).
? Many Analysts
? One RQ:「肌の?が濃い選
?ほどレッドカードを提?
されやすい」
? One data set
? Many analysts
? One conclusion…?
? Silberzahn et al. (2018)
納得のいく結果だ
け報告すればいい
じゃない！
下から2つめの結果
をもとに仮説から
書き直しなさい。
過去の改ざん
のすゝめ
ダメ、絶対

品質保証としての事前登録（Preregistration）
? 「?分は研究者?由度などに頼っていない！」
? しかしBemのような話が出てしまうと、?葉だけでは信?してもらい難い。
? ちゃんとやってる?には良い迷惑。
? 「使って（追試して）みてくれれば分かる！」
? 確かにそうでしょう。
? しかし「使ってみる」ことのコストの?きさが困りどころ。
? “研究者?由度に頼っていません”という?印が欲しい。
? データ取得前に、研究?針（デザイン、変数リスト、分析プランなど）をタイ
ムスタンプ付きで登録するのが良かろう（Nosek et al., 2018 for review）。
? 本来は業界単位で対応するべき問題。
? 脅かされているのは?理学業界への信頼なのですから。

でもどうやって？
? 事前登録をサポートするサービスが各種ある。
? Open Science Framework (https://osf.io/)
? As.Predicted (aspredicted.org)
? フォーマットに従って情報を登録していくと
事前登録ページが作成される。
? OSFだと各種フォーマットから好みのものを選
べる。
? アカウント作成の必要あり
? メアドで作れます。
? OSFはORCIDでのログインも可能のよう。
? 超丁寧な説明がタダで読める！
? ??川ほか (advpub) ?理学研究
? Bosnjak et al. (2021), 阪?社?教室有志の邦訳版

OSF Sing Up（アカウント作成）

OSF REGSITRIES（事前登録セクション）

NEW REGISTRATION
? “Add New”から
? STEP 1
? OSF上でProjectを既に
作ってる?はYES. 何そ
れ美味しいの？という?
はNO.
? STEP 2
? 事前登録フォーマットを
選ぶ。
? ?々眺めて気に?ったの
を選ぶのが良い。
? 標準的なのはOSF
prereg, Prereg
challenge, Aspredicted
templateあたりか。

何を登録するの？
? 研究背景と仮説
? 研究の種類（実験／調査）、実験デザインなど
? 変数
? 独?変数、従属変数の測定?法
? 分析?法
? ○○分析、共変量、多重検定の調整法など
? 除外基準
? 外れ値の基準、未回答の扱い、Satis?cerの除外など
? サンプル情報
? リクルート?法、サンプルサイズとその理由など
? その他
? 研究分野、キーワード、ライセンス
? 登録することが?々あるが、直接的追試だとオリジナ
ルに従うことで、多くを楽に決められる。

登録する情報（OSF format, 抜粋, DeepLによる翻訳）
? Hypotheses
? 具体的かつ簡潔で、検証可能な仮説を挙げてください。仮説が?向性のあるものか、
?向性のないものかを明記してください。?向性がある場合は、その?向性を述べ
てください。予測される効果もここでは適切です。特定の相互作?や中和が研究に
とって重要な場合は、それを別の仮説として記載することができます。.
? Study design
? 研究デザインについて説明してください。重要なのは、デザインの具体的なパラ
メータに応じて、必要なだけ詳細に記述することです。この質問と次の質問の間に
は重複する部分があります。しかし、いずれかの分野で?分な説明がなされていれ
ば、要求されたすべての情報を提供することができるので、問題ありません。例と
しては、2群間、階差、無作為化ブロック、反復測定などがあります。それは被験者
間（対になっていない）、被験者内（対になっている）、または混合デザインです
か？必要なカウンターバランスについて説明してください。

登録する情報（OSF format, 抜粋, DeepL）
? Statistical models
? 各仮説を検証するために、どのような統計モデルを使?しますか？モデルの種類
（例：ANOVA、RMANOVA、MANOVA、重回帰、SEMなど）とモデルの仕様を含め
てください。これには、含まれる各変数、すべての交互作?、サブグループ分析、
ペアワイズまたは複合コントラスト、およびオムニバステストからのフォローアッ
プテストが含まれます。陽性コントロール、陰性コントロール、操作チェックを使
?する予定がある場合は、ここに記載することができます。他の?が提供された情
報で同じ分析を?うことができるように、?分な詳細を提供してください。最終論
?では、ここに記載されていないテストはすべて探索的なものとして記載し、すべ
てのテストの結果を報告しなければならないことを忘れないでください。
? Transformations, Inference criteria, Data exclusion, Missing data,
Exploratory analysis...

登録する情報（OSF format, 抜粋, DeepL）
? Data collection procedures
? データを収集するためのプロセスと、対象者と除外対象者の基準について説明してください。?間を対象とする
場合は、対象者を得る?集団、募集活動、参加費の?払い、最初のプールから対象者を選択する?法、研究のス
ケジュールなどを記載してください。ヒトを対象としない研究の場合は、サンプルの収集?法、データ収集作業
の期間、サンプルの供給源または場所、使?するバッチ番号などの情報を記載してください。
? Sample size
? あなたの研究のサンプルサイズを説明してください。調査では何ユニットを分析しますか？これは、含まれる
?、?、教室、プロット、または国の数になります。ユニットが個?でない場合は、各ユニットのサイズ要件を
説明してください。クラスター化またはマルチレベルデザインを使?している場合は、分析の各レベルで収集す
るユニットの数を説明してください。これは、サンプル数であったり、範囲、最?、最?であったりします。
? Sample size rationale
? これには、パワー分析や、時間、お?、?員などの任意の制約が含まれます。
? Stopping rule
? データ収集?順で正確なサンプルサイズを完全にコントロールできない場合は、データ収集を終了するタイミン
グをどのように決定するかを明記してください。シーケンシャル分析を使?している場合は、事前に指定したし
きい値を含めてください。

ここはどうする？
（OSFの場合）
? Category
? Uncategorizedでやってました
が、Projectが適当のよう。
? License（著作権）
? 平?の直近では CC-BY 4.0
NonCommercial, NonDerivatives
にしたが、ShareAlikeの?が良
かったはず。ShareAlikeなしでも
?分のようにも思える。
? ??川ら(advpub)に詳しい。
? Contributors
? 共同研究者をリストアップ。
? OSFアカウントを持ってない?も
登録できます。

直接的追試と概念的追試
? 直接的追試 direct replication
? 効果を再現する上で理論的に必要と考えられる要素を再現する追試。
? False positiveを減らす上で有?。
? 概念的追試 conceptual replication
? オリジナルの効果を変えるかも知れない変更を加える研究。
? 「概念的追試」というよりも「拡張研究(extension)」とか「代替テスト(alternative
test) 」と呼ぶほうが良いかも知れない。
? 知?の?般化可能性（概念、他サンプルへの拡張）を考える上で有?。
? 後になって「直接的追試だと思ってたけど、当初の理論が?落としてた重要な要因
（例：?化）が判明したので、概念的追試と考えるべき」となることも。
? Zwaan, R. A., Etz, A., Lucas, R. E., & Donnellan, M. B. (2017).
? 事前登録の「お試し」には直接的追試が便利。
? ?法上のさまざまな設定を動かさない。
? それゆえに決めることが少なく、決めた理由を説明する必要も少ない。楽。

?番悩ましい問題：サンプルサイズ
? サンプルサイズを事前に決めるのが望ましい。
? 『社会?理学研究』（2020年度）で例数設計に触れた論?は皆無。
? それだけ事前に決めがたいことを反映しているのでしょう。
? “効果量が分からないから検定?分析できないよ”問題
? 直接的追試ならば、オリジナル研究を参考にできる。
? ただし鵜呑みにするのは危険（publication bias）。
? 「オリジナルの2.5倍のNが良いぜ」（Simonsohn, 2015）
? 予備調査から?込みを?てる。
? Smallest Effect Size of Interest (SESOI)を設定したequivalence/inferiority
test（Lakens, 2017）（後述）。
? 効果量をどう考えるかは、?理学界全体の問題（Anvari et al., 2021）。

ゼミでやってみた経験

3年後期スケジュール
? 10?頭：ターゲット決定
? 教員から候補論?を提?して選ばせる。
? 10?中：予備調査準備
? 論?内容を理解した上でマテリアル準備
? 実施上の問題点の洗い出し。
? 11?：予備調査分析＆本調査準備
? 効果量の?積もり→本調査の例数設計
? 調査上の問題点の洗い出しと修正
? 中間報告（兼?2年?向けゼミ紹介）
? 教員は裏で事前登録を準備＆登録。
? 12?：本調査実施
? 分析して年明けのゼミで最終報告。
2019
1. 4
2.
3.
4.
5.
6. F .
1. A
. , J. ., , J. . ., , . ., . ., J., , &
, . . (2008). A : C
. , 19(2), 176 180.
:// . /10.1111/ .1467-9280.2008.02064.
. -
. B2F 2
.
2. ( . ).
. L , . ., , K. A., & , L. (2011).
: A - .
I D , 50(2), 291 294.
:// . /10.1016/ . .2010.10.005
.
. B
. F C +G /
3. .
. , C., & K , . (2015). D ’
I ? , 26(1), 70 77.
:// . /10.1177/0956797614555727
.
3)
. F
.
6

テーマ選定は？
? 授業で紹介するような研究
? 古典的研究（スタンダードなお話）
? 学?が好きそうな研究（眠気覚まし要員）
? ?分が?本のデータを取ってみたい研究。
? 他所での追試の有無はあまり重視していない。
? 実施可能性
? Web調査／クラウドソーシングでデータ収集が可能（?分なサンプル
サイズを確保するため）。
? 学?が?に負える?法、分析。
? 研究室にあるリソース（Qualtricsの契約、予算などなど）

出?順と性格（Healey & Ellis, 2007）
? サンプルの制約
? 年齢差が1.5年?5年の??きょうだい（性別は問わな
い）。
? 質問形式は単純。
? 上の?、下の?、どちらが形容詞に合致するか回答。
? 「反抗的である」「責任感がある」など10項?。
? ネット調査サービス（fast-ask）を利?。
? スクリーニング調査で2?きょうだい出?者を選別（けっこ
うお?がかかった）。
? 元は「???末?」の?択だが、調査会社から「どちらも
あてはまらない／わからない」を?れるよう要請が?っ
た。
? 1年?にStudy 1、翌年にStudy 2の追試を実施。
? Study 2は?年齢層サンプルの調査。オリジナルの理論に従
い、より厳密に対象年齢層を選定（詳しくはプレレジ
を）。
Study 2: https://osf.io/z25qe
Study 1: https://osf.io/bm7ds/

Birth-order correlated with
Conscientiousness and Openness.
Younger sample: 60 males and 199 females, 18-25 years-old.
Older sample: 273 males and 262 females, 45-55 years-old.
Recruited via fast-ask.com
Positive with a younger
sample (18-25 years-old).
Positive with an even older
sample (45-55 years-old).

裏切り者4枚カード問題
（Cosmides et al., 2010)
? サンプルの制約は特になし。
? 性別や年齢で選ぶ理論的根拠はない。
? ただしオリジナルは?国?学?（後の疑念に）。
? 質問形式はシンプル。
? カードを選ぶだけ。ただし??を読んでもらう（翻訳で学?が
?活躍）。
? 参加者を8条件にランダムに振り分ける必要。
? クラウドソーシングを利?。
? クラウドワークス（https://crowdworks.jp）
? 回答はGoogle formまたはQuestionProを利?。
? 予備調査を含め4回?になる調査を準備中。
? 思い?れのある研究が再現されないと粘ってしまう?間の弱
さ。
Prereg: https://osf.io/2rg4j

配偶者への好みの性差
（Bech-S?rensen & Pollet, 2016）
? サンプルの制約
? 18?24才、未婚、?供のいない男?同数
? 質問は単純
? さまざまな条件について結婚相?としての望まし
さをLikertで回答。
? 「?分より5才以上年上」「同年下」など。
? ネット調査サービス（fast-ask）を利?
? サンプルの属性指定が可能。
? 「プライバシーに踏み込んだ質問をするが」とい
う同意確認を追加するよう求められ、調査費?が
増えた（他サービスでは同様の項?を無料で追加
出来る場合もある）。
? Fast-askでは「研究?的だが良いか」という質問
を求められることもある。
? いずれも2019年の情報。

レジレポ論?に（平?ら, 2019）
? それまで頑健だった外?重視の性差が?られな
い。
? 翻訳の問題？
? オリジナル: not “good-looking”（g = 0.43）
? 予備調査: 容姿が良くはない（g = 0.22）
? 本調査: 容姿が良くない（g = 0.10）
? 「現代?本では性差は?さくなっているので
は？」と仮説を変更。
? Smallest E?ect Size Of Interest (SESOI)を設定した
inferiority testを事前に計画。有意なら性差が?分に?
さいと判断する計画→判断した。
? 研究計画の審査を受け、修正を加えた上で実施。
? レジレポ（Registered Report）
? 「?理学評論」60号2巻の特集「?理学研究の新しいか
たち」に掲載。Prereg: https://psyarxiv.com/acy9z

コツや感想
? 予備調査はとても良い。
? 調査会社からの要求、調査システムの不具合、バグ、オリジナルから変更せざるを得ない点の洗い出し。
? 実データを?てみると「こんな分析もしたいな」という欲望が顕に→事前登録に加えられる。
? 学?が慣れる（卒論で忙しい時期に3年?から?が離れる）。
? ネット調査サービス／クラウドソーシング
? 特定のサンプルを集める必要がある時は調査サービスが有利（その?を埋めるサービスも出て来ている）。
? 調査会社から表現などについての要求が?ることがある。
? クラウドソーシングにはコツがある。経験者のアドバイスを得るのが吉（作りかけのTipsあり?）。
? 事前登録は怖くない。
? 追試ならば特に、淡々と書けるところが多い。
? ?本語での事前登録でも良いのでは。DeepLもありますしね。
? 「予想外の結果が得られると『こう解釈すれば納得！』とお話作りが始まりがちな私で
すが、『このストーリーで論?にしよう！』という誘惑から逃れることができました」
（個?の感想です）。

まとめ
? ?理学研究の品質管理としての事前登録
? 研究者?由度、分析可能空間が広いという研究分野の特徴。
? 業界への外からの?に対応するための策。
? 事前登録つき直接的追試
? 事前登録をお試しするのに最適。
? 個?的興味と学?の教育をまとめて満たせる可能性。
? 学?が追試を発展させて卒論のテーマにした例も…
? 学?がクラウドソーシングで卒論データを集めた例も…
? 学?が調査ツールを?在に使えるようになった例も…
? ??川ら@?理学研究
? 噂の重回帰論?と同号掲載のこちらも?を通す価値?。

付録1：
事前登録しなきゃ...ダメ？

提案
? 本来は業界団体として取り組む品質管理の問題
? 「きちんと?品質のプロダクトを出している?分が、なぜJISマークを
取るためにこんな?倒な?続きを…」
? 事前登録したからといって、研究がCreativeに進むわけではない
（Szollosi et al., 2019）。
? 業界（学界）の信?問題。
? テニュアを持ってる中堅?シニアこそ事前登録を！
? 慣れない作業は?倒くさい。
? 研究そのものに慣れてない学?に、さらに慣れないことをさせるの
は、業績数が必要な彼?らへの負担が?き過ぎるかも知れない。
? 明?のご飯を?配する必要がない者こそ、後進に「信?される学界」
を伝え残していくために、まずやってみることを提案します。
? 学界への信?は、?期的には研究資?配分にも影響するはず。

?婆?
? 「?分はキャリア初期なのですが、事前登録に労?を割くよりも、どんど
ん思いつくままに実験をしたいのであります」
? ?分も任期付き職だったらそう考えたはず。
? 業界の趨勢をチェックしておくことをお勧めします。よく読む国内外雑誌でのプレ
レジ付き論?の数とか、編集?の所信表明とか。
? データとかスクリプトとかをオープンにすることも、科学に貢献します。
? 「アイディアを盗まれないか?配です」「匿名査読…?」
? OSFでは、他者に?えない形（embargo）での事前登録が可能です（いつまで隠し
ておくかの設定が必要です。エンバルゴの延期も可能です）。
? 研究者名を隠して登録内容だけ共有することも可能です（やり?@OSF）。
? 「探索的研究/分析は事前登録しなくて良いですよね？」
? 明確な仮説がない探索的研究/分析であることを事前登録することは可能。
? 研究者?由度を濫?してない保証の意味を各?で判断すればよい／するしかない。
? McPhetres, J. (2020). What should a preregistration contain?

Embargoed Prereg and Anonymous link
研究名を隠しています
事前登録内で、過去の?分の研究に“Our previous study
showed… (Hiraishi et al., 2019)”とか書いていると台無し
なので気をつけましょう。
Contributorsだけが
匿名化された共有
Linkを作成すること
ができる。

付録2：
事前登録すれば万事解決？

分析の宇宙は広い
? The garden of forking paths
? 分析における様々な分岐には、適切性に
ほぼ違いのないものもある。
? しかしどちらの道を選ぶかで結果が（?
きく）変わることもある。
? Gelman & Loken (2013).
? 事前登録は1つ（または少数）のパス
をたどることを事前に指定するだけ。
? 実は同じくらい適切な別の道では結果は
ポジティブだったかも？
? 実は他のほとんどの道では違う結果だっ
たかも？
? それじゃ全部?てみれば？
Stern, J., Arslan, R. C., Gerlach, T. M., & Penke, L. (2019).

多元宇宙を旅すれば
? Multiverse analysis
? Steegen et al. (2016).
? Del Giudice & Gangestad (2021).
? Speci?cation curve analysis
? Simonsohn, Simmons, & Nelson (2019)
? Rohrer, Eglo?, & Schmukle (2017)
? 本質的な発想は両?とも同じ。
? Garden of forking pathsを全部?てやれ！
? モデル?較を含めるか否かは?により意?が異る。
? Many analystsタイプと組み合わせることも多々。
? どんな選択肢があり得るかmany analystsで探索。
? 得られた分析空間をmultiverse-like分析で網羅。
? Schweinsberg et al. (2021); Auspurg & Brüderl (2021)
Steegen et al. (2016).

ほんとにおすすめしません。
? PARKing
? Preregistration After the
Results are Known.
? Yamada (2018)
? HARKing
? Hypothesizing After the
Results are Knownをもじっ
てます。為念。
? Kerr (1998)
? 参考: Lishner (2021)
? 科学をやる気がない?の相
?をし続けるのは?い。
https://twitter.com/pdakean/status/1411322296694870017?s=20

References
? PSI-gate
? Bem, D. J. (2004). Writing the empirical journal article. The Compleat Academic: A Career Guide., 2nd Ed., 2, 185–219. https://psycnet.apa.org/record/2003-06256-010
? Bem, D. J. (2011). Feeling the Future: Experimental evidence for anomalous retroactive influences on human cognition and affect. Journal of Personality and Social Psychology, 100(3),
407–425. http://doi.org/10.1063/1.3663724
? Why prereg?
? Gelman, A., & Loken, E. (2013). The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research
hypothesis was posited ahead of time. Department of Statistics, Columbia University, 348. http://stat.columbia.edu/~gelman/research/unpublished/forking.pdf
? Silberzahn, R., Uhlmann, E. L., Martin, D. P., Anselmi, P., Aust, F., Awtrey, E., Bahník, ?., Bai, F., Bannard, C., Bonnier, E., Carlsson, R., Cheung, F., Christensen, G., Clay, R., Craig,
M. A., Dalla Rosa, A., Dam, L., Evans, M. H., Flores Cervantes, I., … Nosek, B. A. (2018). Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices
Affect Results. Advances in Methods and Practices in Psychological Science, 1(3), 337–356. https://doi.org/10.1177/2515245917747646
? Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences of the United States of America,
115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
Szollosi, A., Kellen, D., Navarro, D. J., Shiffrin, R., van Rooij, I., Van Zandt, T., & Donkin, C. (2020). Is Preregistration Worthwhile? Trends in Cognitive Sciences, 24(2), 94–95.
https://doi.org/10.1016/j.tics.2019.11.009
? How to prereg?
? McPhetres, J. (2020). What should a preregistration contain? https://doi.org/10.31234/osf.io/cj5mh
? ??川?樹, 多?奏恵, ?満?哉, 池?鮎美, ??祐樹, ?橋康介, & 近藤洋史. (2021). 実証的研究の事前登録の現状と実践. ?理学研究, advpub.
https://doi.org/10.4992/jjpsy.92.20217
? Bosnjak, M., Fiebach, C., Mellor, D. T., Mueller, S., O‘Connor, D. B., Oswald, F. L., & Sokol-Chang, R. (2021, February 22). A Template for Preregistration of Quantitative Research in
Psychology: Report of the Joint Psychological Societies Preregistration Task Force. https://doi.org/10.31234/osf.io/d7m5r（井奥智??趙?語?温若寒??縣芽?による邦訳）

References (continued)
? Replication design
? Zwaan, R. A., Etz, A., Lucas, R. E., & Donnellan, M. B. (2017). MAKING REPLICATION MAINSTREAM. The Behavioral and Brain Sciences, 1–50.
https://doi.org/10.1017/S0140525X17001972
? Simonsohn, U. (2015). Small telescopes: Detectability and the evaluation of replication results. Social Science Research Network, 26(January 2015), 1–11.
https://doi.org/10.2139/ssrn.2259879
? Lakens, D. (2017). Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science, 8(4),
355–362. https://doi.org/10.1177/1948550617697177
? Anvari, F., Kievit, R., Lakens, D., Pennington, C. R., Przybylski, A. K., Tiokhin, L., Wiernik, B. M., & Orben, A. (2021). Evaluating the practical relevance
and significance of observed effect sizes in psychological research. https://doi.org/10.31234/osf.io/g3vtr
? Replication Target
? Healey, M. D., & Ellis, B. J. (2007). Birth order, conscientiousness, and openness to experience: Tests of the family-niche model of personality using a within-
family methodology. Evolution and Human Behavior: Official Journal of the Human Behavior and Evolution Society, 28(1), 55–59.
https://doi.org/10.1016/j.evolhumbehav.2006.05.003
? Cosmides, L., Barrett, H. C., & Tooby, J. (2010). Adaptive specializations, social exchange, and the evolution of human intelligence. Proceedings of the
National Academy of Sciences, 107(Supplement_2), 9007–9014. http://doi.org/10.1073/pnas.0914623107
? Bech-S?rensen, J., & Pollet, T. V. (2016). Sex Differences in Mate Preferences: a Replication Study, 20 Years Later. Evolutionary Psychological Science, 2(3),
171–176. https://doi.org/10.1007/s40806-016-0048-6
? 平?界., 斎藤彩乃, ?尾眞紀, 藤井那侑, & 森峻?. (2019). 配偶者選好における?体的魅?重視度の男?差は消えたのか. ?理学評論, 62(3), 244–
261. https://ci.nii.ac.jp/naid/130007992573 （体験談）

References (continued, 2)
? Multivrse-like analyses
? Del Giudice, M., & Gangestad, S. W. (2021). A Traveler’s Guide to the Multiverse: Promises, Pitfalls, and a Framework for the Evaluation of Analytic Decisions. Advances in Methods and Practices in
Psychological Science, 4(1), 2515245920954925. https://doi.org/10.1177/2515245920954925
? Steegen, S., Tuerlinckx, F., Gelman, A., & Vanpaemel, W. (2016). Increasing Transparency Through a Multiverse Analysis. Perspectives on Psychological Science: A Journal of the Association for
Psychological Science, 11(5), 702–712. https://doi.org/10.1177/1745691616658637
? Rohrer, J. M., Egloff, B., & Schmukle, S. C. (2017). Probing Birth-Order Effects on Narrow Traits Using Specification Curve Analysis. Psychological Science.
https://doi.org/10.1177/0956797617723726
? Simonsohn, U., Simmons, J. P., & Nelson, L. D. (2019). Specification Curve: Descriptive and Inferential Statistics on All Reasonable Specifications. In Available at SSRN.
https://doi.org/10.2139/ssrn.2694998
? Auspurg, K., & Brüderl, J. (2021). Has the Credibility of the Social Sciences Been Credibly Destroyed? Reanalyzing the “Many Analysts, One Data Set” Project. Socius, 7, 23780231211024421.
https://doi.org/10.1177/23780231211024421
? Schweinsberg, M., Feldman, M., Staub, N., van den Akker, O. R., van Aert, R. C. M., van Assen, M. A. L. M., Liu, Y., Althoff, T., Heer, J., Kale, A., Mohamed, Z., Amireh, H., Venkatesh Prasad, V.,
Bernstein, A., Robinson, E., Snellman, K., Amy Sommer, S., Otner, S. M. G., Robinson, D., … Luis Uhlmann, E. (2021). Same data, different conclusions: Radical dispersion in empirical results when
independent analysts operationalize and test the same hypothesis. Organizational Behavior and Human Decision Processes, 165, 228–249. https://doi.org/10.1016/j.obhdp.2021.02.003
? HARKing and PARKing
? Yamada, Y. (2018). How to Crack Pre-registration: Toward Transparent and Open Science. Frontiers in Psychology, 9, 1831. https://doi.org/10.3389/fpsyg.2018.01831
? Kerr, N. L. (1998). HARKing: hypothesizing after the results are known. Personality and Social Psychology Review: An Official Journal of the Society for Personality and Social Psychology, Inc, 2(3),
196–217. https://doi.org/10.1207/s15327957pspr0203_4
? Lishner, D. A. (2021). HARKing: Conceptualizations, harms, and two fundamental remedies. Journal of Theoretical and Philosophical Psychology. https://doi.org/10.1037/teo0000182
? MISC.
? 吉?寿夫, & 村井潤?郎. (2021). ?理学的研究における重回帰分析の適?に関わる諸問題. ?理学研究, advpub. https://doi.org/10.4992/jjpsy.92.19226

Special thanks to...
? 科研費「社会?理学の基盤を裾野から確認する：メタ分析と追
試による再現性検証」
? 平?界?三浦???樋? 匡貴?藤島喜嗣
? 中村?輝
? https://sites.google.com/view/asarin1003/replicability
? ReproducibiliTea Tokyo
? https://twitter.com/repteatokyo

狠狠撸

来月からて?きる!?事前登録つき直接的追試

More Related Content

来月からて?きる!?事前登録つき直接的追試

狠狠撸

来月からて?きる!? 事前登録つき直接的追試

More Related Content

来月からて?きる!? 事前登録つき直接的追試

来月からて?きる!?事前登録つき直接的追試

来月からて?きる!?事前登録つき直接的追試