Online Psychological Experiment Advent Calendar 2020の19日目の記事です。もう少し新しい情報を含めて書きたかったのですが，井上 (2019)や井上 (2020)の焼き直しみたいな感じになってしまいました。。
私の専門は認知心理学です。認知心理学の研究者の多くは従属変数として反応時間を使用した経験があるのではと思います。経験がある人には分かると思いますが，かなり容易に反応時間の値は変化します。例えば，周囲がうるさくて集中しにくいと反応時間は長くなります。また，実験中にスマホがなったりすると，スマホを早く確認したくなり，反応時間は短くなるかもしれません。キーボードのキーが固くて押しにくいと反応時間が長くなる可能性もあります。
実験室実験ですと，上記のような問題にはある程度対処できます。しかし，実験場所や実験装置の選択が参加者に任されているオンライン実験ですとそうもいきません。このため，従来の実験室実験で報告されていた効果が本当に再現されるのか，実験室実験とオンライン実験で得られる効果の大きさに差がないのかといったことを心配する人がいるかもしれません。
結論を先に言ってしまえば，反応時間を指標とした現象の再現性に関してはそれほど心配する必要はありません。下の表は，反応時間に関係する現象をオンライン実験で検討した結果をまとめたものです（◯は再現）。多くの現象が再現されていることが分かると思います。
マスク下プライミング（masked priming）だけがやや再現性に欠ける結果となっています。マスク下プライミングの実験では，マスク刺激を短時間提示する必要があります。このような閾下提示の実験はオンライン実験に向かないのかもしれません。ただ，そもそも実験室実験でPsychToolboxを使用した場合にも再現されていませんので（Semmelmann & Weigelt, 2017），マスク下プライミングは安定した現象ではないという可能性もあります。
※反応時間と関係が薄いものは表にはまとめていません。
| Crump et al. (2013) | Barnhoorn et al. (2014) | Majima (2017) | Semmelmann & Weigelt (2017) | Hilbig (2016) | 中村・ 眞嶋 (2019) | |
| ストループ効果 | ◯ | ◯ | ◯ | ◯ | ||
| タスク切り替え | ◯ | ◯ | ◯ | |||
| サイモン効果 | ◯ | ◯ | ||||
| 復帰抑制 | ◯ | ◯ | ||||
| 注意の瞬き | ◯ | ◯ | ◯ | |||
| フランカー効果 | ◯ | ◯ | ◯ | |||
| 視覚探索 | ◯ | |||||
|
マスク下プライミング |
× | ◯ | × | |||
|
語彙判断 |
◯ | |||||
|
心的回転 |
◯ | |||||
|
|
効果の大きさに関しても，オンライン実験は実験室実験と遜色ないレベルで得られることが報告されています。例えば，Semmelmann & Weigelt (2017)は表に記載された現象を実験室実験とオンライン実験で比較していますが，ほとんどの現象で差が見られませんでした。また，差があったとしても，結果の解釈に違いが出るような本質的なものではありませんでした。同様の結果はHilbig (2016)やde Leeuw & Motz (2016)などでも報告されています。
以上のように，反応時間課題（特に効果量が大きなもの）に関しては，オンライン実験の使用は問題ないことが示されています。ただ，反応時間のベースラインの違いに関しては注意が必要かもしれません。上で紹介している多くの研究で示されていることですが，一般的にオンライン実験では実験室実験よりも反応時間が数十ミリ秒程度長くなる傾向があります。これは，ソフトウェア（ブラウザやOS），デバイス，実験環境などの複合的な要因によって生じるものだと思われます。こうした要因は実験参加者の要因と交絡する可能性があるため（例えば，高齢者は若齢者よりも古いパソコンを使用しているなど），異なる実験参加者集団間で反応時間の全体的なレベルを比較したりすることには気をつける必要があるのではと思います。
もし反応時間についてもっとお知りになりたい方がいらっしゃいましたら，是非「心理学,認知・行動科学のための反応時間ハンドブック」をお買い求めください。
引用文献
- Barnhoorn, J. S., Haasnoot, E., Bocanegra, B. R., & van Steenbergen, H. (2015). QRTEngine: An easy solution for running online reaction time experiments using Qualtrics. Behavior Research Methods, 47, 918–929.
- Crump, M. J. C., McDonnell, J. V., & Gureckis, T. M. (2013).
Evaluating Amazon’s Mechanical Turk as a tool for experimental behavioral research. PLoS ONE, 8, e57410 - de Leeuw, J. R., & Motz, B. A. (2016). Psychophysics in a Web browser? Comparing response times collected with JavaScript and Psychophysics Toolbox in a visual search task. Behavior Research Methods, 48, 1–12
- Hilbig, B. E. (2016). Reaction time effects in lab-versus Web-based research: Experimental evidence. Behavior research methods, 48, 1718-1724.
- 井上和哉 (2019). ウェブによる反応時間実験 綾部早穂・井関龍太・熊田孝恒 (編) 心理学、認知・行動科学のための反応時間ハンドブック (pp.??-??,) 勁草書房
- 井上和哉 (2020). 反応時間の個人差とオンライン実験. 基礎心理学研究, 38, 237-242.
- 中村紘子・眞嶋良全（2019）. 日本人クラウドワーカーによるオンライン実験と大学生による実験室実験における認知課題成績の比較 基礎心理学研究，38, 33–47.
- Majima, Y. (2017). The feasibility of a Japanese crowdsourcing service for experimental research in psychology. SAGE Open, 7, 1–12.
- Semmelmann, K., & Weigelt, S. (2017). Online psychophysics: Reaction time effects in cognitive experiments. Behavior Research Methods, 49, 1241–1260.