p値・有意差対策

ByYuki Furukawa
JAMA Psychiatry 2024の論文より

ネットワークメタアナリシスや要素ネットワークメタアナリシスの結果を可視化するときに、Kilim plotなどを使用しますが、その際にいわゆる統計学的有意差 (p<0.05) にとらわれないようにしています。ただ、統計学的有意差かどうかに気をつけるよう査読コメントがつけられることがあり、その時のレスポンスを備忘録がてら共有します。

有意差の有無ではなく効果の推定値とその精度で報告するという方針については、95%信頼区間の書き方や効果量として何を使うかもあわせてご覧ください。

RESPONSE

We appreciate the opportunity to clarify this point. In our paper we tried to emphasize and focus on estimated effects and their corresponding precision, and to avoid significance testing based on an arbitrary threshold for p-value. This approach has been endorsed by American Statistical Association [1], many prominent researchers [2], and current textbooks on epidemiologic methods [3]. Please note that using statistical significance is particularly problematic in network meta-analysis, as all associated problems are exacerbated by multiple testing issues [4].

同じ趣旨のやり取りについては、査読者・編集者から有意差検定を求められたときの応じ方をまとめた論文があり、返答を組み立てる際の参考になります[5]。

参考文献

  1. Wasserstein RL, Lazar NA. The ASA statement on p-values: context, process, and purpose. Am Stat. 2016;70(2):129-133. doi:10.1080/00031305.2016.1154108
  2. Amrhein V, Greenland S, McShane B. Scientists rise up against statistical significance. Nature. 2019;567(7748):305-307. https://pubmed.ncbi.nlm.nih.gov/30894741/
  3. Lash TL, VanderWeele TJ, Haneuse S, et al. Modern Epidemiology. 4th ed. Lippincott Williams & Wilkins; 2021.
  4. Efthimiou O, White IR. The dark side of the force: multiplicity issues in network meta-analysis and how to address them. Res Synth Methods. 2020;11(1):105-122. https://pubmed.ncbi.nlm.nih.gov/31476256/
  5. Savitz DA, Wise LA, Bond JC, et al. Responding to reviewers and editors about statistical significance testing. Ann Intern Med. 2024;177(3):385-386. https://pubmed.ncbi.nlm.nih.gov/38373303/