捏造地狱会导致顶级期刊被信任吗?学术期刊中的出版偏见并不是什么新鲜事。体育赛事与暴力犯罪或财产犯罪之间没有相关性的发现可能在分析上是顶级的,但坦率地说,你不能因为不给予该死的而受到指责。但是,如果期刊编辑对更令人惊讶的结果更感兴趣,那么最终选择发表的论文就有可能扭曲现实。 2016年1月21日

2019-02-01 07:04:03

学术期刊中的出版偏见并不是什么新鲜事体育赛事与暴力犯罪或财产犯罪之间没有相关性的发现可能在分析上是顶级的,但坦率地说,你不能因为不给予该死的而受到指责但是,如果期刊编辑对出人意料或戏剧性的结果更感兴趣,那么最终选择发表的论文就会对现实产生扭曲的视野这应该将公布结果的分布偏向更“重要”的发现但是,刚发表在“美国经济日报”上的一篇论文发现了一种不同偏见的证据,更接近来源它被称为“星球大战,经验回击”,它分析了2005年至2011年间在美国三大顶级期刊上发表的50,000项测试它发现结果的分布(通过z得分测量,衡量结果离预期平均值有多远)具有有趣的双峰形状(见图表)驼峰之间的下降表示“缺失”结果,恰好在标准截止点之外的范围内具有统计显着性(其中重要性通常用星号表示,尽管名称也可能与电影最近发布 - 在'经济学家试图搞笑'下的文件他们的结果表明,在仅仅显着的结果中,有10-20%被捏造升级您的收件箱并获取我们的每日调度和编辑推荐一种解释是,如果结果在5%的显着性水平(行业标准)上显示出显着性,那么研究人员就会打破香槟并继续制作经济学笑话但如果结果非常接近正面结果,那么研究人员可能会对他们的方法进行一些调整......并庆祝他们对发布者友好的结果该论文的作者之一Yanos Zylberberg解释说,在经济学中很难进行对照实验,这最终给研究人员提供了很大的自由来调整他们的方法有时候研究人员正在调整,因为他们想要找到估算效果的最佳方法,但有时它正在寻找显着的效果即使在他们自己的头脑中,这种区别也可能是模糊的本文确实将结果分解为子组,并且似乎有一些因素与较低的分布相关(这可能表明较少的捏造)虽然本文认为(美国经济评论,经济学季刊和政治经济学期刊)的所有三个着名期刊的整体模式,老年研究人员的文章和描述随机对照试验的论文具有不太明显的驼峰 - 尽管它们是还在那儿对于那些试图解释和传达最新研究的人来说,这是令人担忧的,因为无法判断任何个人研究中是否存在犯规行为但更为根本的是,专业人士和决策者根据经济证据做出决策令人担忧;在报告的最终结果的大小和准确性上,对同一数据进行多次略微不同的测试很快就会产生影响已经提出了各种解决方案一个是发布“预分析计划”,研究人员说他们将在实际分析之前如何进行分析另一个是鼓励更多的复制 Marcel Fafchamps和Julien Labonne撰写的一份新的NBER工作文件提出了另一种相关的方法这个想法是研究人员将他们的数据发送给第三方,第三方随机将数据样本分成两半研究人员根据第一个数据集进行分析,最终确定方法并提交出版如果论文被接受,则对第二个样本进行相同的分析,并公布未掺杂的结果如果初始结果仅由于操纵而出现,那么第二个样本中相同结果的可能性相对较低为了避免非结果的尴尬,研究人员在调整结果时应该更加严格当样本量很小时,这种修复很困难,因为样本减半会使测试中的功率减少但在大数据世界中,