是科学坏了?再现性危机

为了回应人们对科学“重现性危机”日益增长的担忧,伦敦大学学院本周展开了一场讨论,讨论的是研究实践在多大程度上让科学失败,以及我们作为一个社区可以做些什么来解决这个问题。

1

本周早些时候在伦敦大学学院举行的一场活动以克里斯·钱伯斯教授关于预注册的演讲为主导,心理学和认知神经科学领域的学者们进行了一场生动的小组讨论。所以问题是:“科学被打破了吗?”如果是,我们该如何解决?”

这个问题

心理学和神经科学正在快速发展,新兴技术使科学界能够最终解决不良研究做法的影响。然而,近几十年来,大量令人震惊的研究的可重复性受到了质疑。

克里斯•钱伯斯,卡迪夫大学心理学和神经科学教授,将这个问题归咎于发表“好”结果的压力。通常情况下,科学的质量是由人们感知到的兴趣水平、新颖性和结果的影响来衡量的。这导致了研究过程中的一系列问题——发表偏倚;意义的追逐;“HARKing”(在结果已知后进行假设);缺乏数据共享和复制;统计功率低。

这是问题的症结所在多萝西主教,牛津大学发展神经心理学教授,在进行探索性研究的同时使用假设检验的方法。这导致了对假阳性的巨大偏见。回顾她在ERP/EEG领域的工作经验,Bishop坚持认为,在进行哪种分析的问题上没有达成一致,在这个过程中有太多的灵活性。任何在看过数据后做出假设的人都能找到一些东西,并将其贴上“效应”的标签。

同样的,Neuroskeptic神经科学,心理学和精神病学研究员和博主在进入实验室后,对糟糕的实践感到失望。他提到,科学家们“心照不应”地决定接受他们做梦也想不到会教给本科生的方法。

索菲娅•斯科特,伦敦大学学院认知神经科学教授,把讨论带回了“更大的图景”。她认为,与其过于关注单一的论文和过程,我们更需要强调的是,我们的研究在100年后会发展到什么程度,以及我们无意识的偏见如何真正影响我们所从事的科学。我们需要“挖掘我们所处的位置”,专注于获得有意义的、持久的结果。在她看来,这更多是一个文化问题,斯科特认为需要通过激励措施来解决这个问题。

然而,这并不全是厄运和悲观。提供了一个稍微不同的视角,山姆·施瓦茨科普夫他表示,科学并没有崩溃,实际上比以往任何时候都更有效。科学在不断发展,变得越来越开放和透明。尽管科学绝不是完美的,施瓦茨科普夫认为我们应该问自己一个不同的问题:“我们如何让科学变得更好?”

那么我们该如何解决这个问题呢?

多强调过程,少强调结果

钱伯斯,注册报告编辑皮质,讨论了预登记如何能部分解决这一问题。

注册报告建立在假设检验的哲学基础上,着眼于被问的问题和方法本身的质量,生成的结果。这样做的目的是避免将偶然的结果视为质量的同义词。

他解释说,登记报告工作分两个阶段:1)作者提交简介、提出的方法和详细分析,可能的话再附上试验数据。然后进行同行评审,只要它符合要求,无论研究结果如何,该杂志都提供原则上接受(IAP)。2)研究完成后,作者提交一份“第二阶段”手稿,现在包括结果和讨论,然后发表,条件是作者遵循了预先批准的方案。

这引发了一场关于注册报告的优点和实用性的有趣讨论,以及临床研究人员(如BioMed Central的)如何在很久以前就接受了这一概念研究协议ISRCTN注册表).

然而,注册报告并不是唯一的解决方案。事实上,钱伯斯强调,还有许多其他的渠道不太关心结果,而更强调方法BMC心理学《公共科学图书馆•综合》特别提到),以及加强这些领域方法报告的各种倡议(如NIH的临床前研究报告的原则和指南).

Sam Schwarzkopf认为,注册报告可能过于关注治标而非治本,可能会有贬低探索性研究的风险。他建议,探索和复制应该同等重要。

改变只有在正确的激励下才能发生

尽管预登记可能有助于激励科学学科之间的透明做法,但需要做更多的工作来改变科学(和科学家)质量的衡量方式。神经怀疑论者认为,期刊的排名可以表明作者研究的质量,前提是该研究已经预先注册。相反,钱伯斯表示,我们需要摆脱对引用等指标的关注,转而考虑其他指标,比如Oransky的指标“r指标”

审稿人也可以在鼓励开放实践方面做出实质性的贡献。公开研究议程),而发表审稿人的报告被讨论为一种认识这一点的方式。

合作,而不是竞争

苏菲·斯科特(Sophie Scott)将缺乏科学数据共享称为一个灾难性的问题,似乎在一定程度上是因为缺乏合作的动机。正如Bishop所指出的,尽管共享一些临床数据存在合法的伦理问题,但文化上的转变是必要的。

协作,特别是在复制和数据共享方面,在物理科学中已经很普遍了。施瓦茨科普夫认为,心理学和神经科学领域也需要效仿。

不管你是否相信科学需要修正——或者它比以往任何时候都更有效——很明显,变化正在到来。作为一个社区,我们需要共同努力,最终目标是提高科学的开放性、透明度和可重复性。

在生物学网站上浏览最新的文章金博宝188

一个评论

Silbys

据大家所知,“重现性项目:癌症生物学”的领导本着真诚的态度,明确地希望复制尽可能多的结果。这种冷静的态度是否会延伸到媒体对结果的实际报道,或者该研究是否会产生自己的耸人听闻的头条新闻,从而损害癌症研究领域,还有待观察。

阅读更多

评论都关门了。