近30年来,大卫·斯特恩一直痴迷于一个事实:雄性果蝇会对雌性果蝇“唱歌”。他对这个问题的工作,今天发表BMC生物学,让他考虑了科学的再现性。在这次客人帖子中,他阐述了他的处方,以帮助科学家检查研究结果是否可靠
作为1985年的康奈尔本科,我寻找了一个研究问题,使我在遗传,演变和行为中的兴趣。Kyriacou和Hall最近报告说时期调节昼夜节律的基因也控制了水果飞求歌曲的节奏,以及演变时期解释了这个求爱歌曲节奏的物种差异。这似乎是一个承诺的大道,所以我调查了分子变异时期轨迹的果蝇物种那希望将这种遗传变异与歌曲节奏的变化相关联。
我亲自为苍蝇的歌曲谱曲,试图找到歌曲的节奏。我找不到他们。我觉得“见鬼。我是一个大学生。我没有太多的数据。我可能搞砸了。”
我让这个问题停下来。然而,大约六年前,我决定再试一次。我们制作了一个收集求爱歌曲的设备,并编写了软件自动为这些歌曲谱曲。我们在寻找节奏,但却找不到。
然而,这种看法一直困扰着我。所以,我开始尽可能接近地重现Kyriacou和Hall的实验。但我还是找不到节奏。最后,当我精确地分析了Kyriacou和Hall对时间序列数据进行分组,只对最强烈的周期信号打分时,类似于节奏的模式从这个分析中跳出来。然而,我发现的几乎没有一个信号达到任何合理的统计显著性水平。虽然我能够“复制”Kyriacou和Hall的歌曲节奏,但它们是数据存储的人工产物,并不是真正的生物现象的结果。
最近在科学报刊上,对科学造假和无法复制的研究结果进行了大量的讨论。虽然彻底的欺诈可能很少见,但更普遍的问题是公布的结果,就像Kyriacou和Hall的那些结果,是通过诚实的科学调查获得的,但无法复制。
我们如何最大限度地减少不可重复的结果的出版物?我有一个简单的处方。
作者应该显示他们的数据。
通常,作者仅存在概要统计数据,如均值和估计变异性。相反,它们应该显示来自这些统计数据的数据。数据本身的呈现通常足以让读者确定结果是否引人注目。
在不可忽略的极端,变化通常由平均值(或其邪恶表兄,95%置信区间)的标准误差表示。思想必须在标准错误中执行车轮何时重建原始数据。但是真正的问题是标准误差不是原始数据中变异性的直观表示;它反映了变化和样本大小。
标准错误的广泛使用深入令人不安。它剥夺了一个从未保证的科学确定性的面纱中的数据。我听过学生说:“但标准错误使得结果看起来比标准偏差更清晰。”我担心我的许多同事们沿着同一条线思考。
可悲的事实是,许多科学数据(条形图、箱形图等)都是科学家在计算机普及之前发明的过时工具。据我所知,它们仍然在使用,只是因为我们大多数人都是这样学习展示数据的。计算机提供了展示非总结数据的奇妙方式,这为读者提供了与数据交互的机会——这是重要的部分——来访问他们自己的结论。
摘要统计是当然有用,当它们用作解释数据的指南时,而不是作为数据的待机。我的首选技术是在一些简单的概要统计中显示抖动图中的数据,例如均值和标准偏差。这种绘图通常会导致对结果的更谨慎的解释,而不是统计测试的盲目应用。他们还防止隐藏有趣的数据分布。左侧的图表演示了不同的数据分布如何产生类似的摘要统计信息。从正常分布和γ分布中取随随机样品。摘要统计类似于两个样本,但抖动曲线清楚地证明了样品之间的差异。
这种简单的处方可能会产生更健康的科学结果的怀疑,因此,减少了无法复制的科学的出版物。
为了提高科学领域的透明度和再现性,期刊编辑一直在推动作者向读者提供原始数据和分析工具。我怀疑这会产生多大的影响。很少有人会努力下载和重新分析以前发表的数据,因为复制(或不能复制)以前的工作并没有什么科学荣耀。但是,当数据完全呈现在图表中,让读者自己决定结果是否值得进一步考虑时,每个人都会受益。期刊编辑处于执行这些标准的最佳位置,他们有责任这样做,这是为了科学。
确认
非常感谢Bronwyn Duffy和Sean Eddy有助于讨论这篇文章。
请你再给我们看一遍好吗?近30年来,大卫·斯特恩一直痴迷于一个事实:雄性果蝇会对雌性果蝇“唱歌”。[...]
数据共享还有另一个原因,这就是它提高了准确性,因为如果他们知道它将是公开,人们会更加仔细检查一切。它可能是可怕的,但我想重要;我在这里描述了我在自己的数据中发现错误的经历https://deevybee.blogspot.co.uk/2014/05/data-sharing-exciting-but-scary.html
好贴!我同意Dorothy在评论中,在分享之前审查数据的另一个有益的好处是它提高了准确性。作为数据存储库,我们将其作为对我们的研究人员的服务。我已经争辩说数据存储库 - 不仅仅是期刊 - 也在审查数据和代码前发表的作用(https://isps.yale.edu/news/blog/2013/07/thebor-of-data-repositories-in-reprooducible-research.)。它应该是一个社区努力!
在BioMed Central博客上,David Stern描述了他试图复制一种已发表的效果的失败努力,并意识到这是一种[…]