通过数据共享和透明推进元研究

人们越来越关注生物医学文献中研究重现性的缺乏,特别是在元研究中,很少有人尝试对其进行调查。一个研究今天发表在系统评价Medtronic-Yale partnership建立了耶鲁开放数据获取(YODA)项目,该项目为研究元研究的可重复性和测试数据共享模型提供了一个独特的机会。

在过去的几年里,科学家们越来越关注生物医学文献中研究重现性的缺乏。在研究的可重复性方面已经有了很多的努力心理学药物开发,癌症生物学每项研究都发现,大约一半的研究可以被复制。

在许多情况下,元分析是由单个研究团队进行的,有同行评审人员的输入,但没有外部复制的努力。

到目前为止,元研究的可重复性研究还很少。目前,在许多情况下,元分析是由单个研究团队进行的,有同行评审人员的输入,但没有外部复制的努力。尽管以往研究系统综述的可重复性主要集中在对不同时间点的文献进行新的搜索和分析的新团队上,但多个系统综述是否具有相同的研究目标、参与者水平的数据、时间、资金也会采用同样的分析方法,然后得出同样的结论。

2011年,美敦力公司是第一家与美国能源部签订合同的公司耶鲁公开数据存取(YODA)项目。该公司提供了他们所有的重组人骨形态发生蛋白-2 (rhBMP-2)临床试验数据耶鲁大学首先向俄勒冈健康与科学大学和约克大学这两个著名的研究小组提供了数据,对美敦力rhBMP-2产品的安全性和有效性进行了独立系统的全面科学证据评估。这些数据后来应要求提供给更广泛的研究界。美敦力与耶鲁的合作为测试共享模式提供了一个独特的机会临床试验数据也研究元研究的再现性。

在新系统评价Low等人,包括YODA项目团队和来自俄勒冈州和约克州的两个独立研究团队的领导,比较了所使用的方法、发现的结果和来自两个并行系统综述的结论。向各研究小组提供了相同的目标、完成工作所需的资源和数据。此外,两个研究团队在元研究中使用了最佳实践,包括注册和预先指定他们的协议普洛斯彼罗

为了理解这种再现性的缺乏,有必要理清这个词的含义。

即使在这样的情况下,人们认为两组之间几乎没有任何差异,但仍存在差异,包括选择哪些试验纳入,使用的meta分析方法,以及总体研究结论。最后,研究团队对大多数结果和不良事件的效果估计是相似的,这表明方法学和推论差异的临床重要性是有争议的。然而,我们不可能说这些方法、结果和重点都是一样的。为了理解这种再现性的缺乏,有必要理清这个词的含义。

最近,史蒂芬·古德曼和斯坦福大学元研究创新中心(指标)试图通过将可再现性一词与三个主要描述符合并来标准化可再现性术语:“方法可再现性”,指的是后续研究人员使用与先前研究相同的数据、工具和程序来获得相同的结果的能力;“结果重现性”,指按照相同的实验方法,用新的数据证实以前的结果;还有“推论再现性”,指的是从一项研究中得出相似结论的过程复制或有关

这种可再现性框架说明了研究人员可能并不总是对完全相同的问题给出相同的答案,即使他们拥有相同的资源,使用相同的数据,或在同一时间进行工作。在设计一项研究时,通常有不止一种在方法论上站得住的方法,每一种方法都可能导致元研究结果或结论的细微差异。

作为研究人员,我们的目标应该是积累证据,这样我们才能最终对真相进行三角定位。

美敦力-耶鲁重复性实验的结果最终强调了使数据更公开的重要性。作为研究人员,我们的目标应该是积累证据,这样我们才能最终对真相进行三角定位。一个单一的,甚至是高质量的系统评估的结果,并不是一成不变的,也不会是任何其他高质量团队会报告的结果。正如Goodman等人所说。建议在生物医学科学中,方法的可重复性至少需要“详细的研究方案、测量程序的描述、收集的数据、描述性元数据分析使用的数据、分析软件和代码,以及最终的分析结果”。虽然证据这表明我们离理想的研究透明度水平还很远,增加对所有研究方法和数据的开放访问将允许外部研究人员和研究消费者评估研究特征,重新运行分析,并合成新的数据。

Meta-research透明度,包括公开注册、结果报告和数据共享,对于提高研究结果的可重复性、促进科学完整性和促进更严格地遵守稳健和公正的科学方法至关重要。至少,重新分析公开可得的数据可以增强我们对系统综述结果的信心,同时也允许对干预措施作出最新的结论。

查看关于医学主页上的最新帖子

评论