2.继承与应用
在探索新的计算模式和高效实现方式(如图3.7所示)的同时,人们也在采取措施来解决元科学揭示的问题。这些措施包括科学研究和临床试验的预注册,以及成立CONSORT和EQUATOR协作网等组织,发布方法和报告指南。目前,人们正在努力减少滥用统计数据的情况,消除学术界的不正当激励,改进同行评议过程,打击科学文献中的偏见,从而提高科学过程的整体质量和效率。元科学的应用领域包括信息通信技术、医学、心理学和物理学等。
图3.7 探索新的计算模式与高效实现方式
注:从人脑思维出发,从“认知世界”到“创造价值”分为三步。图中7个蓝色图形代表的方面分别对应由线发散连接的实现方式,蓝色字表示细分方向的总结,加粗黑字表示解决思路。
信息通信
元科学用于创建和改进信息通信技术系统以及科学评估、激励、沟通、调试、资助、监管、生产和管理等。这些可以被称为“应用元科学”,并可能成为探索提高研究数量、质量和产生积极影响的方法。其中一个例子是替代指标的开发。根据一项研究,由于科学中的再现性问题,人们需要用“一种简单的方法来检查重复研究的频率,以及原始发现是否得到确认”。[15] [16]Scite.ai平台工具旨在跟踪和链接引用论文,以进行“支持”、“提及”或“对比”研究。
医学
医学临床研究的质量往往很差,许多研究结果无法重复。据估计,85%的研究经费浪费了。此外,偏见的存在会影响研究质量。制药业对医学研究的设计和执行具有重大影响。利益冲突在医学文献的作者和医学期刊的编辑之间很常见。产生财务利益冲突与追求更高的研究成功率有关。
在抗抑郁药试验中,药物赞助是试验结果的最佳预测因素。盲法实验(对参加实验的实验组和对照组严格保密)是元研究的另一个重点,让研究者或者观察者也“致盲”或可避免主观人为因素导致的倾向性,但不良致盲导致的错误也是试验偏见的来源。研究表明,由于在抗抑郁药试验中致盲失败,一些科学家认为抗抑郁药并不比安慰剂好。
研究表明,在规划新研究或总结结果时,对现有研究证据的系统性审查是次优选择。对评估医疗干预有效性的研究进行的累积元分析表明,如果在开展新试验之前对现有证据进行系统性审查,那么许多临床试验本可以避免。例如,Lau(刘)等人分析了33项临床试验(涉及36 974名患者),评估静脉注射链激酶治疗急性心肌梗死的有效性。他们的累积元分析表明,如果在进行新试验之前进行系统性审查,那么33项试验中有25项是可以避免的。他们还证实了早期的发现,即大多数临床试验报告没有提供系统性审查来证明研究结果。[17]
现代医学中使用的许多疗法被证明是无效的,甚至是有害的。约翰·伊奥尼迪斯在2007年进行了一项研究,发现医学界大约花了10年时间才停止引用流行做法,因为流行做法被明确证明是不正确的。
心理学
元科学揭示了心理学研究中的重大问题。该领域存在高偏差、低再现性和统计数据广泛误用的问题。重复性危机对心理学的影响比对任何其他领域都要强烈,高达2/3的广为人知的发现可能是无法重复的。元研究发现,80%~95%的心理学研究支持它们最初的假设,这强烈反映出发表偏见的存在。[18]
重复性危机促使人们努力对重要发现进行重新测试。为了回应对发表偏见和数据窥探的担忧,140多家心理学期刊采用了单盲或双盲同行评议。在这种评议中,研究被预先注册并发表,而不考虑结果。对此改革的分析显示,61%的结果盲研究产生了无效结果,而在早期的研究中,这一比例为5%~20%。这项分析表明,单盲或双盲同行评议大大减少了发表偏见的情况。
心理学家经常将统计学意义与实际重要性混为一谈,热衷于报告不重要事实的高度确定性。一些心理学家的回应是更多地使用效应大小统计数据,而不是仅仅依赖于p值。
物理学
理查德·费恩曼指出,物理常数的估计值比偶然预计的更接近公布的值。这被认为是确认偏差的结果:与现有文献一致的结果更有可能被相信,因而被发表。物理学家现在正在实施双盲以防止这种偏见。
科学的目标是描述自然界的真实情况。科学家使用统计模型来推断真相,例如,确定一种治疗方法是否比另一种更有效。每个统计模型都依赖于一组关于数据收集和分析方式以及研究人员选择如何展示其结果的假设。许多学科的科学家都相当一致地认为,对p值和统计学意义的误解以及过度强调是真正的问题。2018年,一个由72名科学家组成的小组发表了一篇评论文章,称新发现的统计显著性阈值从0.05变为0.005。麦克·肖恩说,最关键的是,p值“不应该是看门人”。“让我们从更全面、更细致和更具评估性的角度来看问题。”就连罗纳德·费舍尔的同时代人也支持这一点。1928年,另外两位统计学专家耶日·奈曼和埃贡·皮尔逊在谈到统计分析时写道:“测试本身并没有给出最终的结论,但作为工具,它可以帮助正在使用测试的工人做出最终的决定。”[19]
目前全球有多个从事元研究的机构,包括柏林元研究创新中心、斯坦福大学元研究创新中心、蒂尔堡大学元研究中心、乔治全球健康研究院等。
同时,我们也面临着很多挑战(如图3.8所示),并且有大量的科学问题待探索(如图3.9所示),本书将在第六篇更详尽地介绍。
图3.8 我们面临的挑战
注:本图列举了2019—2021年,在世界科技与发展论坛上逐年提出的十大挑战,它们分别可归属于健康、环境、能源等九大领域。
图3.9 科学问题
[1] SCHOR S, KARTEN I. Statistical evaluation of medical journal manuscripts[J/OL]. JAMA, 1966, 195(13): 1123[2022-05-15]. http://jama.jamanetwork.com/article.aspx?doi=10.1001/jama.1966.03100130097026. DOI: 10.1001/jama.1966.03100130097026.
[2] HOWICK J, KOLETSI D, PANDIS N, et al. The quality of evidence for medical interventions does not improve or worsen: A metaepidemiological study of Cochrane reviews[J/OL]. Journal of Clinical Epidemi ology, 2020, 126: 154-159 [2022-05-15]. https://linkinghub.elsevier.com/retrieve/pii/S0895435620307770.DOI: 10.1016/j.jclinepi.2020.08.005.
[3] HARRIMAN S L, KOWALCZUK M K, SIMERA I, et al. A new forum for research on research integri ty and peer review[J/OL]. Research Integrity and Peer Review, 2016, 1(1): 5 [2022-05-15]. http://researchintegri tyjournal.biomedcentral.com/articles/10.1186/s41073- 016- 0010- y. DOI: 10.1186/s41073-016-0010-y.
[4] IOANNIDIS J P A, FANELLI D, DUNNE D D, et al. Meta-research: Evaluation and improvement of research methods and practices[J/OL]. PLoS Biology, 2015, 13(10): 264 [2022-05-15]. https://dx.plos.org/10.1371/journal.pbio.1002264. DOI: 10.1371/journal.pbio.1002264.
[5] FANELLI D, COSTAS R, IOANNIDIS J P A. Meta-assessment of bias in science[J/OL]. Proceedings of the National Academy of Sciences, 2017, 114(14): 3714-3719 [2022-05-15]. https://pnas.org/doi/full/10.1073/pnas.1618569114. DOI: 10.1073/pnas.1618569114.
[6] HAYDEN E C. Weak statistical standards implicated in scientific irreproducibility[J/OL]. Nature, 2013[2022-05-15]. https://www.nature.com/articles/nature.2013.14131. DOI: 10.1038/nature.2013.14131.
[7] MCLEAN R K D, SEN K. Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the research quality plus approach[J/OL]. Research Evalua tion, 2019, 28(2): 123-135 [2022-05-15]. https://academic.oup.com/rev/article/28/2/123/5090812.DOI: 10.1093/reseval/rvy026.
[8] TSENG V, GAMORAN A. Bringing rigor to relevant questions: How social science research can improve youth outcomes in the real world[J]. William T. Grant Foundation, 2017.
[9] BOSTROM N. Superintelligence: Paths, dangers, strategies[M]. 1st ed. Oxford: Oxford University Press, 2014.
[10] ORD T. The precipice: Existential risk and the future of humanity[M]. London: Bloomsbury Aca demic, 2020.
[11] SCIENCE P L O. Nobel prize-winning work is concentrated in minority of scientific fields[EB/OL].[2022-05-15]. https://phys.org/news/2020-07-nobel-prize-winning-minority-scientific-fields.html.
[12] IOANNIDIS J P A, CRISTEA I A, BOYACK K W. Work honored by Nobel prizes clusters heavily in a few scientific fields[J/OL]. PLoS ONE, 2020, 15(7): 612 [2022-05-15]. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7390258/. DOI: 10.1371/journal.pone.0234612.
[13] Registered replication reports[EB/OL]. [2022-05-15]. https://www.psychologicalscience.org/pu blications/replication.
[14] CHAMBERS C. Psychology’s ‘registration revolution’[J/OL]. The Guardian, 2014 [2022-05-15].https://www.theguardian.com/science/head-quarters/2014/may/20/psychology-registration-revolution.
[15] DIEGO U O C S. A new replication crisis: Research that is less likely to be true is cited more[EB/OL]. [2022-05-15]. https://phys.org/news/2021-05-replication-crisis-true-cited.html.
[16] SERRA-GARCIA M, GNEEZY U. Nonreplicable publications are cited more than replicable ones[J/OL]. Science Advances, 2021, 7(21): 1705 [2022-05-15]. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8139580/. DOI: 10.1126/sciadv.abd1705.
[17] ROBINSON K A, GOODMAN S N. A systematic examination of the citation of prior research in reports of randomized, controlled trials[J/OL]. Annals of Internal Medicine, 2011, 154(1): 50 [2022-05-15].http://annals.org/article.aspx?doi=10.7326/0003-4819-154-1-201101040-00007. DOI: 10.7326/0003-4819-1541-201101040-00007.
[18] ALLEN C P G, MEHLER D. Open science challenges, benefits and tips in early career and beyond[C]// [S.l. : s.n.], 2018. DOI: 10.31234/osf.io/3czyt.
[19] HARRIS R F. Rigor mortis: How sloppy science creates worthless cures, crushes hope, and wastes billions[M]. New York: Basic Books, 2017.