有能力衡量科研主张背后的证据是一件重要的事,而能够发现糟糕的科学报道,或者科研结论中的错误,也同等重要。下列十二条内容可以帮助你将科学跟伪科学区别开来。
1、标题党
文章的标题往往会为了吸引读者点击并阅读其内容而有专门的设计。有的时候,标题会把科研结论过于简化。在最糟糕的情况下,标题会被起得耸人听闻同时歪曲研究的内容。
2、曲解结论
新闻为了内容吸引人,有可能会有意无意地曲解甚至歪曲研究的结论。如有可能的话,试着阅读研究原文,而不是依赖新闻文章作为信息来源。
3、利益冲突
许多公司会雇佣科学家进行研究并发表结果——尽管这并不意味着研究的内容就不正确,在分析结果时还是需要考虑到这一点。作者也可能为了个人或者经济利益来歪曲研究的结果。
4、相关和因果
注意任何试图混淆相关性和因果性的行为。两个变量之间的相关性不总是意味着一个是另一个的原因。十九世纪以来全球气候变暖,同时海盗数量减少,但这不等于说全球气候变暖是海盗减少所引起的。
5、无证据支持的结论
前瞻性的推测有助于推动科学的发展,但是论文中应该清楚说明研究证明了哪些事实,那些结论是尚未获得支持的推测。用前瞻性的口气叙述的论点可能需要进一步的证据来确认。
6、样本大小问题
试验的样本大小越小,所获得结论的可信度就越差。虽然小样本试验仍然可能获得有效结论,而且有的时候只有小样本可用,但大样本试验的结论往往更有代表性。
7、样本的代表性很差
在涉及到人的试验中,选取的研究对象应该能够代表较大范围的人群。如果研究对象总体上与人群有差异,那么得到的结果也就有可能偏向某个特定的结论。
8、无对照组
临床试验的结果应当与未使用待测物质的“对照组”相比较,而且分组必须随机。一般的科研实验也要使用对照组,将所有相关变量都事先控制好(以和实验组比较)。
9、未用盲法
为了避免引入偏差,受试者不应该知道自己被分到实验组还是对照组。而在“双盲”试验中,研究人员在试验结束之前,自己也不知道分组情况。需要注意的是,盲法并不总是可行,或总是符合伦理道德。
10、选择性报告数据
英文又叫“摘樱桃”(cherry-picking),这种做法就是从结果中挑出那些支持研究结论的数据,而忽视不支持的部分。如果有论文从结果中的一部分数据,而非全部数据得到其结论的话,就可能干了这个。
11、结论无法重复
结论应该能够被独立研究所重复,而且应尽可能在多种条件下进行测试以确定其一致性。非凡的主张需要非凡的证据——要比单单一篇独立论文多得多!
12、非同行评议内容非同行评议内容
同行评议是科学研究过程中的重要一环。在论文在杂志发表之前,其他科学家评价其研究内容并进行批评。未经过这一步骤的研究就没有那么可信,结论也可能有问题。
原海报图。面对铺天盖地的科研成果报道,这张图介绍了一些有助于辩认出不太靠谱者的办法。
原题:识别烂科研的简易指南
原图来自 Compound Interest(链接及大图),图片授权 CC-BY-NC-ND 4.0(使用规则),文字内容为自翻,同样授权 CC-BY-NC-ND 4.0。题图来自维基图书馆(CC-BY-SA 3.0,链接及大图)。
作者:Andy Brunning
翻译:UnknownC4