我们怎么知道新研究是真货还是狗屁?

每天都有这样或那样的新研究,每个研究都声称自己有突破性发现,但是大多数研究中充斥着不严谨的科学。对于这些研究我们要特别小心。

“看到的只能相信一半;听到的全部不要信。”说这话的人是爱伦·坡(也可能是本杰明·富兰克林)。其实说真的,你看到的大多数医学研究要么没有吹得那么厉害,要么就是完全没有价值。越神奇、越有突破性、越有创新性的人体或思维研究,越是值得怀疑。其实只要经过仔细审查,或者时间一长,很多研究都站不住脚。

几年以前,斯坦福医学院的John Ioannidis教授写过一篇文章,题目是“为什么大多数出版研究都是假的?”

在文章中,他指出现在研究刊物上发表的文章大多数是假的,人们越来越关注现代学术圈的这种造假现象,在文章中他用详尽的数字解释了为什么大多数看似“发现光明”的研究都存在极为严重的问题。

Ioannidis教授对医学研究造假的担忧扩展到了整个科学研究领域,但是对于不太了解学术术语和概念的普通读者,他们怎么知道自己看的是真正有价值的研究还是纯狗屁?就连许多同行评审的专业期刊中发表的文章都存在错误,将研究写成新闻稿,大众读者又如何辨别?

对此,波士顿儿科医师和Society for Science-Based Medicine这个业内最有分量的博客的编辑Clay Jones说:“不同寻常的发现需要有不同寻常的证据支持。”

其实要判断一篇文章到底有没有讨论的价值,最方便的做法就是看出处。Ioannidis表示,同行评审流程并非尽善尽美,就算是通过同行评审的文章,其中只有一小部分是认真对待自己的研究的。他认为凡是正经的文章,应该通过一群业内专家的评估,这是最低要求。

Jones说,对于通过同行评审的文章,还需要检查他们发表的期刊,诸如《新英格兰医学杂志》这类有名望的期刊上的文章比其它小期刊上的文章更值得一读。但这种方法也不保险,因为《儿科学》虽然更为专业,但是影响力比大杂志小得多。大杂志也不是完全靠谱,《自然》和《柳叶刀》也刊载过不实研究。不过大杂志作为参考还是比较可靠的。

Jones说许多网站会搜集转发五花八门的文章,但是这些文章从未发表在同行评审杂志上。这些文章也许只是一家公司的闭门造车式研究,为的只是宣传他们产品的优点,有些产品虽然在发布会上演示过,但学术出版界从没有承认过这些产品,而且有些事实完全是公司编造的。

MAC艾滋病基金会赞助的一项调查显示约有1/3的美国青少年不知道HIV属于性病。但是发表这篇调查的只是一家营销公司,并非任何一家同行评审期刊。

新闻头条上吹得越厉害的信息,就越要警惕。

那些对已有充分研究的结果的证实性文章可信度更高,但也有可能是虚假新闻,比如有一篇研究文章指出,通过观察病人的无意识眼球移动可以有效确定病人是否患有多动症,但是我们都知道多动症的确诊更多是依靠家长和老师平日里的观察。

在该研究中,特拉维夫大学的Moshe Fried博士说,使用其他方法会因为疏忽或有意无意的犯错导致结果出错,但是他们的测试判断的是无意识眼球动作,是一种确诊多动症的完美生理指标。

然而,该研究中每组只有22个成年人,对于这么重要的发现,样本却这么小,明显不足以证明什么。

如果某个探讨新疗法疗效的研究样本小、没有对照组、没有进行双盲实验,也没有重复实验数据,那么千万别轻易相信。

大多数媒体报道不会向普通读者告知所有这些信息,读者只能依靠经验自行判断。

建立在已有证据基础上的研究比没有任何既有证据的研究更可信。如果研究的作者或者赞助方可以从研究结果中获利,一定要慎重对待。小型机构发布的重磅研究发现差不多可以肯定是假的。还有那些从来没有发表过的文章根本不值得你浪费时间。

(编译:王大发财;via The Daily Beast)