出版业正在试行 AI 同行评审员

2016 年美国数字媒体公司 Vox Media 旗下新闻网站 Vox 发表了一篇调查了 270 名科学家,归纳出科研系统需要解决的 7 宗罪,其中一个就是同行评审,现在人工智能或许可以帮忙解决这个问题,改善流程,节省审稿人的时间。Nature一篇最新文章报道,已经有一些学术出版商正在试行 AI 工具,从选择评论者、检查统计数据、到总结论文的发现。

同行评审的目的是在出版前剔除掉低质量的论文,但这个制度难以避免存在问题,比如相当耗时,有些审稿人的评审过程不够仔细,导致错误、有缺陷的论文被出版,以及编辑和审稿人知道作者是谁,作者却不知道编辑和审稿人是谁,在这审稿过程中是否会有倾向性等争议。而要怎么弥补同行评审的不足,行业内也提出一些方式,像是提高透明度、建立工作组的协作同行评审等,人工智能搭配人类做裁决,则是一种新作法。

利用 NLP 和 ML 来分析手稿

阿姆斯特丹出版业巨头 Elsevier 的同行评审管理系统 Aries Systems,在今年 6 月采用了名为 StatReviewer 软件,该软件会检查手稿中的统计数据和方法是否合理。此外,许多期刊使用的同行评审平台 ScholarOne,正在与丹麦的论文及专利在线搜索平台 UNSILO 合作,UNSILO 利用自然语言处理(NLP)和机器学习(ML)来分析手稿,通过语义分析自动提出关键概念、总结论文内容。

(来源:麻省理工科技评论)

UNSILO 开发的初版工具 是从 PubMed Central 学术数据库抓取信息,PubMed Central 可以将新手稿与 170 万份已发布的生物医学研究论文的全文进行比较,为了继续扩大信息量,UNSILO 表示,后续很快会增加超过 2000 万份 PubMed Central 的论文,同时也与知名的信息数据分析机构科睿唯安(Clarivate Analytics)旗下的 ScholarOne 合作。

另外,UNSILO 也会提出哪些关键短语最能代表论点或研究发现,并会标示出这些主张是否与以前发表过的论文类似,让编辑更快了解研究结果。UNSILO 销售总监 Neil Christensen 认为,使用语义分析来提取文本的主要陈述,此法通常会比作者提交关键字更能清楚地概述论文,但也强调,此工具并不会做出决定,只是告诉人类在比较此篇手稿和已发布的论文时有哪些突出之处,评审还是人类。

AI 能是人类编辑、审稿人的助手吗?

“它不会取代编辑的判断,但可以让事情变得更容易些”,一家英国出版商的顾问 David Worlock 在德国法兰克福书展上看到了 UNSILO 示范后,给出了这番评语,但是他同时提出一个值得思考的问题——AI 潜在的陷阱,机器学习工具是根据先前已发表的论文来进行训练,这样的决策系统可能会加强同行评审中的现有偏见问题。

目前看来,不太相信 AI 的不只 David Worlock 一人,在英国eLife期刊领导创新部门的 Giuliano Maciocci 表示,在想要解决同行评审这个令人头疼的问题中,UNSILO 提出了有趣的方法,但并不是eLife会考虑采用的方案。“我们并不完全相信它在eLife这样的期刊背景下特别有用,因为专家思想非常重要,”他说。

(来源:麻省理工科技评论)

另外,一家被科睿唯安收购、使用机器学习开发同行评审追踪工具的初创公司 Publons 联合创始人 Andrew Preston 则直言,算法还没聪明到可以让人类编辑就根据 AI 提出的信息判断要接受或拒绝一篇论文,“这些工具可以确保稿件符合要求,但绝不会取代审稿人在评估方面所做的工作,”他说。

文件自动化的落地不只出版,RPA 商机潜力大

让 AI 尝试作为同行评审员的意义在于节省审稿人的时间,由机器做例行性的工作,概念类似于商业环境中的机器人流程自动化(Robotic Process Automation,RPA),在 AI 的应用领域,比起面部识别、自动驾驶等,RPA 或自动化文件处理不是一个听起来很性感的领域,但其实商业潜力不小,除了上述的论文检视、同行评审之外,监管科技(Regtech)更是热门议题,简单来说,RPA 就是通过自动化软件来取代需要大量人力的例行性、高重复性的工作,在金融、法律等领域都有一些实际的落地案例。数日前,日本软体银行旗下的软银愿景基金就投资了 RPA 初创公司 Automation Anywhere 3 亿美元。

今年 3 月一家来自以色列、专攻合约审查领域的 AI 初创公司 LawGeex 与斯坦福大学、杜克大学法学院和南加州大学的法学教授合作一项研究,让 20 名有经验的律师与经过训练的法律 AI 程序挑战,在 4 小时内审查 5 项保密协议(NDA),并确定 30 个法律问题,包括仲裁、赔偿等,结果人类律师平均正确率为 85%,AI 则拿下了 94% 的正确率达,而且 AI 只在 26 秒内完成任务,人类律师平均需要 92 分钟。

但律师不会失业,就像论文审查的决定权力仍在人类审稿人手上,AI 带来的是改善或加速流程的进行,并抓出人类必须投入大量心力才能抓到的错误,训练有素的 AI 可以在专门、特定的领域达到很好的表现,AI 与专业人士的协同合作,将是未来不可逆的趋势。