让AI自动审稿 一共分三步
记者 郑金武
谈及研究AI自动审稿系统的初衷，卡内基·梅隆大学博士后刘鹏飞说，“在不同的时代背景下，都会有一些新的、不同的发展需求；一个人如果能感受到它并且把握住，那么就会成为这个时代所在领域的弄潮儿，或者成为所在领域的领先者。”
科学研究的快速发展，使得同行评议的科学出版物呈现指数级增长。以机器学习和计算神经科学国际会议——神经信息处理系统大会（NeurIPS）为例，2017年其投稿量有3000余篇，至2020年，上升到了1万余篇。繁重的审稿工作给现有的审稿机制带来了巨大的挑战。
“所以我们思考自动审稿的可能性，即AI能否帮助我们从繁重的审稿工作中解放出来？”刘鹏飞于是和卡内基·梅隆大学硕士生袁玮哲、助理教授格雷厄姆·纽比格合作，着手研究AI自动审稿系统“ReviewAdvisor”。在日前的智源社区青源LIVE活动上，刘鹏飞与袁玮哲在线分享了研究该系统的历程。
解构
之前，也有人尝试做“自动审稿”任务，但这些工作几乎都是把AI生成的评审意见和人写的意见混在一起，让大家看看能不能区分。这些工作很难评价AI生成的评审意见是否合理以及高质量。
可以说，AI自动审稿这项工作的第一个贡献，就是提出了一些评价指标，能够从多角度刻画“评审意见”的质量。
“对于我们来说，首先需要回答的一个问题是，什么才是一个好的评审意见。”袁玮哲认为，否则自动审稿系统就无从谈起，“因为就算设计出了系统，没有好的指标去衡量生成的评审意见的质量，也很难去提升系统”。
为此，3人查阅了很多顶级会议的“论文评审指南”，总结出了一个好的评审意见应该具备的特征，主要有5个方面：判断性、全面性、合理性、准确性、拟人性。例如，判断性是指评审意见对一篇论文质量好坏的评判，与这篇论文最后是否被接收之间的关联性。
同时，“我们也希望系统生成的评审意见，与人写的评审意见相比，在书写结构、语义逻辑等方面，都应该是比较类似的。”袁玮哲说。
建模
评价指标的挑战解除后，随之而来的是数据集的挑战。“同行评审数据非常少，而且评审数据都是非常私人的，不愿意公开。”袁玮哲认为，之所以此前很难做“自动评审”这样的研究，数据少且不公开是重要原因。
而后出现的“公开评审”平台，让人们有机会从中获得一些评审意见数据。但因为前几年的投稿量非常少，“公开评审”平台上只有几百或者上千条数据，这样的数据量也很难进行一些自动审稿模型的训练。但近年来恰逢AI研究非常火热，投稿量基本上是年年翻倍，研究人员能够从公开评审平台上收集到足够多的数据，保证模型训练。
于是，3人用网络爬虫工具，获取了2017年~2020年的ICLR（国际学习表征会议）和2016年~2019年的NeurIPS会议的公开评审数据，一共收集到了8000多篇论文以及2.8万多条评审意见，一篇论文一般对应3~4条评审意见。
但爬取的这些评审意见数据，都是纯文本形式的，AI系统是无法理解的。“我们需要对评审意见里的信息进行‘表征’定义，然后，我们采取了一种半人工半自动的方法，对数据集进行标注。”袁玮哲表示，最终得到了质量非常高的数据集。
在其后的模型训练环节，研究人员先在论文中抽取一些非常重要的句子，用这些句子来做评审意见的生成。在这种先抽取后生成的框架下，他们综合运用了2种抽取策略以及两种生成策略，并最终成功形成了AI自动审稿系统“ReviewAdvisor”。
伦理
AI自动审稿系统“ReviewAdvisor”出来后，得到了很多正向的反馈。有人在试用了该系统后，表示该系统生成的评审意见，比过去他收到的一些由专家写的意见更具有建设性。
那么，论文审稿人真的就要被替代了吗？
在对一些客观条件识别方面，“ReviewAdvisor”具有明显的优势。例如论文违反了匿名规则，系统可以很快识别出来，直接给出“拒稿”意见。
但是，“我们的系统也会生成带有偏见的评审意见。”袁玮哲说。
对于英语为母语的作者的论文和非英语为母语的作者的论文，由人写的评审意见和系统生成的评审意见都认为，在论文的“清晰性”方面，英语为母语的作者表现得更好。袁玮哲认为，这或许是有一定道理的，“确实非英语为母语的作者在写文章时，用英语表达观点会有一些困难”。
但是，系统生成的评审意见还得出“英语为母语的作者的论文更具有创新性”。袁玮哲说，这可能是系统目前在“偏见”方面存在的比较显著的问题。
研究论文提交后，谷歌公司科学家在推特上说，“可以尝试一下这个系统，但千万不要用这个系统的结果取代审稿工作，否则也太对不起被审论文的作者了”。
*免责声明： 凡本网注明“来源：XXX(非神州瞭望网)”的作品，均转载其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。若内容涉及投资建议，仅供参考勿作为投资依据。本网站无法鉴别所上传图片或文字的知识版权，如果侵犯，请及时通知我们，本网站将在第一时间及时删除。
-
- 我国深空探测计划 瞄准“两个100”目标
-
天问一号火星探测器成功发射，实现火星环绕、着陆，祝融号火星车开展巡视探测，在火星上首次留下中国人的印迹，中国航天实现从地月系到行星际探测的跨越。 下一步，中国的行星探测工
2022-03-24
-
- 太阳极轨探测：为研究太阳带来新契机
-
在太阳活动周、高速太阳风起源等方向的研究上，我国具有一定优势；同时，我国已具备实施太阳极轨探测的技术条件，建议以太阳极轨探测卫星作为切入点，尽快推动太阳立体探测重大工程
2022-03-24
-
- 电子自旋的声学操纵能改善量子控制
-
近日，德俄科学家合作研发一种自旋量子位的声学操控方法，展示了表面声波的应变场与碳化硅中硅空位的激发态自旋之间的相互作用。新方法有望改善电子自旋的量子控制，并为微型量子设
2021-11-05
-
- 福建农林大团队攻克植物生长素研究难题
-
播种面积没有增加，还能促进农业增产？能培育像苹果一样大、甘美多汁的葡萄吗？这幅未来农业的图景，如今加速向我们走来，这源于植物细胞生长调控研究的突破性进展。 1日，记者从福建
2021-11-02
-
- 类太阳恒星锂丰度与活动密切相关
-
记者1日从中国科学院云南天文台获悉，该台丽江天文观测站研究人员近日在类太阳活动恒星锂丰度和恒星活动关系研究方面取得进展。相关研究成果发表在国际天文领域重要期刊《天文和天体
2021-11-02
-
- 吉林一号高分02F卫星成功发射
-
10月27日14时19分，我国在酒泉卫星发射中心用快舟一号甲运载火箭，成功将吉林一号高分02F卫星发射升空。 新华社发（汪江波摄） 记者从长光卫星技术有限公司获悉，北京时间2021年10月27日，
2021-10-28
-
- 三幕式寒武纪大爆发假说有了新证据
-
苔藓动物起源于何时？三幕式寒武纪大爆发假说有了新证据？ 来自西北大学等单位的研究人员通过对陕南镇巴小洋剖面灯影组发现的微体化石进行研究发现，苔藓动物起源于5.3亿年前的寒武纪
2021-10-28
-
- 绘制“菌根共生”调控网络 为减少磷肥施用提供新方案
-
记者10月26日获悉，中国科学院分子植物科学卓越创新中心王二涛研究团队近日在国际学术期刊《细胞》上发表论文称，他们首次绘制了水稻丛枝菌根共生的转录调控网络，该网络能同时调控植
2021-10-27
-
- 遥感技术揭示跨两千年古迹布局
-
据英国《自然人类行为》杂志25日发表的一项研究，美国科学家利用遥感技术对跨度两千年时间里的463个古迹，覆盖84516平方公里的建筑和遗址布局进行了可视化。 此前有研究显示，被称为奥尔
2021-10-27
-
- 活大肠杆菌迄今最清晰结构图发布
-
活大肠杆菌的显微镜图像，揭示了其保护性外膜的斑块性质。图片来源：英国伦敦大学学院本恩等人 许多细菌的外膜是抵抗抗生素的强大屏障，是细菌对药物产生抗药性的重要因素。据25日发
2021-10-26