今年高考英语AI得分134,复旦武大校友这项研究有点意思

2022-06-25 13:07来源:IT之家   

在挑战写语文作文之后,艾现在盯上了高考英语。

结果,好家伙,今年高考英语卷我考了134分。

这不是偶然的。

2018—2021年的10套真题测试中,AI的分数都在125以上,最高纪录138.5,听力和阅读理解也是满分。

这是由学者秦提出的,用于高考英语测试的人工智能系统。

它的参数只有GPT—3的十六分之一,但它的平均分比GPT—3高15分。

具体来说,就是对维基百科,YouTube等平台的信息进行重新提取和重构,然后喂给AI进行训练,从而使AI具有更强的泛化能力。

两位学者用100多页的论文深入解释了这一新范式。

那么,这个范式到底在说什么呢。

来深挖一下吧~

什么是重构前培训。

论文题目很简单,叫《重构的预训》。

核心观点一言以蔽之,简明扼要。注意数据!

笔者认为,世界上有价值的信息无处不在,目前的AI系统并没有充分利用数据中的信息。

比如维基百科和Github就包含了模型学习的各种信号:实体,关系,文本摘要,文本主题等由于技术瓶颈,以前没有考虑过这些信号

因此,本文提出了一种利用神经网络来存储和访问各种数据的方法。

它们以结构化的方式用信号来表示数据,这和数据科学中非常相似,我们经常把数据构造成表格或者JSON格式,然后通过一种特殊的语言来检索所需的信息。

具体来说,这里的信号其实是指数据中的有用信息。

比如莫扎特出生在萨尔茨堡这句话里,莫扎特和萨尔茨堡就是信号。

接下来利用提示法,可以把这些来自不同地方的信号统一成一种形式。

最后,这些重组的数据被集成并存储在语言模型中。

这样,研究可以统一来自10个数据源的26种不同类型的信号,使模型具有很强的泛化能力。

结果表明,在许多数据集上,RST—T和RST—A零样本学习的性能优于GPT—3。

为了进一步检验新方法的性能,笔者还想到了让AI做高考题的方法。

他们表示,现在很多工作方法都遵循中国GPT—3的思路,在评测应用场景上也遵循OpenAI和DeepMind。

比如胶水评测基准,蛋白质折叠评分等。

基于对目前AI模式发展的观察,笔者认为可以开辟一条新的赛道来尝试,于是想到了利用高考来培养AI手。

他们找来前几年共10套试卷做标记,请高中老师打分。

最后,开发了英语的人工智能模型,也可以称为秦。

从测试结果可以看出,秦绝对是一个学习高手,10套卷子的成绩都高于T0pp和3。

他们觉得现在的很多评测基准的任务都很单一,大部分都没有实用价值,很难和人的状况相比。

高考题目不仅涵盖了各种知识点,还直接有人类的分数进行对比,可谓一举两得。

NLP的第五范式。

P1。非神经网络时代的完全监督学习

P2。基于神经网络的全监督学习

P3。预培训,微调范例

P4。预训练,提示和预测范例

但基于目前对NLP发展的观察,他们认为也许未来可以用以数据为中心的方式来看待问题。

即预训/微调,少射/零射等概念的分化。会比较模糊,核心只会集中在一点上——

有多少有价值的信息,有多少可以利用。

此外,他们还提出了NLP进化的假说。

核心思想是技术发展的方向永远遵循这个——做得更少,实现更好更通用的系统。

复旦大学校友楼

本论文的第一部分是袁。

她毕业于武汉大学,获学士学位,后赴卡内基梅隆大学学习数据科学。

研究方向侧重于自然语言处理任务的文本生成和评测。

去年,她分别收到了AAAI 2022和NeurIPS 2021的论文,还获得了ACL 2021最佳演示论文奖。

2019年获复旦大学计算机系博士学位,师从邱希鹏教授和黄教授。

他的兴趣包括NLP模型的可解释性,迁移学习,基于任务的学习等。

博士期间拿了计算机领域的各种奖学金,包括IBM博士奖学金,微软奖学金,腾讯人工智能奖学金,百度奖学金。

还有一点

值得一提的是,当刘鹏飞向我们介绍这部作品时,他直言不讳地说,起初,我们并不打算提交它。

这是因为他们不希望会议论文的格式限制了构思论文的想象力。

我们决定把这篇论文作为一个故事来讲,给读者一种观影的体验。

这就是为什么我们在第三页设置了观看模式的全景。

就是带大家了解NLP发展的历史,以及我们对未来的期待,让每一个研究者都有一定的代入感,感受通过矿山寻宝引领前期训练语言模型走向美好明天的过程。

文末藏了一些惊喜彩蛋。

比如PLMs主题表情:

最后的插图是:

所以,一篇100多页的论文你不会看腻~

论文地址:

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

责任编辑:苏婉蓉

最新阅读

推荐阅读