图片来源@视觉中国
在英语学习“听说读写”四个环节中,中国学习者往往擅长“听”和“读”, “说”和“写”却是典型的薄弱环节。
对于提升“说”的能力,我们有很多选择,无论是口语学习的APP,还是真人授课服务,供给端竞争非常激烈。
但对于写作的环节,我们却很少有机会得到训练。书面交流不仅更要比口语更遵守语法规则,还对一个人的词句篇章、构思逻辑等有更高的要求。同时,写作环节的反馈,会耗费更多的精力和时间。
为了解决英语学习者在写作上的难点和痛点,近期,网易有道词典上线了以人工智能驱动的批改英文作文的功能——AI作文批改。据说,这位“AI老师”的专业程度,堪比四六级和高考阅卷老师。
有道 AI 作文批改功能体验
打开网易有道词典APP,“作文批改”功能已经在首页显示,一目了然。点击之后,我们可以选择可以批改的类型,范围从K12到大学四六级,以及托福雅思等出国考试,非常全面。
有道AI作文批改上,有拍照批改模式和手动输入模式两种。鉴于目前大多数考试写作的场景是基于手写,我们选择了主打手写识别的拍照模式。
为了更沉浸式地感受AI老师,首先,我假装自己是一名高三学生,写(抄)了一篇150词左右词汇的英文作文。作文的大意是,李明向好友詹姆斯(James)写了一封信,解释为什么不能陪他在暑期休假以及相关事情。
AI系统将图片识别之后,首先会提示你,点击屏幕可以编辑作文,还会告知你提交前可以再检查一遍。此处估计是担心人工智能对于手写体识别可能会出现的失误。
这一提醒环节设置十分必要。钛媒体在体验过程中发现,即便是识别的准确率非常高,但也会有个别单词,因为字迹潦草而出现失误。
确认提交之后,有道AI作文批改给这篇小作文打了17分(总分25分),并且,细化到词汇、结构、语法和内容方面均有评级。
更为重要的是,在点击每一处标红的地方,有道AI老师都详细地指出了错误及其原因,还给出建议修正的意见。
为了让作者的写作水平更进一步,有道AI老师对这篇作文给出了如下严厉不失细致的评语;
“文章字数疑似超出该考试字数要求;在高中级别下,有一定词汇积累,能使用少量高级词汇,但还需更多积累;文章语句生硬,需加强上下文联系;单词拼写基本正确,词汇基础扎实;存在较多语法错误。”
总的来说,有道的AI作文批改功能,针对不同学段和不同类别的考试水平进行相对专业的打分,并从词、句、篇章进行点评和推荐,生成详细的报告。在语法纠正方面,也给出了清晰的解析,直击中国考试的痛点,非常适合备考的学员在日常的练习。
有道 AI 作文批改 VS 微软爱写作
除了有道之外,目前市面上由人工智能驱动的英文改写的产品,还有巨头微软旗下的微软爱写作(微软小英),和估值已经超过10亿美元的英文在线写作工具“Grammarly”。
不过,很遗憾的是,目前Grammarly 没有上线拍照识别手写的功能,因而,为了相对客观的对比,我们先体验了微软爱写作的产品。
钛媒体发现,微软爱写作目前主要是网页版,还没有上线中国区的App Store的相关APP。不过,它已经嵌入了“微软小英”的公众号内。该公众号是微软亚洲研究院打造的一款免费的英语学习公众号,主打AI与英语学习相结合的体验。
在公众号内,选择“抢先体验”—“发现工具”—“作文打分”,入口相对隐蔽。并且,公众号在提示用户,更推荐大家使用web端,没有切合当前移动互联网的大趋势。
同样还是上述手抄作文,微软爱写作识别了之后,给出了23分(不过总分是多少不清楚),以及从词汇句式、文章流畅性、文章内容和拼写语法四个角度给出了评价。
微软的系统对这篇作文评价还不错。与有道AI老师比起来,微软小英AI老师要温和得多了,立马让人捡起来了刚被击退的英文写作的信心。
不过仔细一想,这更像是基于模板的“统一回复”,因为微软爱写作并没有指出具体的语法和句法的错误,也没有给出今后如何提高的针对性意见。
有道 AI 作文批改 VS Grammarly
体验完微软爱写作,再看看改写工具Grammarly,毕竟这是一款日活已经超过2000万用户的产品。虽然它不能手写识别,但我们可以从挑选单句,进行语法错误纠正方面的对比。
例句1: Like students sing English song.
有道词典
有道词典:疑似动词时态错误,建议将“sing”修正为“singing”;疑似名词单复数错误,建议将“song”修正为“songs”.
Grammarly
Grammarly(免费版):名词单复数错误,建议将“song”改为“songs”.
例句2:When the girl will leave, she fount an old begger in the tree and looked at angry and cold.
有道词典
有道词典:疑似用词不当,建议将“will leave”修正为“left”;疑似动词时态错误,建议将“fount”修正为“found”;疑似名词误用,建议将“begger”修正为“beggar”等.
Grammarly
Grammarly(免费版):建议将“begger”更改为“beggar”.
对比小结:我们发现,有道词典更能识别出较复杂的语法错误,如时态错误(过去式居多),动词原形与动名词误用。Grammarly偏向简单的语法修改,如介词误用,名词单复数错误等。
例句 3: Nest Tuesday, our class is going to a music camp.
有道词典
有道词典:疑似拼写错误,建议将“Nest”修正为“Next”.
Grammarly
Grammarly(免费版):无错误。
对比小结:有道词典更能识别不符合原文语境的单词误用。
总结:
经过对比体验,我们发现,三款产品各有优劣。不过,综合来看,有道AI作文批改,用起来更熟悉且顺手——因为看上去它更理解中国学生的学习习惯、痛点与难点。
有道AI老师是如何做到的?这背后的核心逻辑又是什么?
从网易有道词典那里,钛媒体了解到,网易有道词典AI作文批改功能主要由三个核心模块构成:评分模块、评语模块和纠错模块。
有道AI作文批改评分模块框架
其中,评分的模型框架结合了传统的方法和深度学习的方法,以词、句、篇章作为核心的评分维度;评语模块提供全文评语、词汇推荐、范文推荐;纠错模块提供14个类别的语法错误识别及修正,包括浅层的拼写错误、深层的语法错误等。
同时,我们得到了一份测试报告显示,与国际上较为知名的两个引擎相比,在作文批改引擎方向,网易有道词典的算法性能更好。
评测时间 2020-03-31; P值-Precision 精确率, R值-Recall 召回率, F0.5-P值与R值的调和平均,其值越高,通常表示算法性能越好。
以上表格的测试集来源于用户日志,具体来自三个方向,一是他们海外词典批改服务的用户请求日志,二是考研用户的请求日志,三是来自有道智云的行业数据集。有道团队将这三个数据集中各抽出一部分来做测试集,抽选规则随机。
经过如上体验和对比,尤其是从一些细节方面,可以看出来,有道AI作文批改的研发团队,是在了解了中国学生的难点和痛点之后,再进行了针对性和差异化的开发。
这在当前优质老师资源分布不均,且十分有限的情况下,有道AI作文批改老师的出现,无疑为大多数英语学习者,提供了一位免费的专属私人教师。
更为重要的是,与真人老师比起来,有道AI作文批改老师在识别后,可以随时随地,在第一时间给出作业反馈,以及后续学习、提高的建议,更细致且高效,这不仅可以帮助学生在备考之际给出“临门一脚”的指导,还能在日常反复训练中起到重要的作用。(本文首发钛媒体App,作者|李程程)