2万所美国院校都在用的AI阅卷系统 只要复制原文“关键词”就给高分

2020年09月08日 10:45 次阅读 稿源:雷锋网 条评论

最近,美国一家知名教育平台登上了Reddit热搜。原因是有家长爆料,该公司旗下的AI阅卷系统存在重大漏洞,学生只要在答题区写上零散的“关键词”就能轻松拿高分。在事后采访中,一位匿名学生称,如果不是阅卷系统的的漏洞,我不会通过代数2考试,我只是把与问题相关的关键词填了上去,我相信老师们已经发现,但他们没有做任何处理。

访问:

2020年天猫双11领券入口 全球好货10月21日起开始预售

京东双十一领券入口:三大主场每满300减40

据了解,这款AI阅卷系统搭载于虚拟学习平台Edgenuity,目前已服务了2万所美国院校。

而这位爆料者名为达娜·西蒙斯(Dana Simmons),是加州大学河滨分校的历史系副教授。

她之所以发现AI评分系统漏洞是因为他的学霸儿子在历史测评中只拿到了50%的成绩。

随便写写就能拿高分

拉扎尔(Lazare)是一名高中生,他刚刚在Edgenuity平台完成了历史考试测评,满分100,他只拿到了50分,这显然与平时成绩相差很多,他很伤心。

一开始,Simmons还试图安慰他,也许这次的阅卷的老师比较严格。不过,Lazare称,老师并没有看他的答案,提交试卷不到一分钟,成绩就出现了。

Simmons知道,这应该是系统算法自动评分,随后他看了儿子的考试试卷,似乎并没有什么大的问题。于是,她决定用一道历史题测试一下系统的评分规则,结果让她大跌眼镜。

题目是这样的:君士坦丁堡的地理位置如何帮助拜占庭帝国变得富有和繁荣?

它位于爱琴海和黑海之间,是商船和乘客的集散地。它也正处于欧洲和小亚细亚之间,这使它成为一个巨大的贸易中心,而且在当时的许多贸易路线。利润、多样化、西班牙、中国、印度、非洲。

Simmons称,她只是写了两个相关的长句,然后又往上堆叠了一些不连贯的关键词,比如财富、印度、中国、中东。但这种拼凑的“单词沙拉(Word Salad)”形式,系统却给了她满分。

原来根据该公司官网显示,系统的的评分规则是,如果某些问题的答案不包括关键字,系统会判定为0分,如果至少包含一个关键字,则为100分。 而其他的问题根据包含的关键字数量获得一定的百分比。

按关键词评分不失为一种好的方式,但只是按照关键词,显然会出现明显失误。

随后,Simmons在社交平台Twitter上,公开指责Edgenuity公司,称其AI算法漏洞不利于教育公平,引起很多网友的关注和支持。

对此,Edgenuity公司做出回应称,AI系统评分只是作为参考,老师有权对其进行修改。

Edgenuity不会使用算法代替老师评分,只是为老师提供评分指导。老师有能力接受或否决建议的分数,AI不会决定学生的课程成绩。

不过,这一回应也是分分钟打脸。

在事后采访中,Lazare的一位同学表示,老师确实可以重新查看学生的试卷,并给出最终的得分。但他认识的大多数同学都表示,从未见过老师更改Edgenuity分配的成绩,尽管听说有同学使用“单词沙拉”的方法获取高分。

“如果老师在看答案,他们根本不在乎”。

“我整个学期都靠它”

重要的是,Simmons并不是最早发现Edgenuity存在评分漏洞的的人。

一位已经毕业的高中生奥斯丁·帕拉迪索(Austin Paradiso)表示,他在高中期间曾多次使用Edgenuity平台进行考试,虽然不喜欢“关键词沙拉”,但这种方式确实有助于得高分,而且100%有效。

据了解,Edgenuity是美国知名在线虚拟教育机构,已成立二十多年,其提供的K12教育服务已广泛用于2万多所院校,而这一服务就包括Edgenuity平台内置的AI评分系统。

另外,由于今年受疫情影响,大多数美国学校都转向了线上授课模式,其教学和评分服务业也选择外包给虚拟教育平台,Edgenuity是其中收到合同最多的一个。

据统计,Edgenuity公司为初中生和高中生提供了300多个在线课程,涉及从数学到社会研究的各个领域。这些课程由教学视频、虚拟作业,以及在线考试组成。Edgenuity在其中负责课程提供和作业评分。

而经过多次考试,很多学生都已经摸透了系统的评估方法。

一位学生说,当他不会做的时候,会尝试提交与问题相关的成批关键词,这种方法通常都会奏效。

还有另外一位同学表示,他们会截取原文中的关键词粘贴到答题区,在整个上学期都使用了这个技巧。并且每次都能获得不低的分数。

另外,在4个月前,还有学生公然在Reddit上发布帖子,询问如何利用Edgenuity作弊。

在老师不知情的情况下,如何成功欺骗Edgenuity?

我发现你们可以轻松地找到所有答案,我想知道是如何做到的,是否会花时间回答每个问题?

帖子下方聚集了很多同学评论,分享在线作弊技巧。其中一位学生表示,几乎每一次Edgenuity平台考试都会作弊。

此次Simmons的揭发对Edgenuity造成了不小影响,已家长公开反对学校使用该虚拟平台,并表示不希望技术影响孩子成绩。

AI阅卷,你怎么看?

AI技术参与到考试测评系统中似乎是一种必然的趋势。在国内已经有很多相关研究,而且一些技术已经开始逐步走向落地阶段。

阿里巴巴于近日发起的百万奖金数学挑战赛,便声称由其自主研发的AI担任辅助阅卷老师。

不过,关于AI阅卷的标准性和公平性一直备受争议。

对于有标准答案的客观题来说,AI的评分能力毋庸置疑,而且对于一些基础的识别错字能力,AI也有不错的表现,比如在2017年阿里举办的AI作文评分测试中,AI仅用十几秒,就在一篇200字的作文中的找出了8个错别字。

显然,AI在提高阅卷效率,减少老师压力方面发挥了不少作用。但对于一些开放式试题,比如作文,AI阅卷则产生了不同的争议。

有人认为,AI阅卷可以避免主观偏见,在文本结构、语言表达方面形成统一的标准,而且其海量的文章储备,也会高于人类老师的评分水平。

但也有人表示,AI判分过于刻板,如上文中的Edgenuity平台,开放式题目表达是考生的核心思想,人类的情感表达是AI无法按照对错来评判的。

访问:

阿里云推出高校特惠专场:0元体验入门云计算 快速部署创业项目

Verisign - .com域名的守护者 为品牌代言

对文章打分

2万所美国院校都在用的AI阅卷系统 只要复制原文“关键词”就给高分

10 (91%)
已有 条意见

    最新资讯

    加载中...

    今日最热

    加载中...

    热门评论

      Top 10

      招聘


      Advertisment ad adsense googles cpro.baidu.com
      created by ceallan