基于眼动追踪技术的自动写作评价系统对英语专业学生写作错误的干预效应研究

《IEEE Transactions on Learning Technologies》：Reducing English Major Students’ Writing Errors With an Automated Writing Evaluation System: Evidence From Eye-Tracking Technology

本研究针对自动写作评价(AWE)系统在英语写作教学中应用效果存在争议的问题，采用眼动追踪技术探讨了Pigai系统对高职英语专业学生写作错误的影响。通过8周实验发现，AWE系统通过持续反馈促进学生对写作错误的内化，显著提升了错误识别效率（总注视时间降低，回归次数减少）。研究创新性地将神经网路算法应用于眼动视频数据分析，为认知过程研究提供了新方法，对技术增强语言学习领域具有重要启示。

　　

在英语作为外语(EFL)教学中，写作能力的培养一直是重点难点。传统写作教学需要教师投入大量时间批改作文并提供反馈，这给教师带来沉重负担。随着人工智能(AI)技术的发展，自动写作评价(AWE)系统应运而生，它能够快速提供个性化反馈，允许学生多次提交作文，从而增加写作练习机会。然而，关于AWE系统是否能有效提高学生写作水平，尤其是减少写作错误，学术界存在争议。

以往研究大多采用产品导向的方法，关注学生最终作文的分数变化或错误数量减少，但很少探讨学生如何内化和应用AWE系统提供的反馈来减少写作错误。这一认知过程具有私密性，难以直接观察，导致研究存在空白。此外，现有研究多关注国际主流AWE系统（如Criterion），对中国本土开发的Pigai系统研究不足。

为了解决这些问题，蔡蓓等人开展了一项创新性研究，将眼动追踪技术引入AWE系统效果评估中。眼动追踪能够记录读者在阅读过程中的眼动指标，如注视点、眼跳和回视，这些指标反映了实时的认知加工过程，为研究学生如何处理含有写作错误的句子提供了独特窗口。

研究人员在中国某高职院校招募了118名英语专业学生，进行了为期八周的实验。参与者被随机分为实验组(EG)和对照组(CG)。实验组使用Pigai系统并接受教师反馈，而对照组仅接受教师反馈。在写作教学前后，研究人员进行了眼动追踪实验，收集参与者对句子正确性的判断、第一人称眼动视频数据和注视数据。

研究采用了多种数据分析方法，包括神经网路算法、热力图分析、曼-惠特尼U检验、独立样本t检验和韦尔奇t检验。通过神经网路技术在光学字符识别(OCR)中的应用，结合眼动设备数据，开发了一套系统，能够将第一人称眼动视频数据和注视数据转换为利于分析的热力图和眼动指标。

研究主要回答了三个问题：1）使用AWE系统的学生在后期眼动实验中是否在写作错误方面表现更好；2）两组学生在句子层面的视觉行为模式有何差异；3）两组学生在兴趣区域(AOI)层面的视觉行为模式有何差异。

研究结果显示，在后期眼动实验反应方面，实验组和对照组在总体准确率上没有显著差异，但实验组在识别某些特定句子的错误时表现更好。热力图分析表明，实验组学生更准确地关注了包含错误的兴趣区域。

眼动指标分析揭示了更有意义的发现。在句子层面，实验组的总注视时间(TFD)和总注视次数(TFC)普遍低于对照组，特别是在某些句子中差异显著。在兴趣区域层面，实验组的注视时间(GD)、首次注视时间(FFD)、注视次数(FC)和回归次数(RC)等指标也显示出优势。

这些眼动指标结果表明，使用AWE系统的学生处理写作错误更高效，他们对错误区域的处理时间更短，注视次数和回归次数更少，表明他们对写作错误的处理更加自动化，认知负荷更小。这意味着AWE系统通过持续提供写作错误反馈，帮助学生内化了这些错误知识，并能够将其迁移到新材料中，从而更快速、准确地识别写作错误。

研究结论强调，AWE系统的使用不仅提高了学生识别写作错误的能力，还减少了处理时间，这有助于减少写作错误。眼动追踪技术的应用为验证AWE系统的有效性提供了认知过程层面的证据，这是传统纸笔测试无法实现的。

本研究的意义在于：首先，成功将眼动追踪技术应用于英语写作教学中的AWE系统研究，为探究学生实时信息处理策略提供了宝贵见解；其次，教育工作者可以利用学生的视觉行为模式作为支架，引导他们的视觉焦点，提高其在各种英语学习活动中的表现；最后，研究方法与以往主要关注学生作文错误前后对比的研究不同，为未来语言学习教学提供了新思路。

研究也存在一些局限性，如参与者全部来自英语专业，未来研究应扩大样本多样性；由于时间限制，并非所有研究结果都达到统计显著性；后期眼动实验因疫情推迟，可能影响了实验结果。

总之，这项发表在《IEEE Transactions on Learning Technologies》上的研究，通过创新性地结合眼动追踪技术和AWE系统，为理解技术增强语言学习提供了新视角，对EFL写作教学实践具有重要意义。