基于大语言模型的编程代码分割技术提升视障者算法理解能力

《IEEE Access》：Enhancing Algorithm Comprehension for Visually Impaired Individuals with LLM-Based Programming Code Segmentation

本文针对视障学习者编程教育中因屏幕阅读器线性呈现代码导致的程序结构理解困难和认知负荷增加问题，提出了一种利用大语言模型(LLM)自动分割源代码为语义连贯片段并生成解释性描述的方法。研究通过盲模拟实验证明，该方法能显著提升复杂任务完成率(100% vs 80%)并降低超50%的任务完成时间，主观评估显示其有效提升了非视觉交互下的代码理解效率和系统可用性，为包容性教育提供了创新技术方案。

　　

在数字化素养日益重要的今天，编程教育已成为全球课程的核心组成部分。然而，视障者(VIs)在这一过程中面临着独特的挑战。与视力正常的学习者能够通过视觉线索（如缩进、语法高亮和空间布局）快速扫描多行代码并直观理解结构不同，视障者通常依赖屏幕阅读器或其他非视觉工具，这些工具以听觉序列的形式线性呈现代码。这种顺序访问方式损害了他们掌握更高级程序结构（如控制流、函数边界或嵌套逻辑）的能力。虽然屏幕阅读器和基于音频的集成开发环境(IDE)等辅助技术提高了对语法层面的访问，但它们往往无法表征代码的语义和组织结构。

因此，视障者必须频繁进行重复导航以重建程序的心理模型，这导致认知负荷增加和理解力下降。根据2024年美国人口普查局统计数据，视障者的失业率约为8.5%，是无残疾者（4.2%）的两倍多。在技术相关领域，代表性不足更为明显；研究报告称，只有1.7%的软件开发人员认为自己是盲人或低视力者，而普通人口中这一比例为4.8%。这些统计数据凸显了，不可及的编程教育不仅加剧了教育隔离，还导致了数字劳动力市场的长期排斥。因此，加强编程教育的可及性不仅是一项教育要务，也是一项社会和经济必需。

为了解决这一鸿沟，一项有前景的方向是使用基于块的编程环境，它提供了语法简单性和代码的结构化表示。其在教育中的广泛使用也使其成为包容性学习的理想选择，允许视障者与视力正常的同龄人一起学习。然而，尽管这些环境减少了语法障碍，但其结构清晰度在听觉呈现中丢失了，使得语义理解成为一个持续的挑战。

同时，大语言模型(LLM)的进展在代码相关任务（如分割、总结和解释）中展现了强大的性能。这些模型能够识别代码中的逻辑单元并生成连贯的自然语言描述。尽管其教育效用已在智能辅导系统和面向初学者的编程支持工具中有所探索，但旨在改善视障者可及性的应用仍然罕见。

本研究的主要目标是弥合视障者编程教育中语法可及性与语义理解之间的差距。为此，本文介绍了一种新颖的方法，利用LLM自动将源代码分割成语义连贯的片段，并生成解释性摘要。这些输出通过一个兼容屏幕阅读器的、基于块的界面呈现，旨在通过提供结构化的、高层次的指导来促进全局代码理解并减少非视觉代码探索过程中的认知负荷。

为了系统评估所提方法的有效性和可用性，本研究旨在回答以下研究问题：

RQ1：LLM生成的结构描述在多大程度上增强了视障者理解算法整体结构和流程的能力？

RQ2：LLM生成的结构描述如何影响视障者的编程效率？

RQ3：将LLM生成的结构描述集成到兼容屏幕阅读器的界面中如何影响视障者的感知可用性？

本研究的主要贡献总结如下：

1. 1.
   引入了一种使用LLM生成结构描述的新方法，以改善视障者对算法结构和流程的理解。
2. 2.
   证明了LLM生成的结构描述显著增强了编程任务的理解和效率，表现为任务成功率的提高和任务完成时间的减少。
3. 3.
   强调了将LLM生成的结构描述集成到兼容屏幕阅读器的界面的积极影响，从而改善了视障者的感知可用性。

研究人员开展了一项实验研究，招募了20名视力正常的参与者（年龄21-24岁），通过蒙眼来模拟非视觉交互。参与者使用两种系统完成编程任务：一种带有LLM生成的分割，另一种没有。任务包括导航任务、理解任务和关系理解任务，旨在评估代码导航、逻辑理解和跨片段推理能力。

实验结果表明，在最具复杂性的关系理解任务中，分段系统将任务成功率提高至100%（非分段系统为80%），并将平均完成时间从90.75秒显著减少至41.7秒，效率提升超过50%。主观评估也显示，分段系统在导航效率、理解清晰度和整体满意度方面均获得显著更高的评分。

为开展研究，作者主要应用了以下几项关键技术方法：首先，利用基于规则的转译将用户编写的块式代码转换为标准Python文本代码，使其可被LLM处理。其次，采用提示工程引导GPT-4模型进行代码的自动语义分割和自然语言描述生成，并通过少样本学习适应不同用户偏好。最后，将LLM输出的分段结构整合到自定义的、支持屏幕阅读器的块式编程环境中，通过可展开/折叠的“分段块”界面呈现层次化代码结构，支持非视觉导航。

IV. EXPERIMENTAL RESULTS

A. TASK ACCURACY

对于导航任务和理解任务，两种系统的准确率没有显著差异，所有参与者均成功完成。然而，对于涉及更复杂推理的关系理解任务，出现了明显差异。分段方法实现了100%的准确率，而非分段方法仅为80%。这表明在认知要求高的场景下，分段导航系统能显著改善任务表现。

B. TASK COMPLETION TIME

对于每项任务，参与者使用分段方法时的完成时间均短于非分段方法。最显著的差异出现在关系理解任务中。配对t检验显示，使用分段系统后完成时间的减少具有统计学显著性(t=-7.66, p=1.60x10^-7)，表明效率有实质性提升。

C. SUBJECTIVE USER EVALUATION

在所有评估标准上，分段方法获得的平均评分均 consistently 高于非分段方法。在导航效率、理解清晰度和整体满意度方面，配对t检验均显示分段方法有显著优势(p值均小于0.01)。此外，针对分段功能本身的评估，如代码分割的适当性和分段描述的清晰度，也获得了高分（平均分分别为4.7和4.55），表明用户认为该功能直观且有帮助。

D. OPEN-ENDED FEEDBACK ANALYSIS

开放式反馈分析揭示了几个关键主题：关于认知负荷与记忆支持，参与者指出在通过音频导航代码时，记住变量值和控制流信息需要付出大量脑力劳动，建议增加变量状态定期报告或按需查询功能。关于导航难度，许多参与者认为非分段方法在尝试重访代码早期部分时尤其困难，缺乏结构锚点会导致迷失方向和认知负荷增加。关于代码摘要偏好，一些参与者表示更喜欢极简的、符号化的摘要（如“x=4, y=5”）而非自然语言描述，提示需要可定制的摘要风格。

VI. DISCUSSION

本研究结果表明，代码分段一致地增强了屏幕阅读器环境中程序理解的准确性和效率。分段界面尤其促进了在需要跟踪变量依赖关系和执行流程的认知要求高的场景下更快、更准确的任务完成。这些发现表明，分段有效减轻了非结构化代码带来的心理负荷，使用户能够形成更清晰的心理模型，并以更少的错误和精力来推理程序行为。

除了客观的性能提升，参与者报告在使用分段界面时具有更高的满意度和感知易用性。这种积极的主观反馈强调了该方法不仅具有功能优势，而且获得了用户的接受，这是辅助技术成功采用的关键因素。

然而，该分段方法的可扩展性存在一些局限性。虽然对相对较小且结构良好的程序有效，但参与者对管理更大或更复杂的代码库表示担忧。尽管进行了分段，但与记忆负荷和上下文回忆相关的挑战仍然存在，表明需要进一步的增强功能（如集成变量跟踪、自适应分段粒度或个性化导航辅助）来更好地支持复杂的推理任务。

另一个重要的考虑因素与参与者群体有关。由于本研究涉及的是蒙眼的视力正常者而非实际视障者，研究结果主要反映了模拟非视觉环境下的表现。未来的验证需要实际视障者的参与，以确认该系统在真实非视觉编程环境中的有效性和适用性。

VII. CONCLUSION AND FUTURE WORK

本研究引入了一种利用大语言模型(LLM)自动将源代码分割成语义连贯片段并生成描述性摘要的新方法。这些结构化的代码块被嵌入到兼容屏幕阅读器的块式界面中，旨在减轻线性代码阅读的认知需求，并提高视障者编程环境的整体可及性和可用性。

实验结果证明，代码分段显著提高了任务准确率（关系理解任务从80%提升至100%），并将任务完成时间减少了一半以上，且具有统计学显著性。主观评估进一步支持了这些发现，参与者在导航效率、理解清晰度和整体满意度方面对分段界面的评分 consistently 更高。

尽管取得了这些有希望的结果，仍有几个领域需要进一步研究。首先，未来研究应扩展到更复杂、真实世界的程序，涉及更大的代码库、更深的嵌套和更多的变量，以更全面地了解系统在现实条件下的可扩展性和鲁棒性。其次，可以结合情境提醒、变量状态摘要或函数和循环边界的听觉提示等功能，帮助用户保持心理连续性并减少在代码中重新定向所需的努力。第三，应探索更灵活和动态的自定义，例如允许用户根据自己的策略或认知偏好定义分段级别，或根据任务复杂性实时调整分段。最后，需要在更多样化的视障者群体和其他辅助技术（如盲文显示器或触觉反馈系统）中进行更广泛的评估，以确保系统的普适性。

总之，本研究提供了证据，表明代码分段可以作为屏幕阅读器用户进行编程时有效的辅助机制。通过减少认知负荷和提高可导航性，它支持了更具包容性的编码环境。未来的发展应侧重于增强适应性、情境支持和可扩展性，以赋能视障者在学习和专业环境中的能力。