ViE-Take 数据集：探索自动驾驶接管中情绪影响的关键突破

为解决自动驾驶接管安全中缺乏情绪感知数据集的问题，研究人员开展 ViE-Take 数据集研究，发现情绪对接管性能影响多样，意义重大。

　　## 自动驾驶接管安全的新探索：ViE-Take 数据集的诞生
在科技飞速发展的今天，自动驾驶汽车如雨后春笋般出现在道路上。然而，随着自动驾驶技术的不断推进，一个不容忽视的问题逐渐浮出水面 —— 自动驾驶接管安全。当自动驾驶系统遇到无法处理的情况，需要人类驾驶员接手时，如何确保接管过程安全可靠，成为了智能交通领域的关键挑战。

以往的研究表明，驾驶员的状态在接管安全中起着至关重要的作用。其中，情绪作为影响人类行为和表现的重要因素，却在自动驾驶接管性能的研究中长期被忽视。尽管近年来情绪对接管性能的影响开始受到关注，但由于缺乏公开的涉及情绪的接管数据集，这一领域的研究进展缓慢，相关成果在实际驾驶场景中的应用也受到了极大限制。

为了填补这一空白，研究人员开展了一项极具意义的研究。他们致力于构建一个全新的数据集 ——ViE-Take（Vision-driven dataset for charting the Emotional landscape in Takeovers of autonomous driving），旨在全面探索情绪在自动驾驶接管过程中的作用。这项研究成果发表在《Research》上，为自动驾驶接管安全的研究开辟了新的道路。

研究方法

研究人员在构建 ViE-Take 数据集时，运用了多种关键技术方法。在数据采集方面，通过 CARLA 软件进行驾驶模拟，保障实验安全。招募 21 名年龄在 23 - 29 岁的参与者，在模拟驾驶场景中，让他们观看精心挑选的视频音频剪辑来诱发不同情绪，同时利用摄像头、传感器等设备收集多模态数据，包括面部表情、眼动、头部姿势、身体姿势以及车辆数据等。在数据处理阶段，采用多任务卷积神经网络（MTCNN）提取面部表情特征，OpenFace 2.0 工具 box 获取眼动和头部姿势特征，预训练的 Openpose 模型检测身体姿势。并且，对采集到的数据进行清洗，去除噪声和异常值，确保数据质量。

研究结果

1. 数据集内容：ViE-Take 数据集涵盖了丰富的信息。它包含来自 21 名参与者（12 名男性和 9 名女性）的驾驶数据，每个参与者在每个情绪象限完成 3 次接管事件，共收集到 252 条接管记录。数据集的内容丰富多样，包括多源情绪诱发素材，如从社交媒体和电影中选取的视频音频剪辑；多模态驾驶员数据，全面记录驾驶员的面部表情、眼动、头部姿势、身体姿势以及车辆数据；多维度的标注，不仅对情绪状态（valence 和 arousal）进行标注，还对接管性能指标（如准备度 readiness、反应时间 reaction time、接管质量 quality）进行详细标注。
2. 基准模型预测：研究人员构建了 4 种基础深度模型作为接管性能预测的基准模型，分别对应不同的学习策略（2D、2D + Timing、2D + Timing + Attention、3D）。通过实验发现，利用深度学习仅基于视觉数据预测接管性能是可行的，“2D + Timing + Attention” 策略在预测接管准备度、反应时间和质量方面取得了较好的结果，准确率分别达到 79.78%、65.07% 和 48.05%。同时，情绪对预测结果有显著影响，高唤醒和正价（HAPV）象限的预测结果往往更好，而低唤醒（LA）端的预测结果相对较差。
3. 情绪与接管性能的关系：通过相关性分析发现，情绪与接管性能之间存在复杂的关系。在主观指标方面，高唤醒状态下，参与者倾向于处于 “未准备好” 状态，而低唤醒状态下则更 “准备好” 接管；正价情绪下，参与者的 “短” 反应时间比例更高，而负价情绪下 “长” 反应时间比例更高；在 LAPV 状态下，参与者的接管质量往往较好，而在 HANV 和 LANV 状态下，接管质量较差。在客观指标方面，valence 对最小碰撞时间（T_min）有显著影响，arousal 对转向角度和制动有显著影响，较高的 arousal 水平可能导致较小的转向和制动角度。
4. 情绪刺激效果：在情绪刺激材料的选择上，研究人员发现短视频比电影片段更能有效地诱发目标情绪。参与者对短视频的评价更高，在 HANV 象限，短视频和电影片段的有效性差异高达 46.9%。此外，研究还发现性别对情绪刺激的反应存在差异，女性在高唤醒情绪下的刺激有效性更高，而男性在低唤醒情绪下的刺激有效性略高。

研究结论与讨论

ViE-Take 数据集的出现，为自动驾驶接管安全的研究提供了重要的资源。它是首个专门研究情绪对自动驾驶接管性能影响的公开数据集，通过多源情绪诱发、多模态数据收集和多维度标注，为深入理解情绪在接管过程中的作用提供了有力支持。

同时，研究中构建的 4 种预训练深度模型，为后续的研究和应用奠定了基础。这些模型不仅能够预测接管性能，还能为汽车制造商在驾驶员情绪识别和调节方面提供帮助，有助于提升自动驾驶系统的安全性和可靠性。

然而，该研究也存在一些局限性。例如，研究参与者的年龄范围较窄，未来需要进一步研究不同年龄群体对情绪刺激的反应以及在接管过程中的表现。此外，将情绪识别与性能预测结合作为多任务学习的研究方向，有望为自动驾驶干预和情绪调节提供更丰富的应用。

总的来说，ViE-Take 数据集的研究成果为自动驾驶接管安全领域带来了新的思路和方法，为后续研究和实际应用开辟了广阔的前景。它让我们更加深入地认识到情绪在自动驾驶接管过程中的重要性，为实现更安全、智能的自动驾驶提供了重要的理论依据和实践支持。