TIPS：一种基于文本交互比例评分的深度学习模型解释性评估新指标

【编辑推荐】针对现有DNN解释方法存在交互贡献评估偏差和额外交互干扰的问题，研究者提出TIPS（Text Interaction Proportional Score）评估指标。通过"pick方案"精准捕获文本片段内部交互，采用相对交互贡献比衡量重要性，在LSTM/CNN/BERT模型和6个基准数据集上验证显示，该指标能准确区分重要/非重要文本片段，为NLP模型可解释性研究提供新范式。

　　

在人工智能技术快速发展的今天，深度神经网络(DNN)已成为自然语言处理(NLP)任务的核心工具。然而这些"黑箱"模型内部复杂的运算机制，使得人们难以理解其决策逻辑——当BERT或LSTM模型判定一段影评具有负面情绪时，究竟是哪些关键词组合触发了这个判断？现有解释方法主要通过分析词语交互(interaction)来揭示模型行为，但评估环节却存在两大痛点：一是绝对化的交互贡献评估会因文本自身交互强度差异导致误判，二是传统shuffling方法会破坏非目标区域的交互关系。这些问题严重制约着可解释性研究的可靠性。

针对这一研究瓶颈，国内研究团队在《Expert Systems with Applications》发表了创新性成果。研究者设计出TIPS（文本交互比例评分）这一全新评估指标，其核心技术包括：1）采用pick方案精准隔离目标文本片段的交互效应；2）通过相对贡献比（目标片段交互贡献与全文交互贡献之比）实现无偏评估；3）在IMDB等6个基准数据集上，结合HEDGE和IIT两种解释方法对LSTM、CNN和BERT三类模型进行系统验证。

研究结果展现出三大突破性发现：
【Accurate】通过设计极端场景测试（零交互/全交互文本），证实TIPS能精准捕获目标片段内的真实交互，排除外部干扰。在CoLA语法数据集上，其评估准确率较传统cohesion-score提升达37.2%。

【Unbiased】针对人工构建的强弱交互对比数据集，相对贡献比机制有效避免了传统方法±28.6%的评估偏差。特别在AG News数据中，重要片段的识别准确率提升至89.3%。

【Discriminative】在SST-2情感分析任务中，TIPS对重要/非重要片段的区分度达到0.82（基准确度0.68），且在不同模型架构间保持稳定性能。案例研究显示，其对BERT模型注意力机制的解析结果与人工标注吻合度达91%。

这项研究为可解释AI领域提供了方法论层面的重要创新。首先，pick-shuffle机制解决了交互评估的"污染"问题，为解释方法建立了干净的实验环境；其次，相对贡献比思想突破了传统绝对值评估的局限性，使不同强度文本的解释结果具有可比性；更重要的是，该指标与模型架构无关的特性，使其可广泛应用于NLP各领域的模型解释工作。研究者特别指出，未来可将TIPS框架拓展至多模态交互评估，并探索其在医疗文本分析等高风险决策场景的应用价值。这项工作不仅提升了DNN模型的可信度，也为构建透明、可靠的人工智能系统提供了新的技术路径。