生成式AI人物画像的有害性考量：人机交互中算法用户表征的二十项挑战

《International Journal of Human-Computer Studies》：Generative AI Personas Considered Harmful? Putting Forth Twenty Challenges of Algorithmic User Representation in Human-Computer Interaction

为解决生成式AI人物画像(GenAIPs)在用户中心设计中的潜在危害问题，研究人员基于人本人工智能(HCAI)原则系统分析了20项算法挑战。专家调查(n=17)显示，GenAIPs会放大而非消除传统人物画像问题，尤其存在幻觉(M=5.94)、过度净化(M=5.82)和缺乏标准化(M=5.59)等高风险。研究提出了人机协作指南，强调用户福祉应优先于技术效率。

　　

随着生成式人工智能(Generative AI)技术的迅猛发展，人机交互(HCI)和用户体验(UX)设计领域正在经历革命性变革。生成式AI人物画像(GenAIPs)作为传统人物画像方法的自动化演进，承诺通过大型语言模型(LLMs)、文本到图像模型(TTIMs)和多模态模型等技术，实现用户中心设计的高效化和规模化。然而，这种技术驱动的转型是否真正有益于设计实践？是否可能引入新的风险和挑战？这些问题的答案尚未明确。

人物画像作为用户中心设计(UCD)的核心技术，通过原型化特征代表目标用户群体，帮助设计者理解用户需求和行为模式。从手工创建人物画像(MPs)到数据驱动人物画像(DDPs)，再到如今的生成式AI人物画像，该方法论不断演进。GenAIPs能够快速生成包含叙事、视觉和行为模式的详细人物画像，甚至实现实时更新和深度伪造人物画像创建，显著提升了人物画像开发的效率和表现力。

然而，这种技术转型带来了深刻的理论和实践问题。GenAI作为人物画像开发中的主动参与者而非被动工具，将传统的HCI方法论转变为人本人工智能(HCAI)挑战，引发了关于算法透明度、公平性、人类控制和伦理监督的关键问题。尽管研究人员已经识别出GenAI在人物画像开发中的潜在益处，如用户数据分割、叙事撰写和对话界面提供等，但对其潜在危害的系统性分析仍然缺乏。

为此，研究人员开展了这项开创性研究，受Dijkstra经典论文《Go To Statement Considered Harmful》的启发，系统分析了GenAIPs可能带来的二十项挑战。研究团队通过文献综述和专家调查(n=17)，运用HCAI原则框架，评估了这些挑战的严重性，并比较了GenAIPs与传统人物画像方法的差异。

研究采用了三阶段方法：首先通过文献回顾识别二十项GenAIP开发挑战；其次调查十七位人物画像专家，评估每项挑战的严重性并与传统人物画像进行比较；最后基于HCAI原则提出实践指南。专家们使用7点李克特量表(1=强烈不同意，7=强烈同意)对所有挑战进行评分，结果显示所有挑战均被认为对GenAIPs存在问题(M > 4.0)，其中最受关注的是幻觉(M=5.94)、过度净化(M=5.82)和缺乏标准化(M=5.59)。二十项挑战中有十二项被认为比传统人物画像更具问题性，特别是偏见放大、验证挑战和无专业知识的可访问性。

关键技术方法包括：1）基于文献的雪球抽样方法，从基础人物画像文献出发建立挑战框架；2）对四个已发表的GenAIP研究进行实证案例分析，展示挑战在实际中的表现；3）专家问卷调查，提供定量验证和与传统人物画像的比较评估。研究还使用了Shneiderman的HCAI原则框架，将挑战分为七个主题：透明度、公平性、可靠性、控制、隐私、安全和用户体验。

研究结果揭示了GenAIPs面临的多方面挑战：

透明度挑战(TC)包括验证缺乏和幻觉问题。GenAIPs的开发过程不透明，用户难以验证人物画像是否准确代表目标用户，而LLMs生成流畅但可能虚构的细节，导致人物画像包含事实上不正确的内容。

公平性挑战(FC)涉及误表征、人物画像驱动的歧视、过度净化和平均复杂化。GenAIPs可能系统性地低估少数群体，生成刻板化的画像，过度美化现实问题，并创建统计上可能但实际不存在的用户原型。

可靠性挑战(RC)包含表面性、不一致困境、有限通用性和聚合问题。GenAIPs可能生成表面看似可信但缺乏深度的画像，同一输入产生不同输出，创建过于特定而缺乏适应性的画像，以及基于语言而非行为模式生成无意义的用户细分。

控制挑战(CC)涉及人物画像质量风险、手动资源密集、缺乏标准化和过度依赖GenAI。GenAIPs的易用性可能导致未经培训的人员创建无效画像，虽然减少了初始创建努力但引入了新的监督需求，缺乏方法论标准，以及可能减少必要的人类监督。

安全挑战(SC)包括对抗性用户和计算资源密集。GenAIPs可能被恶意操纵生成误导性画像，且需要大量计算资源，带来环境可持续性问题。

隐私挑战(PC)主要是第三方依赖。GenAIPs通常依赖闭源模型，使组织面临不可预测的供应商变化。

用户体验挑战(UC)包含过度期望、验证影响和书桌抽屉效应。AI光环效应可能产生不切实际的期望，组织难以衡量GenAIPs是否真正改进设计决策，以及人物画像可能被开发但未被持续使用。

研究结论表明，GenAIPs将人物画像开发从传统HCI方法论转变为HCAI领域，带来了质的而不仅仅是量的变化。虽然实践者面临技术复杂性，但目标用户群体通过误表征和偏见承受最严重的后果。专家调查显示，60%的挑战对GenAIPs比传统人物画像更具问题性，特别是那些涉及算法偏见、验证困难和可访问性而无专业知识的挑战。

讨论部分强调，GenAIP挑战需要超越提示工程的解决方案，因为许多问题是GenAI架构固有的系统性问题。研究提出了基于HCAI原则的实用指南，包括创建人物画像系谱系统、实施系统反事实分析、建立领域特定专家验证网络、设计人机协作工作流程、实施数据保护技术、进行红队对抗评估以及建立系统性人物画像影响跟踪。

这项研究的重要意义在于为负责任地整合GenAI到人物画像开发提供了理论基础和实践指导，确保这些强大工具能够增强而非削弱我们对真实用户的理解。正如Dijkstra的警告关于goto语句使代码复杂化而非简化，GenAIPs可能使现有的人物画像挑战更加复杂而非解决它们。前进的道路需要认识到GenAIPs作为协作工具需要复杂的人机合作关系，并优先考虑所代表社区的福祉而非技术复杂性。

论文发表在《International Journal of Human-Computer Studies》，为HCI和AI伦理社区提供了重要参考，推动了负责任AI开发的更广泛运动。研究展示了如何将HCAI原则应用于理解GenAIP挑战，使研究人员能够利用AI伦理社区的现有解决方案和指南，为生成式AI在人物画像开发中的负责任实施提供了行动框架。