研究人员警告称，即将到来的人工智能经济将在你做出决定之前卖掉你的决定

对话式人工智能代理可能会暗中影响你的意图，创造一个新的商业前沿，研究人员称之为“意图经济”。他们说，如果不加以控制，这个新兴市场会引发人们对大规模社会操纵的担忧。

　　

在不久的将来，我们可能会看到人工智能助手在早期阶段预测和影响我们的决策，并将这些不断发展的“意图”实时出售给能够满足需求的公司——甚至在我们意识到自己已经下定决心之前。

这是剑桥大学（University of Cambridge）人工智能伦理学家的说法。他们表示，我们正处于一个“利润丰厚但令人不安的数字意图信号新市场”的黎明，从购买电影票到为候选人投票。他们称之为“意向经济”。

剑桥大学Leverhulme未来智能中心（LCFI）的研究人员认为，生成式人工智能的爆炸式发展，以及我们对聊天机器人的日益熟悉，为“说服性技术”开辟了一个新的前沿——科技巨头最近的公司公告中暗示了这一点。

“拟人化”人工智能代理，从聊天机器人助理到数字导师和女朋友，将能够获得大量亲密的心理和行为数据，这些数据通常是通过非正式的对话式口语对话收集的。

研究人员表示，这种人工智能将把对我们上网习惯的了解与一种神奇的能力结合起来，以一种让我们感到舒适的方式与我们协调——模仿个性和预测期望的反应——建立信任和理解水平，从而实现工业规模的社会操纵。

LCFI访问学者Yaqub Chaudhary博士说：“大量的资源被用于在生活的各个领域安置人工智能助手，这应该引起一个问题，即这些所谓的助手是为谁的利益和目的而设计的。”

“人们在交谈时说了什么，怎么说，以及由此产生的实时推断类型，比在线互动的记录要亲密得多。”

“我们警告说，人工智能工具已经被开发出来，用于引出、推断、收集、记录、理解、预测，并最终操纵和商品化人类的计划和目的。”

剑桥大学LCFI的技术历史学家Jonnie Penn博士说：“几十年来，注意力一直是互联网的货币。在Facebook和Instagram等社交媒体平台上分享你的注意力，推动了网络经济的发展。”

“除非受到监管，否则意向经济将把你的动机视为新的货币。对于那些瞄准、引导和出售人类意图的人来说，这将是一场淘金热。”

“在我们成为其意想不到的后果的受害者之前，我们应该开始考虑这样一个市场对人类愿望可能产生的影响，包括自由公正的选举、新闻自由和公平的市场竞争。”

在《哈佛数据科学评论》（Harvard Data Science Review）的一篇新论文中，佩恩和乔杜里写道，意图经济将是“及时绘制”的注意力经济：分析用户的注意力和沟通风格如何与行为模式和我们最终做出的选择联系起来。

乔杜里说：“虽然有些意图转瞬即逝，但对持续存在的意图进行分类和定位，对广告商来说将是极其有利可图的。”

研究人员写道，在意图经济中，大型语言模型（llm）可以用来以低成本瞄准用户的节奏、政治、词汇、年龄、性别、上网历史，甚至是对奉承和讨好的偏好。

这种信息收集将与中介竞价网络联系在一起，以最大限度地提高实现既定目标的可能性，比如出售一次电影旅行（“你提到感觉工作过度，我要给你预订我们之前说过的电影票吗？”）。

佩恩和乔杜里认为，这可能包括引导对话为特定平台、广告商、企业甚至政治组织服务。

虽然研究人员表示，意向经济目前是科技行业的一种“愿望”，但他们通过发表的研究报告和几家主要科技公司给出的暗示，追踪了这一趋势的早期迹象。

其中包括在2023年OpenAI的一篇博客文章中公开呼吁“跨越任何语言、主题和格式表达人类意图的数据”，而OpenAI的合作伙伴Shopify的产品总监在同年的一次会议上谈到聊天机器人将“明确地获得用户的意图”。

英伟达的首席执行官曾公开谈到使用法学硕士来弄清楚意图和欲望，而Meta早在2021年就发布了“意图经济学”研究，这是一个用于人类意图理解的数据集。

2024年，苹果新的“应用意图”开发者框架将应用程序与Siri（苹果的语音控制个人助理）连接起来，包括“预测某人未来可能采取的行动”和“使用你（开发者）提供的预测向某人建议未来的应用程序意图”的协议。

乔杜里说：“像Meta的CICERO这样的人工智能代理据说在游戏《外交》中达到了人类的水平，这依赖于推断和预测意图，并使用有说服力的对话来推进自己的立场。”

“这些公司已经在出售我们的注意力。为了获得商业优势，合乎逻辑的下一步是使用他们正在开发的技术来预测我们的意图，并在我们完全理解它们是什么之前出售我们的欲望。”

佩恩指出，这些发展并不一定是坏事，但可能具有破坏性。“公众意识到即将发生的事情是确保我们不走上错误道路的关键，”他说。