幻影数据：一种检测人工智能训练中数据使用情况的机制

受20世纪地图绘制者的启发，帝国理工学院的研究人员展示了一种识别法学硕士中版权所有者作品的新方法。

　　

该技术于本周在维也纳举行的国际机器学习会议上提出，详细内容见预印本:https://arxiv.org/pdf/2402.09363

 生成式人工智能正在席卷全球，已经改变了数百万人的日常生活。 

然而今天，当涉及到训练数据时，人工智能往往建立在“不稳定的”法律基础上。现代人工智能模型，如大型语言模型(llm)，需要大量的文本、图像和其他形式的互联网内容来实现其令人印象深刻的能力。 

在伦敦帝国理工学院专家的一篇新论文中，研究人员提出了一种检测人工智能训练中数据使用情况的机制。 

他们希望他们提出的方法将成为快速发展的生成式人工智能领域迈向更大开放性和透明度的一步，并将帮助作者更好地理解他们的文本是如何使用的。

 来自帝国理工大学计算机系的首席研究员伊夫斯-亚历山大·德·蒙乔耶博士说:“20世纪早期的地图制作者在地图上画上虚构的城镇，以检测非法副本，我们从他们那里得到灵感，研究如何在原始文本中注入‘版权陷阱’——独特的虚构句子——使训练有素的法学硕士能够检测出内容。” 

首先，内容所有者会在其文档集合(例如新闻文章)中多次重复版权陷阱。然后，如果LLM开发人员抓取数据并在其上训练模型，那么数据所有者将能够通过观察模型输出中的不规则性来自信地证明训练。 

这个提议最适合在线出版商，他们可以在新闻文章中隐藏版权陷阱句子，这样读者就看不见了，但很可能被数据抓取器抓取。 

然而，de Montjoye博士强调了法学硕士开发人员如何开发技术来消除陷阱和避免检测。在新闻文章中，陷阱以几种不同的方式嵌入，成功地移除它们可能需要大量的工程资源，以保持在嵌入它们的新方法之前。 

为了验证该方法的有效性，他们与法国的一个团队合作，训练了一个“真正双语”的英法1.3 b参数LLM，将各种版权陷阱注入到现实世界中最先进的参数高效语言模型的训练集中。研究人员认为，他们实验的成功为法学硕士培训领域提供了更好的透明度工具。 

同样来自伦敦帝国理工学院计算机系的合著者伊戈尔·希洛夫补充说:“人工智能公司越来越不愿意分享有关其训练数据的任何信息。虽然GPT-3和LLaMA(分别由OpenAI和Meta AI发布的旧模型)的训练数据组成是公开的，但对于较新的模型GPT-4和LLaMA-2来说，情况不再如此。LLM开发者几乎没有动力公开他们的培训过程，导致缺乏透明度(从而导致公平的利润分享)，这使得拥有检查培训过程的工具变得比以往任何时候都重要。” 

同样来自伦敦帝国理工学院计算机系的合著者Matthieu Meeus说:“我们认为，人工智能培训透明度问题和关于内容创作者公平补偿的讨论，对于以负责任的方式构建人工智能的未来非常重要。”我们希望这项关于版权陷阱的工作有助于找到一个可持续的解决方案。”

---

---