北京大学团队“AI+人文”跨学科研究取得标志性成果

近日，由北京大学人工智能研究院支持、北京大学数字人文研究中心研究并设计、北京大学王选计算机研究所参与研发的有关定量文化分析系统的研究论文登上Nature旗下唯一人文社科期刊Humanities and Social Sciences Communications。

　　

由北京大学人工智能研究院支持、北京大学数字人文研究中心研究并设计、北京大学王选计算机研究所参与研发的有关定量文化分析系统的研究论文登上Nature旗下唯一人文社科期刊Humanities and Social Sciences Communications。该项研究的发表与介绍核心算法的研究论文在该刊的发表相距不到一年。两篇论文的详细信息如下：

Evol project: a comprehensive online platform for quantitative analysis of ancient literature  

Jun Wang, Siyu Duan*, Binghao Fu, Liangcai Gao & Qi Su,  Humanities and Social Sciences Communications  volume 11, Article number: 291 (2024)

Disentangling the cultural evolution of ancient China: a digital humanities perspective

Siyu Duan, Jun Wang, Hao Yang & Qi Su*,  Humanities and Social Sciences Communications,  volume 10, Article number: 310 (2023)

Evol Project一文介绍了数字人文中心跨学科团队开发的古文献溯源分析平台原型系统。该平台应用深度学习技术对大规模古典文献集进行定量文化分析，追溯中华思想文化观念的源流及其在后世的演化轨迹，在词汇、句子和文档三个层面提供数据驱动的人文研究组合工具。该平台为人文学者应用定量分析方法从事思想史和文化史研究提供了便利。下图分别展示了《老子》与一众道家文献的书本级互文网络、篇章级互文分布与句子级互文频率统计，借此观察典籍文献中所蕴含的思想观念在后世文献中的递相传播和演化。

为此，平台汇集了目前能收集到的唐以前的所有数字化典籍，加上《二十四史》《资治通鉴》以及若干精选典籍和文章总集，共计201种30,880篇，5千余万字符，内容涉及哲学、历史、政治、文学、宗教等多个领域。平台除了常见的浏览、检索和频率统计等基础功能外，特色在于提供了文本重用、词共现、历时性n-gram等定量文化分析功能，配备了多样化的可视化呈现。用户通过简单的点击操作，就能观察千余年的思想演化轨迹。

论文介绍了几个基于该平台的文化分析案例。下图展示了历代史料中与游牧民族名称共现的词汇的负面情绪分数变化。从图中可以看出，史料文字中对游牧民族的负面情绪整体上是逐渐降低的，这印证了传统民族研究的主流观点：从历史发展的大尺度上看，中华各民族互相依存、趋于融合是大趋势。

该原型系统已经开放使用，访问网址见：http://evolution.pkudh.xyz/。在此基础上，数字人文研究中心和王选计算机研究所合作开发了应用级的古文献溯源分析系统，访问地址见：https://ca.pkudh.org/。

Disentangling Cultural Evolution论文描述了上述系统的核心算法原理。论文应用深度神经网络在上述数据集上遍历计算数百万相似互文对，随后使用一个层次框架将相关文献组织起来构建文献互文网络。基于该网络的节点特征，计算任意两部文献之间的标准化互文分数作为检验各类文化现象的依据。论文首先计算若干通识性文化现象的互文指数，以验证互文分析方法的有效性，例如：宋明理学文献与先秦儒家典籍存在显著的互文联系；《参同契》《文始真经》《阮籍集》《嵇康集》这些道教及魏晋玄学类文献与先秦道家文献存在显著的互文联系。论文应用互文指标分析若干在传统人文研究中有争议性的问题，发现：《吕氏春秋》在先秦学术流派维度上有相对均匀的互文分布，但略偏向道家；《陶渊明集》中有作者争议的篇章与其他篇目的互文分布确实存在偏差。

下图展示了《陶渊明集》与儒、道、墨、法、兵五家学派的互文联系强弱。Collection1代表陶渊明集中有作者争议的《五孝传》和《四八目》，Collection2代表其余文本。

论文以史料和历代文总集作为历时性数据的观察对象，计算先秦诸子典籍与各时代的互文强度，以观察两千年间诸子百家的兴衰更替，将一系列历史事件的影响予以定量测度和可视呈现。在下图中，可以清晰地观察到秦朝重用法家，两汉罢黜百家独尊儒术，以及道家玄学在两晋的复兴等。

两项研究成果的取得，得益于跨学科团队的精诚合作。北京大学信息管理系教授王军与外国语学院长聘副教授苏祺、人工智能研究院副研究员杨浩（哲学系原教师）组成跨学科研究团队共同指导研究工作。信息管理系博士生段思宇相对独立地探索钻研，先后得到李佳纯、付炳豪等同学的协助。来自计算语言学研究所的罗睿轩和毕潇晗同学承担了原型系统初期的开发工作。系统研发得到了王选计算机研究所的大力支持，副所长高良才调动工程技术力量参考Evo Project原型系统开发了应用级的古文献分析系统，展现了北京大学跨学科交叉协作的力量。