访谈嘉宾：赵敏俐：首都师范大学文学院教授、中国诗歌研究中心主任

孙茂松：清华大学计算机科学与技术系教授、中国中文信息学会副理事长

张 涛：北京师范大学易学文化研究院教授、院长

尹小林：首都师范大学电子文献研究所所长

特邀主持人：杜晓勤（北京大学中文系教授、中国古代诗歌研究中心副主任）

主持人：21世纪进入第二个十年，信息技术得到突飞猛进的发展。我们正在进入一个全方位的“大数据时代”，呈现出从“云计算”到“大数据”的发展趋势。这个发展趋势不是虚空的，而是正在对社会生活和学术研究产生着实实在在的重大影响。今天在座的都是中国古籍数字化事业的参与者和见证人。我们希望通过这样一个小型的讨论，与广大读者一起分享各位关于古籍整理与国学研究如何应对“大数据时代”问题的思考。

一

赵敏俐：“大数据时代”已经降临了。它表现在各个领域，不仅仅是生产领域，还包括知识领域。“大数据时代”是一场革命，它不仅会促进经济发展、科技进步，在文化领域也会起到巨大的作用。十七届六中全会《关于深化文化体制改革、推动社会主义文化大发展大繁荣若干重大问题的决定》明确提出：“要加强文化典籍整理和出版工作，推进文化典籍资源数字化建设。”我们应站在“大数据时代”这样一个新的高度，来理解和认识中央推进古籍数据化事业的战略意义。

主持人：赵敏俐教授，您是倡导古籍数字化的重要学者，而且已经主持研制了一些古籍数据库。请问您对“大数据时代”之“大”是如何理解的？

赵敏俐：我想，“大”应该包括两个方面的内容。首先是规模上的“大”。按尹小林的提法，几百万到一千万字的数据库算是小型数据库；几千万到一亿字的数据库算是中型数据库；从一亿字到十亿字算是大型数据库，超过十亿字以上的应该算是超大型数据库。

另一方面是功能上的“大”。功能的强大是超大规模古籍数据库很重要的标志。怎样才能算功能的强大？到目前为止，我们虽然已经做了很多古籍数字化的工作，比如把古籍做了一般的简单扫描，入库后也可以进行一般的查找，实现了一部分功能，但这个功能和我们想做的超大规模古籍数据库还有差距。按照我的理解，超大规模古籍数据库应该有这样几方面的特点：第一，因为它有超大规模的数据量，其中文献种类和内容都非常丰富，有更大的包容性。和过去中小规模数据库只是某一个类别、某一个专题的内容相比，通过这样的数据库进行综合整理之后，可以把更多更丰富的信息汇集在一起，可以获得更多、更全面、更准确的资料，为研究者提供更多的便利。第二，超大规模古籍数据库的建设因为有更多技术层面的支持，所以能够实现更多的功能，如对古籍的自动识别、自动标点、自动排版、智能检索、智能分析，可实现多种数据格式的转换和输出，可以满足文、史、哲、经各学科研究所提出的各种特殊需要，更能适应跨学科综合研究的高级需要。只有具备了这样两个特点，才能称之为超大规模古籍数据库。

为什么“大”就会带来一些功能上的突破呢？比如说，关于“中国古代诗词韵律的发展状况”这一研究课题。一直以来，我们的理想是把先秦、两汉、魏晋南北朝到唐宋时代每一首诗、每一首词的每一个字的读音、声调、韵部等全都统计出来，由此再考察中国古代诗歌声律的发展，弄清它们之间的变化。这在过去是不可能做到的。现在有了中国古代诗歌文本和古代汉语音韵数据库，这样的工作就可以做了。超大规模古籍数据库的建设，可以使得学者们从那种非常繁重的翻检古书的劳动当中腾出更多的时间，发现前人未能发现的课题，或者前人虽已发现但囿于精力和技术条件未能研究的课题，进行更多的创造性劳动。将人文社会科学的研究和现代科学技术手段完美结合起来，是未来的发展方向。超大规模古籍数据库所带来的功能是不可比拟的，对于学术的发展和人文学科的建设的推动都是巨大的。

再比如，《二十四史》的标点。这项工作从上世纪五十年代末开始，先后参与的专家学者上百人，历时20年才得以完成。如果用同样的传统人工方式，来标点总字数是《二十四史》25倍的《四库全书》，同样人力需要工作500年时间，这显然是不现实的。今天就不一样了，借助于现代技术手段来标点，效率可以提高50倍以上。也就是说，最多10年就可以完成《四库全书》的标点整理工作。而且在这期间，技术还会不断进步，时间因此还会缩短。我们预计，用5到8年把这个工作完成，是有相当把握的。

孙茂松：利用现代信息技术，将传统文化典籍以数字化“大数据”的形式保留下来，并且发扬光大，正在日益引起许多国家，特别是发达国家的重视。一个典型的例子是，由哈佛大学、麻省理工学院、Google和大英百科全书的专家学者组成的一个研究小组，2011年1月在著名的《科学》杂志发表了一篇题为《基于数以百万计数字化图书的文化定量分析》的文章。该项工作利用Google Books中数字化质量比较高的超过500万种图书，时间跨度从公元1500年到公元2000年，规模总计5000亿词，其中英文3610亿词、法文450亿词、西班牙文450亿词、德文370亿词、中文130亿词、俄文350亿词，以及希伯来文20亿词（据估计，占人类有史以来出版图书总种数的4%），借鉴基因组学（Genomics）的思路，对这些图书组成的“大数据”进行分析，如发现单词或人名在历史文献中随时间变化的频率，由此推导出人类文化的发展趋势和演变规律。他们把这个全新的研究领域称为“文化组学”（Culturomics）。这个例子表现了历史文献“大数据”建设与高水平研究的成功结合。值得注意的是，Google Books中的中文图书其实已经具有相当规模了，这显然对我们形成了一种巨大压力。还需要指出的一点，与现实世界中源源不断产生的科研大数据、互联网大数据、企业大数据、感知大数据相比，历史文献大数据的总量规模要小得多，并且基本上已经“固化”了，原则上不会产生新的数据，数字化一点就离目标近一点，只要我们本着“愚公移山”的精神，就一定可以完成中国古籍数字化的历史重任。　二

主持人：标点整理《四库全书》的蓝图真是令人振奋。我在想，如果把它作为我们国家应对大数据时代的挑战，一个率先建设的超大规模古籍数据库，一个文化强国的龙头工程，诸位专家认为会有怎样的文化意义和社会影响？

张涛：《四库全书》的整理是一个意义非凡的大型项目。如何更好地阅读和使用《四库全书》，怎样进一步挖掘其在各个方面的价值，实际上也是我们古典文献学、历史文献学，特别是新兴的数字文献学学科建设和学术发展需要面对的一个重要课题。

根据我对古籍的认识，《四库全书》的版本，也就是库本，其文献价值不容低估。有许多重要典籍，库本是最好的。而要深度挖掘和广泛应用库本在学术研究、文化推广、社会影响等方面的价值，就需要超大规模数据库的建设。

《易经》是群经之首。我们最近几年一直在做易学典籍的整理研究工作，其中一个重要项目就是与首都师范大学电子文献研究所合作研发《中华易学全书》。这是一次大型专题数据库建设，是古籍数字化的一个很好的示范项目，也是我们进一步深刻认识数字文献学之价值和意义的一个重要切入点。

《四库》经部易类图书共有158种，1757卷，2400多万字，可谓集大成，都是经典中的经典。这说明四库馆臣的学术眼光、文化修养和研究水平是值得景仰和称道的，而数据库的建设又凸显了这些易学典籍的价值。尤其现在是一个读图时代，需要有高清晰度的易图。以前出书的时候，光易卦符号和易图就很难弄好，现在首都师范大学电子文献研究所把这个问题解决了。有了高清晰度的易图，对易学研究者来说是一个大大的惊喜，其中的学术价值自然也是毋庸置疑的。

另外我认为，虽然《四库全书》的纸质版印了这么多，但翻阅、查找极其不便。尽管现在已有可以检索的电子版，但没有标点整理，存在不少问题。因此，超大规模古籍数据库建设，先选择《四库全书》作为一个切入点，以后再选择更多的文化经典，这是切实可行、简捷高效的工作思路，也符合学术研究的发展规律。

国家要求中华文化应以更大的步伐走出去，并不断扩大在世界文明对话中的话语权，大规模古籍数据化正顺应了这一要求，将大大助力中华文化的对外传播，助力更好地搭建中外文明对话的桥梁，推动人类文明进一步向前发展。

孙茂松：可以预期，这个古籍数据库一旦建成，将对推动我国的文化传承事业发挥重要作用，尤其是为相关研究的开展提供坚实的数据基础。我在前面讲过，国际上基于历史文献数据库开展的研究是成果众多的。如哈佛大学和麻省理工学院的学者2007年10月在著名的《自然》杂志上发表的文章《语言演化动力学的定量化》，利用一个规模近1800万词、跨度长达1200年的英语历时语料库CELEX，通过定量分析揭示了英语不规则动词向规则动词的演化规律。再如，多伦多大学的学者最近借助计算机统计技术对大约100多万份中世纪英国的契据（其中大多数契据都没有标明年代）进行断代：他们使用1万份署有年代的契据，考察所使用的语言随时间的变化情况，以此来确定其他契据的年代，取得了有价值的实验结果。此外，从2007年开始，欧洲每年都举办“文化遗产、社会科学和人类学中的语言技术论坛”（LaTeCH），研讨的话题包括：文化遗产、社会科学和人类学中的知识表示、知识发现和文本挖掘、本体、数据模型和层级体系的自动构建和标准化、语篇分析、不同来源、载体信息的链接和检索等。我国在这方面的研究实际上是落后了，需要奋起直追。依托“超大规模古籍数据库”，可做的事情有很多，如计算机自动作诗和集句、历史文献断代和作者推断、中国历史典籍和古典文学作品的词汇层语言加工、中国传统文化本体体系和知识图谱构建、中国传统文化基因在现代生活中使用状况大规模量化调查等，囿于时间关系，我在这里就不展开谈了。