唐诗也有大数据?揭秘李白杜甫的“用字习惯”

责任编辑:editor005

作者:杨义先教授

2015-02-09 13:35:44

摘自:亚太日报

运用大数据分析方法,借助“机器文学算法”,北京邮电大学信息安全中心主任杨义先教授进行了有趣的“唐诗揭秘”——对诗仙李白、诗圣杜甫等的诗词进行了“用字习惯”分析。

运用大数据分析方法,借助“机器文学算法”,北京邮电大学信息安全中心主任杨义先教授进行了有趣的“唐诗揭秘”——对诗仙李白、诗圣杜甫等的诗词进行了“用字习惯”分析。
 
   有些结果与直观想像很接近;但是,确实另有一些结果比较出人意料,例如如果不允许李白使用姓氏字来写诗,那么,他连一个完整的诗句都写不成,更甭谈一首诗了。但是如果让李白只使用姓氏字来写诗,他也写不出,但是杜甫却能够写出三首诗来!神奇吗?
 
【写诗,原来是典型的大数据问题!】
 
   杨义先带领的灵创团队告诉我们,从计算机科学角度来看,“写诗”其实是一个典型的“大数据分析与综合”的过程。
 
   关于综合,先人们早就知道“熟读唐诗三百首,不会吟诗也会吟”。这其实就是大数据综合!“综合”越好,诗的水平就越高,因此,诗仙李白和诗圣杜甫可谓是“综合高手”了。杨义先曾发布过能让文盲写诗的《出诗表》,正是综合大数据的最直观的案例。
 
   关于分析,最著名的历史典故,该算贾岛的“僧推月下门”或“僧敲月下门”了。但是,由于缺乏有力的分析工具,也由于样本太小,因此,自古以来,诗词的分析过程都仅仅限于局部,比如,是“推”还是“敲”。
 
   “分析”是“综合”的基础。反过来,大量“综合”知识的积累,又有利于提高“分析”的精准度,从而大大改善“综合”的结果。几乎所有的现代和古代诗人都只 是在潜意识地进行着,而且还将继续进行下去。如果能够把这些思维过程,明确地呈现出来,甚至建立相应的模型,那么,肯定有助于高效地提高诗人的修养,而 且,还有助于搞清楚人类的文学创作过程。在大数据时代,样本素材的获取有了重大改善,算法工具也开始出现,可以揭示某些千年以来不为人知的秘密。
 
【为何采用“姓氏”来分析诗中用词?】
 
   灵创团队使用机器文学算法、集合论的逻辑推理等分析工具,前者是其团队自主开发的的一套计算机软件,涉及到许多数学和密码学的技巧,分析的基础字集则是简单的《新华字典》、《中华单姓氏字集》等简单工具书。
 
   按传统,每个朝代都有自己的官方字典。除了姓名等字之外,当朝百姓和官文用字基本上都限于本朝的官方字典,而且,随着朝代的成熟和稳定,这种“向官方字典 靠拢”的现象会更加明显。比如看看最重要的《十八大报告》:虽然它洋洋洒洒8万字,但是,其中互不相同的汉字却只有897个,而且,这897个字全都出自 《新华字典》,只有118个字不属于《中华单姓氏字集》,可见,姓氏字是多少普遍,竟然占有87%的用字比例!)
 
   从纯粹的研究角度看,官方字典有一个严重缺点,那就是它的不稳定性。大清的《康熙字典》与《新华字典》可谓是天壤之别。但是,有一个字集却是超级稳定的,那就是《中华姓氏字集》,不管朝代如何更替,不管发生什么天灾人祸,姓氏字永远是代代相传的。
 
【分析李白诗集:两个“万万没想到”】
 
   李白一生,写诗约979首,共约8万字,其中只有3471个字是不重复的,两个有感觉的分析结果是:
 
   如果人人都是皇帝,即,其姓氏字都得避讳,那么,情况会怎么样?答案是,李白的所有五言或七言诗中,没有一个诗句是完整的,更不可能有一首完整的诗了!可见,《中华姓氏字集》的“杀伤力”有多大!那么,《中华姓氏字集》的建设力大吗?
 
   这带来第二个情况,如果只允许使用姓氏字,那么,情况又会怎么样?这个答案也许就出乎您的意料了!因为,如果只允许使用姓氏字,那么,李白一生竟然连一首诗也不能发表!
 
   因此,对李白的诗集来说,《中华姓氏字集》的建设力非常有限。
 
【《唐诗三百首》的大数据分析揭秘】
 
   既然李白能够被《中华姓氏字集》搞傻,那么,唐朝的其它诗人命运又怎样?其它,结果也大同小异,但是,杜甫同志的命运相对奇好!比如:
 
   情况1)如果人人都是皇帝,即,其姓氏字都得避讳,那么,《唐诗三百首》中的每个诗句都会被杀死,更不可能有一首完整的诗了!即,《中华姓氏字集》的“杀伤力”很大!
 
   情况2)如果只允许使用姓氏字,那么,《唐诗三百首》中也只有如下区区八首诗能够幸存下来,死亡率高达97%!可见《中华姓氏字集》的建设力非常有限。但是,杜甫运气特好,竟然有三首都是他的!注意:从宏观上看,杜甫的用字,比李白更远离《中华姓氏字集》。
 
   综合而言,根据离开《新华字典》和《中华姓氏字集》的距离,按从远到近的顺序排列,结果是:杜甫、李白、《唐诗三百首》、《十八大报告》。但是,杜甫有三首诗的字全都来自于《中华姓氏字集》,而李白(运气不好)连一首也没有!

链接已复制,快去分享吧

企业网版权所有©2010-2025 京ICP备09108050号-6京公网安备 11010502049343号