走在文理结合的道路上
——记自然语言处理专家冯志伟先生
教育部语言文字应用研究所研究员、杭州师范大学外国语学院高端特聘教授冯志伟先生是北京大学的校友,又是中国科学技术大学的校友。他在北京大学学习人文科学,又在中国科学技术大学学习自然科学,多年来,他一直致力于文科和理科的结合,坚定不移地走在文理结合的道路上。最近,他从北京回云南家乡扫墓、探亲、访友,笔者有幸拜访了这位蜚声国内外的学者。冯志伟先生是我的老朋友,由于他近年来都在德、韩等国讲学,笔者去北京几次都无缘见面。多年阔别,老朋友相见,分外亲热,我和他进行了多次长谈,又浏览了他惠赠的新著,深入地了解到他这几年的学术活动与成就。
在我国的学者中,像冯志伟这样文理兼通的跨学科专家是比较少见的。
冯志伟是教育部语言文字应用研究所的学术委员会委员,又是中国科学院自动化研究所国家模式识别重点实验室的学术委员会委员,横跨了语言学科和自动化学科;冯志伟是中国语文现代化学会顾问,又是中国人工智能学会理事,横跨了语文研究领域和人工智能研究领域;冯志伟是国家社会科学基金语言学科的评审委员,又是国家自然科学基金和北京市自然科学基金计算机学科的评审委员,横跨了语言学科和计算机学科;冯志伟是国家语言文字工作委员会21世纪语言文字规范(标准)审定委员会委员,又是中国外语教育研究中心的学术委员会委员,横跨了汉语学科和外语学科。在国外,他是德国特里尔大学(University Trier)文学院的教授,又是韩国科学技术院(KAIST)电子工程与计算机科学系(EECS)的教授,同样也横跨了文科和理科的不同学科。在学术发展的历史长河中,语言学属于人文科学,计算机和自动化属于自然科学。语言学的基础是语文,计算机和自动化的基础是数学,在传统的教育体系中,语文是文科的典型代表,数学是理科的典型代表,它们之间的区别泾渭分明。冯志伟是专门研究汉语的,而他又懂得多种外语并且研究外语。一个学者能够在性质如此差异的不同学科、不同语言研究中取得重要的成就,成为这些学科的学术带头人,冯志伟确实是一位在信息时代这个特殊的环境下成长起来的新型的学者。
死里逃生:日寇轰炸中的幸存者
冯志伟于1939年4月15日出生于昆明大东门外(今天长春路东段)一个小商人之家。1939年正是抗日战争烽火硝烟的年代,他是日本侵略的受害者。
1944年,日本从云南蒙自派飞机轰炸昆明,昆明全城响起了警报声,当时冯志伟才5岁,家里人带着他跑警报,当他们逃到昆明大东门外的交三桥的时候,日本飞机瞄准手无寸铁的民众投下一连串的炸弹,冯志伟被炸弹震昏了,晕倒在河岸上。当轰炸过后他醒过来时,他发现周围很多人都被炸死了,幸好有一个被炸死的大汉的死尸盖住了他幼小的身体,才得以幸免于难。他掀开死尸挣扎着爬出来,在河岸上哇哇大哭。轰炸过后天空是黑沉沉的,弥漫着火药味,河里满是鲜血,一匹炸伤的马倒在河中挣扎,马车翻倒在河里,电线杠上挂着一个被炸飞的死人头,鲜血一滴一滴地向下流。家里的人都跑散了,也找不到了,冯志伟孤零零一个小孩儿,哭着走到了附近叫做“东庄”的一个村子里,老乡看到他遍身是血,给他换了衣服,暂时留他住下了。家里的人找不到冯志伟,都以为他在交三桥被炸死了,终日以泪洗面,痛苦不堪,后来历尽艰辛终于找到了仍然活着的冯志伟,喜出望外,皆大欢喜。
在冯志伟死里逃生之后一年(1945年8月15日),日本投降了,他和昆明的老乡一起在街头歌唱欢庆胜利,当时他们的唱词是:
看黑夜已经带来黎明,
大地上阳光到处飞舞,
解放的人们已经起来了,
起来迎接咱祖国的新生!
和平在荡漾,
幸福在飞舞,
民主在开花,
自由在结果!
千百万人民在歌唱,
千百万人民在舞蹈,
到处充满了欢乐!
.......
这样的唱词表达了胜利民众的心声!
北大十年:数理语言学之梦
日寇的轰炸中冯志伟没有死于非命,在抗日战争胜利后的1946年,冯志伟开始在昆明长春路东升小学上学。
冯志伟有弟妹六人,他排行在前。他的父母虽然文化不高,负担很重,却很有卓识远见,除起早睡晚搞好土杂店的经营、节衣缩食来供养七个子女念书外,总是严格地教育和督促子女搞好学习。
冯志伟自幼聪慧沉静,善于思考,勤奋好学,在长春路东升小学读书时,就品学兼优,成绩出众,初高中都以第一名的高分考入全省著名的重点学校昆明一中就读,是昆明一中有名的顶尖学生,文理兼能,多次受到学校和任课教师的嘉奖。这个学校曾培育了无数的英才,如获诺贝尔奖的著名物理学家杨振宁、著名哲学家艾思奇、著名史学家吴晗、著名出版家黄洛峰,等等,多年前就曾经是这个学校的学生。冯志伟在昆明一中读书时,从初一到高三,年年名列前茅,他在默默地追赶着那些曾经给昆明一中带来声誉的前辈的老校友们。
1957年高中毕业时,冯志伟才18岁,是班上年龄最小的学生之一,却以优异成绩考入北京大学地球化学专业本科就读。
冯志伟家境贫寒,无钱供他读书。当他兴致勃勃地向父亲报告他已经得到北京大学录取通知书的好消息的时候,父亲却阴沉着脸抱怨说:“怎么你考到北京那么远的地方去上学?家里一直入不敷出,连吃饭都困难,怎么拿出路费来供你到北京读书?你为什么就不体谅家里的困难?”冯志伟理解父亲的困难,他不愿意顶撞父亲,只好自己想办法筹集路费。他带着北京大学的录取通知书一家一户地请求亲友资助,好心的亲友们同情这个可怜的年轻人的困难,纷纷给予资助,终于凑得了100元。当时从昆明到北京没有直达火车,需要先乘汽车到广西金城江,再从金城江乘火车到北京,总共路费大约60多元,沿途7天的食宿费用还需要大约30多元,当他到北京大学报到的时候,100元几乎用完了,口袋里只剩下最后的5元。学校领导知道冯志伟的困难,很快就给他临时补助,不久又给他每月12.5元的人民助学金,使他得以安心地在北京大学学习。
进入北京大学之后,冯志伟一心想研究化学元素在地球上的分布规律。他的兴趣主要是在稀有元素上,它们在元素周期表上是排在比较后的元素,是国家很需要的自然资源。冯志伟非常热爱地球化学专业,当时也没有任何想从事其他学科的想法,这个学科确实也很有意思。地球化学在1957年属于国家要重点发展的尖端学科之一,在地球科学里面,地球化学也是属于最先进的学科。
他入学后曾经对于五光十色的矿物发生了浓厚的兴趣,他研究这些矿物的晶体结构,如醉如痴地观察着不同结晶形状的各种矿物,六方晶系的金刚石、方斜晶系的石墨……,这些立体结构不同的矿物有着差异很大的物理和化学性质。冯志伟深深地被大自然的奥秘吸引住了,更增添了他学科学、爱科学的信心和决心。
就在冯志伟认真学习地球化学的前后,国外兴起了数理语言学,建立起了完善的理论和方法,并且在大学中开设了数理语言学的课程,从而使数理语言学作为一个独立的学科出现在现代语言学的百花园中,日益芬芳、灿烂。
1956年,我国开始注意到国外数理语言学的兴起和发展,在我国科学研究的发展规划中,确立了名称叫做“机器翻译,自然语言翻译规则的建立和自然语言的数学理论”的课题。这个课题包括两部分:一部分是机器翻译,另一部分是自然语言的数学理论,也就是今天我们所说的“数理语言学”。
不久,我国语言学家刘涌泉在《中国语文》上,发表了《谈数理语言学》一文,非常简要地介绍数理语言学这个新兴学科的主要内容和研究方法。但是,由于数理语言学研究要求研究者同时兼具语言学和数学的背景,当时我国的语言学界,还没有这样的学者,因此,虽然数理语言学与机器翻译的研究同时列入了我国的科学研究发展规划,实际上我国只是开展了机器翻译的研究,并没有开展数理语言学的研究。由于缺乏文理兼通的人才,我国的数理语言学在难产中。
北京大学为我国数理语言学的研究造就了这样的人才。北京大学高举五四“民主”和“科学”的大旗,学术空气非常自由,北京大学的图书馆藏书丰富,学生可以阅读到各种最新的科学杂志,了解到国内外最新的学术发展动向。这种学术自由的气氛大大地开阔了学生的眼界,使他们有可能紧紧跟上国际学术发展的前沿。当时正在北京大学地球化学专业研究化学元素分布规律的冯志伟,在北京大学图书馆馆藏的1956年出版的美国《信息论》 (IRE Transaction, Information Theory)杂志上,偶然地看到了美国语言学家N. Chomsky(乔姆斯基)的论文《语言描写的三个模型》(Three models for the description of language),被Chomsky在语言研究中的新思想深深地吸引了。Chomsky追求语言描写的简单性原则,为了使用有限的手段描述变化无穷的自然语言,在他的文章中,建立了形式语言和形式文法的新概念,他把自然语言和计算机程序设计语言置于相同的平面上,用统一数学方法进行解释和定义,提出了语言描写的三个模型。用数学方法描写的这三个模型是这样地抽象,它们既可以用于描写自然语言,又可以描写计算机程序设计语言,达到了“有限手段的无限运用”的目标。冯志伟预感到这种语言的数学描写方法,将会把自然语言和程序设计语言紧密地结合起来,在未来的信息的处理和研究中发挥出巨大的威力。他经过反复考虑,下决心来研究数学方法在语言中的应用这个问题,并经学校同意,他便从理科转到中文系语言学专业从事语言学的学习。转入语言学专业之后,冯志伟一面学好传统语言学的各门课程和外语,一面利用课余时间,继续研究数理语言学的问题,他尽量充分地利用北京大学图书馆丰富藏书和最新的杂志,跟踪着国际上数理语言学发展的足迹,他成为了班上名列前茅的学生。
冯志伟对于外语的领悟很灵敏,到1961年底的时候,他已经学会了4门外语,而且能够使用这4种外语阅读数理语言学的外文文献了。由于他对于数理语言学有强烈的兴趣,数理语言学是交叉学科,冯志伟除了学好中文系的语言学课程之外,还要自学数学和外语等不同的学科,时间比别的同学紧,没有很多的时间来关心政治。而当时学校的政治气氛特别浓,不太主张学生读书,冯志伟就显得有些古怪:明明是学中文的文科学生,一有空就做些数学题,经常还读点外文书,这在当时是很不合拍的。有的同学认为冯志伟是在走“只专不红”的道路,对他颇有微词。
1961年11月11日,当时的团中央第一书记胡耀邦同志在富强胡同的家中亲自接见了冯志伟,鼓励冯志伟研究数理语言学。胡耀邦正色地对冯志伟说:“事实将证明你的道路是正确的!”
1964年冯志伟大学毕业,考上了北京大学语言学理论的研究生,经导师岑麒祥教授同意,他的研究生毕业论文的题目定为《数学方法在语言学中的应用》,在我国语言学研究中,首次系统地、全面地来研究数理语言学这个新兴学科。
这样,我国的数理语言学研究便首先在北京大学正式地开展起来,北京大学中文系的著名语言学家王力先生和朱德熙先生都支持冯志伟的数理语言学研究,王力先生曾对冯志伟说:“语言学不是很简单的学问,我们应该像赵元任先生那样,首先做一个数学家、物理学家、文学家、音乐家,然后再做一个合格的语言学家。”朱德熙先生曾对冯志伟说:“数学和语言学的研究都需要有逻辑抽象的能力,在这一方面,数学和语言学有共同性。”北京大学的这些第一流的学者,总是站在科学的最前沿来看待学术的发展,他们的鼓励给了冯志伟以巨大的力量。
但是这时候发生了一件事情,就是1966年的5月25日,第一张马列主义的大字报贴到了北大饭厅的门口。冯志伟记得很清楚那一天是5月25日,因为那一天他要去买一本法文词典,当时的《法汉词典》编得很不好,很简单,单词太少了。冯志伟学过日文,可以阅读日文文献,他的导师岑麒祥教授说:“你去买本《仏和词典》[1]吧!”于是,冯志伟就到五道口的外文书店买了一本《仏和词典》。中午时分,冯志伟刚刚在五道口外文书店旁边的小饭馆吃完中饭回到北京大学,看到学校的大饭厅前人头攒动。他伸头一看,大饭厅前面的墙上贴着大字报呢。上面写着:“陆平、彭佩云你们要走往何方?”,言词很激烈,陆平是北大的校长,彭佩云是北大的党委书记,彭佩云现在是全国妇联的领导,他们俩当时被认为是北京市委的黑线人物,当时彭真已被揪出来了。冯志伟一看到大字报,就知道他的论文泡汤了,一场很大的革命就要来临了。果然,过了几天《人民日报》就发表了社论说,“这是一张马列主义的大字报”,一下把火点起来了。北大进入“文化大革命”的混乱状态,王力先生和朱德熙先生等等,都被打成反动学术权威,冯志伟的数理语言学研究也随之失去了支持,这个新兴学科的研究被这场“革命”扼杀在襁褓之中。冯志伟的数理语言学之梦破灭了,他随之离开了北京大学,被分配到云南边疆的一所中学里教物理课。
边疆十年:“文革”浩劫中的艰苦探索
冯志伟离开了全国的最高学府北京大学,他的心情是很沉重的,但是,他并没有灰心。他想起了普希金的诗歌:
Если жизнь тебя
обманет,
Не
печалься, не сердись!
В день уныния смирись:
День веселья, верь, настанет.
(假如生活欺骗了你,
不要忧郁,也不要愤慨!
不顺心时暂且克制自己,
相信吧,快乐之日就会到来。)
普希金的诗歌给了他无比的勇气,他决心从沉重的心情中奋起。
他说:“离开了北京大学,我不能做大事了,但是,丈夫之志,穷且越坚,我可以做小事情,我要怀着博大的爱心来做小事。”
冯志伟的爱心就是对于科学执着地追求的爱心。他实践了自己的诺言,从此,他怀着这样的爱心,执着地追求着新的知识。
在云南边疆的中学任教的十年期间,冯志伟不信“读书无用论”,不埋怨大材小用,更不考虑生活的艰苦和清贫,除身体力行,认认真真地教好学生,努力搞好本职工作外,还怀着博大的爱心追求新的知识,朝朝暮暮,年复一年,利用一切业余时间,密切地关注着国外学术发展的动向。数理语言学仍然像磁石一样强烈地吸引着他。在云南边疆那样闭塞的环境中,他设法利用业余时间,潜心研究数理语言学的问题,在信息不足、资料缺乏的困难条件下,阅读了他所能搜集到的各种关于数理语言学的资料,他懂得英、法、德、俄、日等五种外国语,阅读了散见于各种外文书刊中的数理语言学文献,紧跟着世界上数理语言学发展的步伐。就在“读书无用论”甚嚣尘上的时候,冯志伟总结了当时国外数理语言学的成果,于1975年,以中学教师的名义,写成了《数理语言学简介》的长篇文章,在重庆的一家自然科学杂志《计算机应用与应用数学》上发表,向国内计算机界和数学界详尽地介绍了数理语言学的最新情况,这一篇文章犹如空谷之足音,使当时被文化大革命封闭了世界学术进展的中国学术界了解到国外信息时代已经到来的最新动态。冯志伟在这篇文章中兴奋地告诉广大读者:“信息时代的到来,使得语言学、数学和计算机科学结下了不解之缘,语言研究和计算机技术已经到了非结合不可的地步了!”如今,我国自然语言处理界的许多著名学者,就是从这篇文章中最早了解到语言学与数学的联系,从而决心走上了研究自然语言处理的学术道路。他们当时对于冯志伟这个中学老师的名字极为惊叹,没有想到在云南边疆的一个普通的中学里竟然有这样能够洞察国际学术最新动态的高手!
在云南边疆的这些日子里,冯志伟利用业余时间潜心研究了汉字熵值的测定问题。汉字的“熵”(entropy)是汉字所含信息量大小的数学度量。为了进行语言文字的信息处理,必须知道文字的信息量,因此,也就必须测定文字的熵。这是信息时代语言文字处理应该研究的基础性问题。近几十年来,国外学者已陆续测出一些拼音文字字母中的熵,而汉字数量太大,各个汉字的出现概率各不相同,因此,要计算包含在一个汉字中的熵是一个十分复杂和繁难的问题。
为了计算汉字的熵,首先需要统计汉字在文本中的出现频度,由于20世纪70年代我们还没有机器可读的汉语语料库,哪怕小规模的汉语语料库也没有,冯志伟只得根据书面文本进行手工查频,他请了几个志同道合的朋友,用手工帮助他进行汉字频度的调查。他给这些朋友每个人发了一箱卡片,请他们帮助统计在选定样本资料中的汉字出现的频度,并且把这些频度记录在卡片上。在朋友们的帮助下,冯志伟用了将近10年的业余时间,对数百万字的现代汉语文本(占70%)和古代汉语文本(占30%)进行手工查频,从小到大地逐步扩大统计的规模,建立了6个不同容量的汉字频度表,最后根据这些不同的汉字频度表,逐步地扩大汉字的容量,终于估算出了汉字的熵。
为了给汉字熵的测定建立一个坚实的理论基础,冯志伟提出了“汉字容量极限定律”,他用数学方法证明:当统计样本中汉字的容量不大时,包含在一个汉字中的熵随着汉字容量的增加而增加,当统计样本中的汉字容量达到12366字时,包含在一个汉字中的熵就不再增加了,这意味着,在测定汉字的熵的时候,统计样本中汉字的容量是有极限的。这个极限值就是12366字,超出这个极限值,测出的汉字的熵再也不会增加了。1976年,冯志伟在“汉字容量极限定律”的基础上,采用逐步扩大汉字容量的办法,在包含12370个不同汉字的统计样本的范围内,初步测出了在考虑语言符号出现概率差异的情况下,包含在一个汉字中的熵为9.65比特。由此得出结论:从汉语书面语总体来考虑,在现代汉语和古代汉语的全部汉语书面语中,包含在一个汉字中的熵是9.65比特。20世纪80年代,我国北京航空学院计算机系刘源教授使用计算机统计汉字的频度,并计算出汉字的熵为9.71比特。刘源教授使用计算机计算的结果与冯志伟手工测定的结果相差不大,足以说明冯志伟对于汉字熵的测定是十分认真的。冯志伟这项极为重要的科学研究说明,由于汉字的熵大于8比特,所以,汉字不能使用8比特的单字节编码,而要使用16比特的双字节编码。这项研究为汉字信息的计算机处理提供了基本的数据,对于汉字编码、汉字改革和汉语的规范化都有重要的指导意义。
在云南边疆的十年间,冯志伟的生活非常窘困,微薄的工资,狭小的住房,繁重的工作,几乎摧毁了他的健康。1973年,他被安排在学校的小工厂带领学生劳动一年,生产硫酸亚铁,他每天都要在浓硫酸的蒸汽旁边劳动,浓硫酸的蒸汽熏坏了他的牙齿,满口的牙齿都松动了;1974年夏天,他担任班主任带领学生到工厂学工,机床失去控制击中他的眼睛,他的右眼被打伤,视力降到0.1以下,几乎失明了;他的肺部和心脏都出现问题;当时他才30多岁,但已经是满头白发了。他的健康情况处在崩溃的边缘。艰苦的环境和恶劣的条件摧毁了他的身体,却磨练了他的意志,在繁忙的本职工作之余,他仍然顽强地坚持着自己的学术兴趣,始终不渝地用数学方法来探索语言问题。
从北京到法国:研制世界上第一个汉语到多种外语的机器翻译系统
1976年,在凝固而寒冷的空气里突然传来了春天的气息:祸国殃民的四人帮被粉碎了。“寒凝大地发春华”,满目苍荑的神州大地迎来了科学的春天。高等学校又重新开始招生了。毛泽东生前对于大学招生做过指示:“大学还是要办的”,但接着他又指示:“我这里主要说的是理工科大学还要办”。毛泽东在他的指示中没有说文科大学还要办。这样,大学开始招生时,首先恢复招生的是理工科大学,而文科没有招生。冯志伟渴望着早日回到科学研究的岗位上去,但是,北京大学中文系当时不招生,他决定,既然文科不招生,那就报考理工科吧。于是,他报考了中国科学技术大学研究生院,毅然参加理工科大学的入学考试。1978年,原来毕业于北京大学中文系研究生班的文科学生冯志伟,以高分通过了理工科的考试,考上了中国科学技术大学研究生院信息科学系的研究生,弃文学理,又开始了理科的学习,从云南边疆回到了北京。
文化大革命的十年浩劫终于过去了,冯志伟考上中国科学技术大学研究生院,使他有一种“久病初愈,妙手回春”的感觉:正是中国科学技术大学研究生院的妙手,才使贫病交困的他有机会回到了科学的春天。他抑制不住内心的喜悦,乘飞机从昆明到北京入学报到。在飞机上,冯志伟写了一首小诗,表达他内心的感慨:
浩劫凝寒十年死,
妙手回春一日生;
劫波历尽入科大,
跃马扬鞭重起程。
在中国科学技术大学研究生院学习期间,我国老一辈的科学家亲自给研究生们讲课和辅导,严济慈校长到冯志伟所在班级给他们介绍治学经验,数学所的华罗庚教授开讲座给他们介绍数学的前沿发展动向,物理所的彭桓武教授给他们上理论物理的课程,计算技术研究所的曹东启教授和张锦文教授分别给他们上编译程序技术和数理逻辑的课程。这些就像久旱之后的甘霖,滋润着冯志伟的心,他如饥似渴地在学习新的知识,广泛涉猎各种外文杂志,关注着国际上数理语言学发展的最新动向。入学不到一年,冯志伟就熟悉了理工科的学习方法,很快就在理工科的杂志上发表论文。1979年,《计算机科学》杂志创刊,他就在该杂志创刊号上发表了《形式语言理论》的长篇论文,用较为严格的数学表达方式向计算机科学界说明数理语言学中的形式化方法如何推动了当代计算机科学的发展,并且指出;在数理语言学研究中发展起来的形式语言理论,事实上已经成为了当代计算机科学不可缺少的一块重要的理论基石,计算机科学绝不可忽视形式语言理论。由于文化革命的浩劫,我国的科技发展与国际严重脱节,当时我国的计算机界对于形式语言理论了解甚少,冯志伟的文章使人们大开眼界。许多人认为这篇文章一定是资深的计算机科学家写的,后来,计算机界的一些专家了解到,这篇论文的作者竟然是中国科学技术大学研究生院的一个刚刚入学的研究生,感到非常之惊讶。
由于冯志伟学习成绩突出,中国科学技术大学研究生院选送他到法国Grenoble(格勒诺布尔)理科医科大学应用数学研究所(IMAG)自动翻译中心(GETA)学习,师从当时国际计算语言学委员会主席、法国著名数学家B. Vauquois(沃古瓦)教授,并专门研究自动翻译和数理语言学问题。Vauquois教授是国际计算语言学委员会的创始人,是当时国际计算语言学的领军人物,他领导的GETA在机器翻译的理论和实践上都做出了出色的成绩,冯志伟在GETA良好的学习环境中,可以了解到机器翻译发展的最新情况,可以学习到当代机器翻译最前沿的技术。冯志伟喜欢数学,而Vauquois教授是数学家,他们都深知自然语言的形式理论对于构建机器翻译系统的重要性。
在法国留学期间,冯志伟的主要工作是进行汉语与不同外语的机器翻译研究。开始时,他使用的自然语言形式理论是Chomsky的短语结构语法,他试图使用短语结构语法来进行汉语的自动分析。早在1957年,冯志伟就接触到Chomsky的形式语言理论,他对于Chomsky的理论是有深入了解的。Chomsky根据形式语法的原理,提出了短语结构语法作为自然语言形式描述的一种手段,这种语法在自然语言处理中得到了广泛的使用。国内外的许多机器翻译系统都采用Chomsky的短语结构语法作为系统设计的基本理论依据。根据Chomsky的短语结构语法,表示句子结构的树形图中的每一个结点只有一个相应的标记,结点与标记之间的这种关系是一种单值标记函数的关系。这种单值标记函数表示的语言特征是十分有限的,因而在机器翻译中进行汉语的自动分析时,会出现大量的歧义问题,难于区分句法结构相同而语义结构不同的汉语句子,这种分析法是短语结构语法在分析汉语时一个致命的缺点。
当时冯志伟在法国研制开发机器翻译系统的实践中,就敏锐地认识到短语结构语法的这种致命缺点。
有一天,Vauquois教授和冯志伟讨论汉语自动分析的问题。冯志伟坦率地向Vauquois教授说:“Chomsky的短语结构语法对于法语和英语的分析可能没有多大问题,可是,用这种语法来分析汉语,几乎寸步难行”。
Vauquois教授用好奇的目光看着冯志伟,他希望冯志伟进一步阐述自己的看法。冯志伟举例对Vauquois教授作了如下的说明:
在汉语中可以说“点心吃了”,实际上是“点心被吃了”,但汉语一般不用“被”字;汉语中还可以说“张三吃了”,实际上是“张三把点心吃了”。“张三”是个名词短语NP(Noun Phrase),“点心”也是个NP,“吃了”是个动词短语VP(Verb Phrase),这两个句子的规则都是:S àNP+VP,其中,S(Sentence)表示句子,它们的层次相同,词序相同,词性也相同,但它们却有截然不同的含义,一个是被动句,一个是主动句。我们怎么来解释这样的差异呢?如果我们使用Chomsky的短语结构语法,用计算机来分析这两个不同的句子,计算机最后做出来的肯定是一样的树形图,它们的差别只是在叶子结点上的词不一样,整个树形图的上层都是同样的SàNP+VP,这样在结构上相同的句子为什么会有不同的语义解释,从而产生不同的含义?使用短语结构语法显然是解释不了的,而中文里到处都是这样的句子,因为中文里的被动关系有不同的表示方法,有时主动和被动在形式上没有明显的区别,可以从句子的上下文和意念上来加以区分。在这种进退两难的局面下,唯一的出路就是根据汉语语法的特点改进Chomsky的短语结构语法,设法使用一种新的方法来描述汉语。
Vauquois教授耐心地听完了冯志伟的说明,他从沙发上站起来惊叹地说:“汉语真是一种langue terrible (法语:糟糕的语言)”。他说:“哪种语言能够不分主动和被动,人吃了和被人吃了怎么能是一样?怎么这么乱?”
冯志伟向Vauquois教授解释道:其实中国人一点儿也不感觉到乱,我们中国人在说话时是分辨得很清楚的,因为我们中国人知道在一般情况下,人是不能被吃的。所以“小王吃了”的语义不能是“小王被吃了”,而点心它不吃东西,所以“点心吃了”必定是“点心被吃了”。汉语是靠词汇的固有语义来解决语法问题的,但是对于你们法国人来讲,并不存在这样的问题。所以,我们不能按照法语的思考方法来处理这个汉语的问题,我们必须另辟蹊径!
Vauquois教授是一个知识广博、眼界开阔的学者,他鼓励冯志伟沿着这个思路继续探索。他对冯志伟说:“Chomsky的短语结构语法也不一定永远正确嘛!”
在冯志伟告别时,Vauquois教授兴奋地说:“我相信,你一定能找出一种汉语自动分析的新方法。”
这次和Vauquois教授的谈话使冯志伟深刻地认识到,Chomsky的短语结构语法在汉语自动分析时确实出现了极大的困难。这种困难甚至连Vauquois教授这样世界第一流的计算语言学家也承认了。作为中国的科学工作者,他必须想出一种新的办法,来克服短语结构语法的缺点。不然,他现在进行的汉语自动分析就很难搞下去了。
这一天夜里冯志伟很不平静,翻来覆去总在思考这个问题。第二天清早,冯志伟走到Vauquois教授的办公室,他明确地向Vauquois教授提出:我们正面临一个新的挑战,我们必须要思考一种新的语法理论来解决这个问题。Vauquois教授完全同意冯志伟的意见,他进一步鼓励冯志伟探索新的理论和方法来解决汉语自动分析中出现的这个困难问题。
在Vauquois教授的鼓励下,冯志伟对这个问题反复进行了思考。他观察到:“小王吃了”和“点心吃了”这两个貌似相同的句子在词汇的语义上有很大的不同,“小王”在语义上是一个“人”,在一般情况下,“人”是“吃了”这个行为的主动者,而“点心”在语义上是“食品”,在一般情况下,“食品”是“吃了”的被动者,是“吃了”的对象。在短语结构规则SàNP+VP中,如果我们不要把NP看成一个不可分割的单元,而把NP进一步加以分割,使用若干个特征来代替NP这个单一的特征。例如,在“小王吃了”中,我们把NP分解为“NP | 人”两个特征,在“点心吃了”中,我们把NP分解为“NP | 食品”两个特征,这样一来,就有可能在计算上把它们分解开来了。在计算机处理语言时,特征也就是“标记”,冯志伟提出,如果我们使用“多标记”来代替短语结构语法中的“单标记”,就有可能大大地提高短语结构语法描述语言的能力,我们就可以使用改进后的这种语法来描述汉语,实现汉语的自动分析。这就是冯志伟提出的关于“多标记”的设想。
冯志伟对于短语结构语法的另一个改进是使用多叉树代替短语结构语法的二叉树。Chomsky曾经提出Chomsky范式,他认为自然语言的结构具有二分的特性,因此他主张在自然语言处理中使用“二叉树”(binary-tree)。冯志伟认为在汉语中存在着“兼语式”和“连动式”等特殊句式,它们都不具备二分的特性,因此,冯志伟主张使用“多叉树”来代替“二叉树”,从而提高短语结构语法描述汉语的能力。例如,“请小王吃饭”是一个兼语式的句子,其中的“小王”做前一个动词“请”的宾语,又做后一个动词“吃饭”的主语,在计算机处理时,究竟是分析为“请 / 小王吃饭”,还是“请小王 / 吃饭”,我们将处于进退维谷的境地。如果我们采取三分,把这个句子分析为“请 / 小王 / 吃饭”,可以避免分析树的交叉,得到唯一的分析结果。
经过在计算机上编写程序进行潜心的钻研和反复的试验,冯志伟提出了“多叉多标记树模型”(Multiple-labeled and Multiple-branched Tree Model,简称MMT模型),在MMT模型中,他采用多值标记函数来代替短语结构语法的单值标记函数,使得树形图中的一个结点,不再仅仅对应于一个标记,而是对应于若干个标记,他还使用多叉树来代替二叉树,这样便大大地提高了树形图的标记能力,使得树形图的各个结点上,都能记录足够多的语法语义信息,把句子中所蕴含的丰富多采的信息充分地表示出来,这种多值标记函数的理论实质上是一种复杂特征的理论,它从根本上克服了Chomsky的短语结构语法在描述自然语言时的严重缺点,提高了其有限的分析能力,限制了其过强的生成能力。显而易见,冯志伟的MMT模型是对Chomsky短语结构语法的一个带有实质意义的重要改进,这个模型提出后,立即引起了国际计算语言学界的高度重视,在1982年于布拉格召开的国际计算语言学会议(COLING'82) 上,在1983年于北京召开的国际中文信息处理会议(ICCIP'83)上,在1984年于香港召开的东南亚电脑会议(SEARCC'84)上,冯志伟都介绍了他提出的MMT模型。Vauquois教授在国际计算语言学会议COLING'82的大会发言中,也赞扬了冯志伟的研究工作。COLING是计算语言学界最高水平的学术会议,冯志伟是我国第一个参加COLING会议的学者。他在这些国际会议上的发言,引起了国际学术界对汉语自动句法分析和汉语自动语义分析的兴趣。他的MMT模型是我国学者在汉语自动句法-语义分析方面最引人注目的早期研究成果,直到20世纪90年代以后,我国计算语言学界才开始注意到采用复杂特征的方法来进行汉语的自动句法-语义研究,比冯志伟的MMT模型晚了十几年。
就在冯志伟提出MMT模型的同时,国外一些计算语言学家也看到了短语结构语法的局限性,分别提出了各种手段来改进它。例如1983年R. M. Kaplan(卡普兰)和J. Bresnan(布列斯南)提出的“词汇功能语法”、1983年Martin Kay(马丁·凯依)提出的“功能合一语法”、1985年G. Gazdar(盖兹达)等提出的“广义短语结构语法”、1985 年C. Pollard(珀拉德)提出的“中心语驱动的短语结构语法”等,都采用了复杂特征来描述自然语言,他们所谓的“复杂特征”实际上也就是冯志伟提出的“多值标记”,名异而实同。所以,冯志伟提出的MMT模型,是世界计算语言学者对Chomsky的短语结构语法进行改进的一个重要方面和不可分割的组成部分,MMT模型是80年代较早提出的一个旨在改进短语结构语法的形式化模型,当时我国学者在这方面的研究在国际上是处于前沿地位的。
1984年荷兰阿姆斯特丹北荷兰出版社出版的多卷专著《计算机科学基础研究》第9卷《自然语言处理的计算机模型》一书( 由意大利米兰大学主编 )中,曾详细介绍了冯志伟的MMT模型,并评论说:“冯氏关于独立分析-独立生成的主张,关于尽可能地从源语言分析中获取多方面信息的主张,是当前自然语言处理研究中的一个重要进展”。
冯志伟还结合汉语的特点需要,研究了采用MMT模型来解决汉语自动分析的各种问题。他指出,在汉语的自动分析中,采用“多值标记”的必要性更加明显。这是因为汉语的句子不能只用词类或词组类型等简单特征来描述,汉语句子各个成分的词类、词组类型、句法功能、语义关系、逻辑关系之间,存在着极为错综复杂的关系,如果只采用简单特征,就无法区分各种歧义现象,达不到汉语自动处理的目的。
具体地说,这是由于:1. 汉语句子中的词组类型(或词类)与句法功能之间不存在简单的一一对应关系;2. 汉语句子中词组类型(或词类)和句法功能相同的成分,它们与句子中其它成分的语义关系还可能不同,句法功能和语义关系之间也不是简单地一一对应的;3. 汉语中单词所固有的语法特征和语义特征,对于判别词组结构的性质,往往有很大的参考价值,除了词组类型这样的简单特征之外,再加上单词固有的语法特征和语义特征,采用多值标记来描述,就可以判断词组结构的性质。
冯志伟还提出了用于多值标记的汉语“特征-值”系统,建立了“双态原则”(Di-States Principle,简称DSP原则),他把自然语言的特征可分为静态特征和动态特征两大类。其中,静态特征有:词类特征、单词的固有语义特征和它的值、单词的固有语法特征和它的值,动态特征有:词组类型特征和它的值、句法功能特征、语义关系特征、逻辑关系特征。在自动句法语义分析中,静态特征是计算机进行运算的基础,计算机依赖于这些预先在词典中给出的静态特征,通过有穷步骤的运算,逐渐计算出各种动态特征,从而逐步弄清楚汉语句子中各个语言成分之间的关系,达到自动句法语义分析的目的。冯志伟的“双态原则”为自然语言处理建立了一个操作性很强的形式模型。
冯志伟在法国留学期间,了解到法国语言学家L. Tesnière(特尼耶尔)的从属关系语法和语法“配价”的概念,他用这种语法来研究汉外机器翻译问题,首次把“配价”(法语:valence)的概念引入我国的机器翻译研究中,他把动词和形容词的行动元(法语:actant)分为主体者、对象者、受益者3个,把状态元(法语:circonstant)分为时刻、时段、时间起点、时间终点、空间点、空间段、空间起点、空间终点、初态、末态、原因、结果、目的、工具、范围、条件、作用、内容、论题、比较、伴随、程度、判断、陈述、附加、修饰等27个,以此来建立多语言的自动句法分析系统,对于一些表示观念、感情的名词,也分别给出了它们的价。他还把从属关系语法和短语结构语法结合起来,在表示结构关系的多叉多标记树形图中,明确地指出中心语的位置,并用核心(GOV)、枢轴(PIVOT)等结点来表示中心词。这是我国学者最早利用从属关系语法和配价语法来进行自然语言计算机处理的尝试,他提出的3个行动元和27个状态元的汉语配价系统,经过了机器翻译实践的检验,证明是行之有效的。这个汉语配价系统为汉语配价的研究奠定了初步的理论基础,后来学者们提出的诸多汉语配价系统,与冯志伟在MMT模型中的这个汉语配价系统大同小异。
冯志伟根据机器翻译的实践,提出了表示从属关系语法的从属树(Dependence Tree)应该满足如下5个条件:1. 单纯结点条件:从属树中,只有终极结点,没有非终极结点,从属树中的所有结点所代表的都是句子中实际出现的具体的单词;2. 单一父结点条件:在从属树中,除了根结点没有父结点之外,所有的结点都只有一个父结点;3. 独根结点条件:一个从属树只能有一个根结点,这个根结点,就是从属树中唯一没有父结点的结点,这个根结点支配着其他的所有的结点,4. 非交条件:从属树中的树枝不能彼此相交;5. 互斥条件:从属树中的结点之间,从上到下的支配关系和从左到右的前于关系之间是互相排斥的,如果两个结点之间存在着支配关系,它们之间就不能存在前于关系。冯志伟提出的这5个条件比1970年美国计算语言学家J. Robinson(罗宾孙)提出的从属关系语法的4条公理更加直观,更加便于在机器翻译中使用。
冯志伟在法国研究的另一个问题是生成语法的公理化方法。冯志伟从公理化方法的角度来研究Chomsky的形式文法,他把Chomsky的形式文法同数学中的“半图厄系统”(semi-Thue system)相比较,指出了Chomsky的形式文法,不过是数学中的公理系统理论在语言分析中的应用而已,语言就是由文法这一公理系统从初始符号出发推导出的无限句子的集合;文法的规则是有限的,文法中的终极符号和非终极符号的数目也是有限的,可是,由于语言符号具有递归性,文法这一公理系统就能够根据有限的符号,通过有限的重写规则,递归地推导出无限的句子来。冯志伟的研究,从数学的基础理论方面揭示了形式文法的实质。
冯志伟根据他提出的MMT模型,于1981年完成了汉-法/英/日/俄/德多语言机器翻译试验,建立了FAJRA系统。 在IBM-4341大型计算机上,把二十多篇汉语的文章自动地翻译成英文、法文、日文、俄文、德文,译文通顺,可读性强。当时在GETA自动翻译中心做研究的,除了法国学者之外,还有来自英国、日本、德国的学者,当他们看到冯志伟把他们不懂的汉语输入计算机,自动地翻译成他们可以理解的法语、英语、日语、德语的时候,他们都感到由衷的高兴和无比的振奋。FAJRA系统是世界上第一个汉语到多种外语的机器翻译系统,开创了多语言机器翻译系统之先河。
冯志伟的研究从理论和实践上都改进了短语结构语法,受到了导师Vauquois教授的赞赏。冯志伟急着想把他的成果应用到中国的科技信息文献的大规模翻译方面,建立一个实用的机器翻译系统,因此,实验报告一写完,他就马上离开法国回到了祖国。
回到北京,冯志伟想到的第一件事情就是到北京大学拜见他的老师著名语言学家王力先生,向王力先生汇报在法国学习的收获。早年冯志伟在北京大学中文系开始研究数理语言学的时候,王力先生就支持过冯志伟的研究,在北京大学求学期间,冯志伟曾经认真地听过王力先生讲授的《古代汉语》、《汉语史》、《中国语言学史》、《清代古音学》等课程,他的学习成绩名列前茅,这些关于汉语文字、音韵和训诂的课程,使他对汉语和汉字的研究越来越热爱,为他后来从事自然语言处理的研究奠定了坚实的基础,冯志伟永远忘不了他的恩师王力先生。
1982年春天,冯志伟和他的一个老同学一起到北京大学燕南园去看望王力先生,一进门,王力先生就高兴地请他们坐下,王力先生对冯志伟说:“听说你考上了中国科学技术大学研究生院,已经改行学习自然科学了,然后中国科学技术大学又选派你到法国Grenoble理科医科大学应用数学研究所学习,现在你已经更新了知识,你有了很好的数理化基础,因此也就有了科学的头脑,这些都是很宝贵的财富,在语言学研究中随时用得着”。冯志伟向王力教授汇报了他在法国研究多语言机器翻译的收获。王力先生细心地听着,他对冯志伟说:“我前年在武汉开的中国语言学会成立大会上曾经说,我一辈子吃亏就吃亏在我不懂数理化。现在你懂得数理化,就不会像我这样吃亏了,我相信你今后一定会做出更好的成绩”。接着,王力先生又说:“20多年前我曾经对你说过,我希望你学习赵元任先生。当然,这是很难的。赵元任先生由哲学家、物理学家、数学家、文学家、音乐家做底子,最后才成为世界著名的语言学家的。我一辈子都想学他,但是,我的数理化基础差,没有学好。你现在到法国学习了自然科学,已经具备学习赵元任先生的条件了,我再一次提醒你,你要向赵元任先生学习,而且一定要学得比我好”。王力先生这些语重心长的话,给了冯志伟极大的鼓励,他决心按照王力先生的教导,把数理化的知识和语言学的知识结合起来,做一个信息时代的新型的语言学家。
从法国回国之后,冯志伟在中国科技信息研究所计算中心担任机器翻译研究组的组长,在王力先生和刘涌泉先生的鼓励之下,他利用当时北京遥感技术研究所的IBM-4361计算机,于1985年进行了德-汉机器翻译试验和法-汉机器翻译试验,建立了GCAT德-汉机器翻译系统和FCAT法-汉机器翻译系统,检验了MMT模型分析汉语和生成汉语的能力,试验结果良好。可惜由于资金缺乏,不能开展更大规模的实验,他要建立实用性机器翻译系统的愿望没有马上实现。
1982年秋天,冯志伟应北京大学的邀请,在北京大学中文系汉语专业开设了“语言学中的数学问题”的选修课。这是国内首次在高等学校全面地、系统地讲述数理语言学的课程,受到学生们的欢迎。北京大学前任校长、著名数学家丁石孙教授在他的专著《数学与教育》一书中,对冯志伟的这门课程作了如下的评价:“1982年,北京大学中文系开设了《语言学中的数学问题》,这是给汉语专业学生开的选修课程,许多同学对这门学科产生了很大的兴趣,经过一个学期的学习,同学们初步认识了现代数学的发展给语言学注入了生机,觉得获益匪浅,对语言学这门古老的学科分支的发展充满了信心,而且这一举动冲击了相当多的人的旧概念,使闭塞的中国学术界认识到,即使在人文科学教育中,数学也在逐渐起作用。”在北京大学讲稿的基础之上,冯志伟写出了我国第一部数理语言学的专著,书名就叫做《数理语言学》,于1985年8月由上海知识出版社出版。接着,他又出版了《自动翻译》的专著,深入地探讨自然语言机器翻译的理论和实践问题。这两本专著的出版,受到了我国计算语言学界的欢迎。不少出国学习计算语言学的留学生,出国时都带着这两本书,作为入门的向导。
德国斯图加特:建立世界上第一个中文术语数据库
1985年,原文字改革委员会改名为国家语言文字工作委员会,需要计算语言学方面的人材,冯志伟调入了国家语言文字工作委员会语言文字应用研究所担任计算语言学研究室主任,得以专门从事计算语言学的研究工作。与此同时,理工科方面仍然很需要他,他也在中国科学院软件研究所担任兼职研究员。
冯志伟取得的成就引起了国内外学术界的瞩目,但是,冯志伟却非常谦虚。他说:“我的所知总是很有限的,而我的未知却是无限的,因此,我要不懈地追求新知。”
冯志伟一鼓作气,不倦地探索新的知识。不久,他就向术语学这个新的领域进军了。
根据中德科技合作协定,冯志伟受中国科学院软件研究所的派遣,于1986年至1988年到德国夫琅禾费研究院新信息技术与通讯系统研究所(FhG)担任客座研究员,从事术语数据库的开发。FhG在德国的Stuttgart(斯图加特),是德国著名的工程研究院,在信息科学和术语数据库方面的研究尤其出色。
术语是人类科学技术知识在自然语言中的结晶。术语数据库是在计算机上建立的人类科学技术的知识库,冯志伟的这项研究属于知识工程的研究,具有重要的意义。
当时还没有很好的汉字输入输出软件,冯志伟克服了重重困难,在FhG使用UNIX操作系统和INGRES软件,建立了数据处理领域的中文术语数据库GLOT-C,并且把这个数据库与FhG的其他语言的术语数据库相连接,可以快速地进行多语言术语的查询和检索,并且能够处理汉字。这是世界上第一个中文术语数据库,具有开创作用。
在FhG研究术语数据库的过程中,冯志伟还接触到多种语言的大量术语,他惊异地发现,几乎在每一种语言中,词组型术语的数量都大大地超过了单词型术语的数量。他试图从理论上对这样的语言事实进行解释。
为此,他把数理语言学的理论应用到术语数据库的研究中,提出了“术语形成的经济律”。他证明了:在一个术语系统中,术语系统的经济指数与术语平均长度的乘积恰恰等于单词的术语构成频度之值,并提出了“FEL公式”来描述这个定律。
根据FEL公式可知,在一个术语系统中,提高术语系统经济指数的最好方法是在尽量不过大地改变术语平均长度的前提下,增加单词的术语构成频度。这样,在术语形成的过程中,将会产生大量的词组型术语,使得词组型术语的数量大大地超过单词型术语的数量,而成为术语系统中的大多数。
FEL公式从数理语言学的角度,正确地解释了为甚么术语系统中词组型术语的数目总是远远大于单词型术语的数目的数学机理,它反映了语言中的省力原则和经济原则,这是我国学者对于数理语言学中著名的齐夫定律(Zipf's law)的新发展,并从术语的角度说明了语言中的省力原则和经济原则是具有普遍意义的原则。
“术语形成的经济律”提出之后,国内外的术语学界根据术语数据库的事实进行检验,检验证明,在各种术语数据库中,词组型术语的数目确实都大于单词型术语的数目。因此,冯志伟提出的“术语形成的经济律”是适应于各种语言的一条普遍规律,是现代术语学的一条重要的基本定律。
语言是现实的编码体系,术语形成的经济律反映了用词作为语言材料进行单词型术语和词组型术语的编码时的经济律,这一经济律也可适用于语言编码的其他领域。汉语中在用单字组成多字词的时候,有限数目的单字组成了为数可观的多字词,多字词以增加自身的长度为代价来保持汉语中原有单字的个数或者尽量不增加原有单字的个数,体现了组字成词这个编码过程的经济律。多字词也就是双音词或多音词,著名语言学家吕叔湘先生指出,“北方话的语音面貌在最近几百年里没有多大变化,可是双音词的增加以近百年为甚,而且大部分是与经济、政治和文化生活有关的所谓‘新名词’。可见同音词在现代主要是起消极作用,就是说,要创造新的单音词是极其困难的了。”吕叔湘先生在这里一方面指出了要创造新的单音词(即单字)极其困难,一方面又指出了双音词(即双字词)的大量增加的现象,这正是组字成词的经济律的生动体现。
对汉字结构及其构成成分的统计与分析表明,在《辞海》(1979年版)所收的16295个字和GB2312-80国家标准《信息交换用汉字编码字符集·基本集》收入而《辞海》未收的43个字中,简化字和被简化的繁体字(包括被淘汰的异体字和计量用字)以及未简化的汉字共有16339个,它们是由675个不能再分解的末级部件构成的,简化字和未简化的汉字(不包括被简化的繁体字、被淘汰的异体字和计量用字)共11837个,它们是由648个不能再分解的末级部件构成的。由少量的部件构成大量的汉字,体现了部件构成汉字这一编码过程的经济律。
所以,冯志伟提出的术语形成经济律实际上乃是“语言编码的经济律”,这是语言学中的一个普遍规律,它支配着语言编码的所有过程。
冯志伟在研究FEL公式的同时还提出了“生词增幅递减律”,他指出,在一个术语系统中,每个单词的绝对频度是不同的,经常使用的单词是高频词,不经常使用的单词是低频词,随着术语条目的增加,高频词的数目也相应地增加,而生词出现的可能性越来越小,这时,尽管术语的条数还继续增加,生词总数增加的速率却越来越慢,而高频词则反复地出现,生词的增幅有递减的趋势。这个“生词增幅递减律”不仅适用于术语系统,也适用于阅读书面文本的过程,人们在阅读一种用自己不熟悉的语言写的文本时,开始总有大量不认识的生词,随着阅读数量的增加,生词增加的幅度会逐渐减少,如果阅读者能够掌握好已经阅读过的生词,阅读将会变得越来越容易。
冯志伟在术语研究中还提出了“潜在歧义论”(Potential Ambiguity Theory,简称PA论),指出了中文术语的歧义格式中,包含着歧义性的一面,也包含着非歧义性的一面,因而这样的歧义格式是潜在的,它只是具有歧义的可能性,而并非现实的歧义,潜在的歧义能否专转化成现实的歧义,要通过潜在歧义结构的“实例化”(instantiation)过程来实现,“实例化”之后,有的歧义结构会变成真正的歧义结构,有的歧义结构则不然。这一理论是对传统语言学中“类型-实例”(type-token)观念的冲击,深化了对于歧义格式本质的认识,近年来,冯志伟又把PA论推广到日常语言的领域,促进了自然语言处理中的歧义消解的研究。术语是记录科学技术知识的基本单元,哪里有知识,哪里就有术语。因此,术语的研究对于人类知识的系统处理,对于科学技术交流都有着重要的价值。冯志伟把他研究术语的成果写成《现代术语学引论》一书于1997年出版,这是我国第一本关于术语学的专著。
在1991年,冯志伟还在湖南教育出版社出版了《数学与语言》,著名数学家陈省身教授在扉页上题词:“我们赞赏数学,我们需要数学”。
德国特里尔:在马克思的故乡探索汉字的数学结构
1990年至1993年,冯志伟被德国Trier(特里尔)大学语言文学院聘任为客座教授。Trier是一座有2000年历史的古城,又是马克思的故乡,冯志伟有机会经常到马克思的故居了解这位无产阶级革命导师的光辉业绩。
在Trier大学语言文学院任教期间,冯志伟用德语给德国学生讲授《汉魏六朝散文》、《唐诗宋词》、《中国现代散文》、《汉字的发展与结构》、《汉语拼音正词法》、《汉语词汇史》、《机器翻译的理论和方法》等课程。为了讲好课,他苦练德语口语,认真用德语备课,在上每一节课之前,他都要先用德语把讲课的内容自己对自己叙述一遍或多遍,直到能够熟练地背诵为止,他把“备课”当作了“背课”。由于冯志伟的备课特别认真,课堂教学效果很好,他的讲课受到德国学生们的一致好评。冯志伟当时的一些学生现在已经成为德国知名的语言学家了。
在教学中,他发现德国学生学习汉语时,学讲话并不困难,最困难的是学汉字。汉字数量多,结构复杂,因此,他开始研究如何教德国学生学习汉字的问题。
他经过反复的思考,把自己在法国留学时提出的MMT模型运用到汉字结构的教学中,提出了汉字结构的括号式表示法,用这种方法可以把一个汉字按层次分解为若干个部件,构成一个树形结构,再把这样的树形结构用括号表示出来。学生只要掌握了基本的汉字部件,就可以进一步学会由这些部件构成的整个汉字,以简驭繁,使汉字便于理解和记忆。这样的方法受到德国学生的欢迎。
冯志伟把他的研究结果写成了《汉字的历史和现状》一书用德文在Trier科学出版社出版。
德国Trier大学Dorothea Wippermann(韦荷雅)博士1996年在《评冯志伟新著〈汉字的历史和现状〉(德文版)》一文中指出,冯志伟“在汉字研究中引入了现代的成分分析法。对于这种方法,直到现在为止,许多在专家圈子之外的普通人还很不熟悉,所知极少。这种分析法认为,汉字是由不同的图形成分组合而成的一个封闭的集合,其中的每一个较大的成分都可以进一步被拆分为较小的成分,一直被拆分到单独的笔画为止。汉字结构的这种多层次的多分叉的构造图形可以用树形图来表示,这样一来,便为揭示汉字总体结构的研究提供了一种系统性的理论和方法。这种在中文信息处理中行之有效的成分分析法,对于汉字的研究和学习,也提供了一种新的记忆手段”。
冯志伟在Trier大学用德语讲授了一系列的汉语语言学课程,并且用德语出版了语言学的专著,显示了他的外语才能。在我国中文系出身的语言学家当中,像冯志伟这样通晓多门外语的人还不多。他不仅是一位善于深思的语言学的理论家,而且还是一位勇于实践的能操多种外国语的多面手。
在德国讲学的这段时间里,有一次他到一位德国教授的家里做客。闲谈中谈到了德国著名诗人 Heinrich Heine(海涅),冯志伟年轻时曾经读过Heine的诗歌和散文,当这位德国教授谈到Heine的《哈尔茨山游记》(Harzreise)时,冯志伟情不自禁地朗诵起来:“Die Stadt Göttingen, berühmt durch ihre Würste und Universität, gehört dem Könige von Hannover”(哥廷根属于汉诺威公国,以它的香肠和大学而闻名于世)。这位德国教授感到非常惊讶,他万万没有想到一个中国人竟然能够如数家珍地背诵Heine的散文,怀疑地问冯志伟:“你背诵的可能不准确吧?”冯志伟很有信心地回答:“我认为是准确的,这是《哈尔茨山游记》的第一句话。”这位德国教授从书架上找到了Heine的《哈尔茨山游记》来核对,冯志伟的背诵确实一字不差,果然是《哈尔茨山游记》的第一句话。
冯志伟年轻时学习外语是非常刻苦的。为了学习英语,他就买一本中型的英汉词典来,一页一页地记忆和背诵,背完一页就撕去一页。几年来,冯志伟先后撕完了英汉、俄汉、法汉、德汉、日汉等多部词典,他就用这样的笨方法,学会了多门外语。学习外语几乎成了他的一种爱好。当然,掌握了多门外语,使得他对于语言现象的观察有若干个参照系,他有可能参照多种语言来研究某一种语言的特殊问题。这大概也是冯志伟能够在语言研究中取得成功的一个原因吧!
韩国大田:用英语讲授自然语言处理技术
2001年,他应邀到韩国科学技术院(Korean Advanced Institute of Science and Technology,简称KAIST)电子工程与计算机科学系担任教授。KAIST是韩国著名的理工科大学,学生都是通过严格的考试和数学物理竞赛选出来的精英。他用英语给该系博士研究生开的“自然语言处理-II”(Natural Language Processing -II,简称NLP-II)的课程,在备课中,他发现美国Colorado大学的Daniel Jurafsky(朱夫斯凯) 和James Martin(马丁)的新著《Speech and Language Processing -- An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition》(《语音和语言处理 – 自然语言处理,计算语言学和语音识别导论》)是一本很优秀的自然语言处理的教材,这本教材覆盖面非常广泛,理论分析十分深入,而且强调实用性和注重评测技术,几乎所有的例子都来自真实的语料库。他常常想,如果能够把这本优秀的教材翻译成中文,让国内的年轻学子们也能学习本书,那该是多么好的事情!
2002年,在他回国参加的一次学术讨论会上,电子工业出版社的编辑找到冯志伟,说他们打算翻译出版此书。这位编辑说,电子工业出版社已经进行过调查,目前国外绝大多数大学的计算机科学系都采用此书作为“自然语言处理”课程的研究生教材,他们希望冯志伟亲自来翻译这本书,与电子工业出版社配合,推出高质量的中文译本。电子工业出版社的意见与冯志伟原来的想法不谋而合,于是,他欣然接受了这本长达600多页的英文专著的翻译任务,于2003年开始进行翻译。
冯志伟虽然已经通读过这本书两遍,对于这本书应该说是有一定的理解了,但是,亲自动手翻译起来,却不像原来想象的那样容易,要把英文的意思表达为确切的中文,下起笔来,总有汲深绠短之感,大量的新术语如何用中文来表达,也是颇费周折和令人踌躇的难题。在韩国教授期间,冯志伟利用了全部的业余时间来进行翻译,晚上加班到深夜,连续工作了11个月,当翻译完14章(全书的三分之二)的时候,他不幸患了双眼黄斑前膜的眼病,他的右眼在文革浩劫期间受过伤,视力本来就不好,现在双眼的视力又出现了新的障碍,难于继续翻译工作,还剩下7章(全书的三分之一)没有翻译,“行百里者半九十”,这7章的翻译工作究竟如何来完成呢?正当冯志伟束手无策、一筹莫展的时候,中国科学院软件研究所的一位年轻的研究员表示愿意继续他的工作,协助冯志伟完成本书的翻译。这位研究员把剩下的7章逐一翻译成中文,通过计算机网络一章一章地传给在韩国的冯志伟,冯志伟使用语音合成装置,让计算机把书面的文本读出来,冯志伟通过读出来的语音进行译文的校正,语音合成技术使冯志伟克服了视力不济的困扰,帮助他迈过了重重的难关。2004年,在两人的通力合作下,全书的翻译总算大功告成了,由电子工业出版社以《自然语言处理综论》的书名出版。
这本书的出版受到广大读者的欢迎,而冯志伟为此却损害了自己的视力,他不得不借助于语音合成装置来阅读自己翻译的著作了。
荣获维斯特奖
2006年6月30日,联合国教科文组织奥地利委员会(Austrian Commission for UNESCO)、维也纳市(City of Vienna)和国际术语信息中心(INFOTERM)给冯志伟颁发了Wüster(维斯特)奖(Wüster Special Prize),以表彰他在术语学理论和术语学方法研究方面做出的突出贡献。Wüster(维斯特,1898-1977)是奥地利著名科学家,是术语学和术语标准化工作的奠基人。维斯特奖是专门为那些对于术语学和术语标准化工作有出色成就的科学家而设置的。
下面是冯志伟获得的Wüster奖的奖章和奖状的照片:
冯志伟获得Wüster奖,说明他数十年的努力,终于得到了国际的承认。可惜的是,冯志伟的视力越来越差,当他接受Wüster奖的时候,已经不能看清奖章上面的图案了,他为我国自然语言处理和术语学而付出的代价确实是太大了。
迈开汉语拼音走向世界的新步伐
国际标准ISO 7098《信息与文献——中文罗马字母拼写法》是汉语拼音在国际上得到认可并推广使用的重要依据,是用以规范国际上使用汉语拼音的统一标准。该标准主要应用于世界各国图书馆、博物馆、国际机构中有关中国人名地名的拼写、图书编目、信息与文献的排序检索等,发布后实现了跨语种的信息交换,有力地推进中外文化交流与发展。
这个国际标准最早发布于1982年,1991年做了微调。鉴于这个国际标准自发布至今时间久远,内容不够细化,不能满足国际相关应用领域的需要,教育部于2011年3月成立了ISO 7098修订工作组,由冯志伟担任组长,启动了ISO 7098的修订工作。接着,冯志伟代表我国向国际标准化组织ISO提出了修订建议,并通过积极争取翌年获得了由我国主导的标准修订权。在教育部语言文字信息管理司的领导下,冯志伟组织该领域资深专家对这个国际标准进行全面的修订完善,更新条目,补充内容;在人名地名拼写、标调、标点符号转换等方面列出更为具体的规则及说明,增加了分词连写和计算机自动转写等内容,更新了参考文献和普通话音节形式总表。修订后的国际标准更加符合当前信息时代发展的需要,更具科学性和实用性。
2011年 5月6日,ISO/TC 46第38届会议在澳大利亚悉尼召开,冯志伟出席了这次会议,并在会议上提出了修改ISO 7098 (1991)以便反映当前中文罗马化的新发展和实际应用需要的建议。 会后,我国国家标准化委员会(SAC)正式向ISO国际标准化组织提出了修订ISO 7098(1991)的新工作项目的提案。
2012年5月6日至11日,ISO/TC 46第39届会议在德国柏林举行, 冯志伟出席了这次会议,会议接受了我国的提案,并将这个提案直接作为ISO 7098的工作草案(Working Draft,简称WD),成立了ISO 7098国际修订工作组,并任命冯志伟担任国际工作组组长,由美国、俄罗斯、德国和加拿大4国各派1位专家参加,这样,ISO 7098的修订便正式列入了国际标准化组织的工作日程,
2013年6月3日至7日ISO/TC 46第40届全体会议在巴黎召开,冯志伟在会议上正式向ISO/TC 46秘书处提交了ISO 7098的委员会草案(Committee Draft,简称CD)。
2014年5月5日至9日,ISO/TC 46第41届全会在美国华盛顿在召开。冯志伟在5月7日上午举行的第3工作组(Working Group 3,简称WG3)会议上,就ISO 7098(1991)的修订问题重申中国的立场。会后向ISO/TC 46秘书处提交了ISO 7098的国际标准草案(Draft of International Standard,简称DIS)。
2015年6月1-5日的ISO/TC46第42届全会在北京召开,冯志伟出席了这次会议。根据大会的安排,他在6月2日下午的大会专题报告会上,用英语做了“ISO7098国际标准及其在人机交互中的应用”的报告,用生动的实例说明了在数字化环境下,汉语拼音在人机交互中发挥了巨大的作用。这个报告受到了各国代表的热烈欢迎。在6月3日上午的WG3会议上,他又介绍了各国对于ISO 7098的DIS稿提出了意见以及我国对于这些意见的处理情况,向与会人员出示了DIS的修改稿。
会后,冯志伟把经过修改的DIS稿正式提交ISO TC 46秘书处,根据ISO/TC46第41届全会的决议,ISO TC 46秘书处于2015年7月 27日把DIS的修改稿分发给ISO/TC 46的各成员国进行委员会内部投票(Committee Internal Balloting,简称CIB),CIB投票于2015年9月18日结束。ISO/TC 46秘书处的N2526号文件公布了投票结果:ISO/TC 46委员会中没有弃权的19个国家(保加利亚、加拿大、中国、克罗地亚、丹麦、爱沙尼亚、法国、德国、伊朗、意大利、日本、韩国、拉脱维亚、挪威、俄罗斯、泰国、乌克兰、英国、美国)全都投了赞成票,获得全票通过。值得注意的是,在1982年对ISO 7098投反对票的美国和投弃权票的英国,现在都改变了立场,投了赞成票。这说明ISO 7098在世界上得到了越来越多的国家的支持。至此,ISO 7098的修订工作进入了出版阶段,形成了新的修订稿,叫做ISO 7098:2015。2015年 11月12日,冯志伟向ISO/TC 46秘书处提交了ISO 7098:2015的最终版本,并转ISO总部出版。2015年12月15日,ISO总部正式出版了ISO 7098:2015,作为新的国际标准向全世界公布了。这是汉语拼音迈向世界的新步伐,将进一步扩大汉语拼音在国际上的影响。
在修订过程中,相对于研制技术内容,取得国际上的认可和赞成是更为艰巨的任务。这期间,冯志伟用他熟悉的英语、德语、法语、日语等外国语,积极地与各国代表和应用部门分别进行沟通与协调,克服多轮投票表决过程中遇到的重重困难和问题,认真应对,智慧处理,圆满完成了这项体现国家语言主权,关系国家利益的重要使命。由我国主导的修订提案顺利通过了工作组草案、委员会草案、国际标准草案等各阶段投票以及委员会内部最终投票,成功出版发布。冯志伟也因在此次修订工作中的出色表现受到了第42届国际标准化组织信息与文献标准化技术委员会的表彰。
冯志伟今年77岁,著述颇丰,多有建树,其内容涉及不少领域,引起国内外不少同行专家的广泛关注和高度评价。他现在已在多家著名出版社出版了二十余部专著,翻译和导读国外重要论著六部,并用汉、英、法、德文等撰写了学术论文三百余篇在国内外许多著名刊物上发表,其中很多论文被SCI, SSCI, CSSCI等收录。其著述不胜一一列举。最主要的代表作如:专著《数理语言学》、《自动翻译》、《现代语言学流派》、《现代汉字和计算机》、《中文信息处理与汉语研究》、《数学与语言》、《自然语言机器翻译新论》、《应用语言学综论》、《应用语言学新论》、《计算语言学基础》、《计算语言学探索》、《机器翻译研究》、《现代术语学引论》、《自然语言的计算机处理》、《汉语教学与汉语拼音正词法》、《机器翻译今昔谈》、《术语浅说》、《自然语言处理的形式模型》、《自然语言处理简明教程》、《汉字的历史与现状》(德文版),译著《自然语言处理综论》,等等。他还主持和参与了若干个国家标准和国际标准的制定,为我国和世界的标准化工作做出了贡献。他又是《中国大百科全书》语言文字卷编委会成员、《数学辞海》总编委会委员,还是《计算机百科全书》、《中国少年百科全书》等大型工具书的撰稿人,为这些权威性工具书的编纂做出了重要的贡献。
尽管冯志伟的视力不济,但是,他仍然孜孜不倦地坚持学术研究。他认为:“我的所知总是很有限的,但是,我的无知却是无限的,学海无涯勤是岸,我要不懈地追求新知,增强自己的有知,减少自己的无知。”他说,这是他做学问的秘诀。最近,为了帮助年轻读者阅读英文学术原著,他先后为《应用语言学中的语料库》、《译者的电子工具》、《人工智能在第二语言教学中的应用—提高对于偏误的意识》、《语言学中的数学方法》、《系统与语料》、《牛津计算语言学手册》、《统计机器翻译》等英语名著写导读。他认为,既然是写导读,自己一定要认真地把原著反复推敲几遍,直到烂熟于心之后才执笔。他写的导读内容丰富,分析深刻,出版后受到读者的欢迎。
冯志伟热爱教育事业,他在国内外许多著名大学担任兼职教授或讲座教授。2012年6月,他应聘为杭州师范大学外国语学院高端特聘教授。他在北京师范大学外国语学院聘请他担任兼职教授的会议上说:“我们教育者的责任,就是把我们对于科学和文化的热爱,传授给青年学子,让他们与我们老一代人一起来分享人类知识宝库的知识财富,并且为这个知识宝库添砖建瓦,做出我们的贡献,以此来体现我们人生的价值,从中得到最大的愉快。俗语说:‘智者乐,仁者寿’,也就是这个意思,让我们都成为天天快乐的‘智者’”。他在中国传媒大学招收计算语言学专业方向的博士生,不少毕业的博士生在学术上取得了突出的成绩,有的已是博士生导师,他们已经成为我国计算语言学的骨干力量。
冯志伟经过数十年的艰苦努力,终于实现了他使用数学方法研究语言的愿望,并把语言学和计算机科学非常自然地结合起来,进行跨学科的研究,取得了多方面辉煌的成就,为语言学、计算机等学科做出了重要贡献,他的这些光彩、亮丽、丰硕的成果琳琅满目,异彩纷呈,多么令人欣慰、激动呀!
过去的著名语言学家有的只懂社会科学,不懂自然科学;许多人只懂古代汉语、现代汉语或普通语言学,一般只着重研究汉语的语音、词汇、语法或文字等某一个方面的问题,研究的问题和领域比较单一,他们中的一些佼佼者,至多也只懂得两三门外语,视野不够开阔,语言的纵横向对比研究都不够,有一定的局限性。而冯志伟却专门学习过理科中的数学和化学,讲授过物理学和计算机科学,又懂得语言学中的古代汉语、现代汉语、普通语言学和文字学,使用计算机技术分析过汉、英、法、德、俄、日等语言的语音、词汇和语法,并把各方面的知识紧密地结合起来综合应用,在计算机上加以实现,成为文理兼通的专家。冯志伟不但能在电子工程与计算机科学系讲授理科的机器翻译的方法和技术研究、自然语言处理的算法研究、计算语言学专题研究等艰深的博士课程,而且也能够在语言文学院讲授汉魏六朝散文、唐诗、宋词、古代汉语、现代汉语、汉字的历史与结构等饶有风趣的课程,他还能在外国语学院给学生们讲授外国语课程,他的散文和诗歌也写得很好,他还是一位翻译专家,出版过翻译著作,为一些外国语言学名著做过审校,为许多外文学术专著写过导读。这样的文理兼通的人才实在是很罕见的。
然而,冯志伟对于他的这些成就却看得很平淡,他很少对别人谈起他的成就。每当朋友们谈起他的这些成就时,他总是引用陶渊明的诗句“不言春作苦,常恐负所怀”,谦虚地说:“自己虽然不怕劳苦地努力了,可是离开时代的要求还差得很远呢!”他除了平时喜欢喝白开水和游泳之外,几乎没有什么特殊的嗜好,每日粗茶淡饭,过着非常清贫的生活。他从来不以为自己是什么“专家”,没有任何的架子,总是谦和地对待他的学生和周围的同志。在北京大学中文系59级同学纪念册上,他写下了这样的人生感言:
先天不足,后天失调;
岁月蹉跎,艰辛备尝;
老当益壮,穷且越坚;
平生无悔,褒贬由之。
他始终认为自己是一个很平常的普通人,对于别人的褒贬,他是看得很平淡的。他对于生活的信条是:“只要平生无悔就很好了!”
今年是2016年,从1957年冯志伟下决心来研究数学方法在语言学中的应用这个问题算起,他为我国自然语言处理的开创和发展呕心沥血地奋斗了整整59年的时间,这59年中,他始终坚定不移地走在文理结合的道路上,为文科和理科的结合做出了贡献,为汉语和外语的结合做出了贡献,还为汉语拼音的国际推广做出了贡献。由于长期的超负荷工作而积劳成疾,付出了他自己的健康,损害了他的视力,想到他这些不幸,使我们感到一阵阵的辛酸。每当我们回顾冯志伟在59年的科学研究中走过人生历程时,心里总有一种悲壮的感觉。
王国维在他的《人间词话》中,用诗的语言描述了知识分子做事业求学问的三个境界。他说:“古今之成大事业,大学问者,必经过三种之境界:‘昨夜西风凋碧树。独上高楼,望尽天涯路’,此第一境也。‘衣带渐宽终不悔,为伊消得人憔悴’,此第二境也。‘众里寻他千百度,蓦然回首,那人却在,灯火阑珊处’,此第三境也”。王国维这里所说的第一境界,就是人们在开始做事业做学问的时候,首先必须高瞻远瞩,立下志向,朝着选定的方向坚定地走下去。冯志伟从1957年开始,就以他极为敏锐的洞察力,看到了自然语言处理将会在将来的信息社会中发挥巨大的威力,毅然弃理学文,“独上高楼,望尽天涯路”,选定了明确的奋斗目标。王国维这里所说的第二境界,就是既然已经选定了奋斗的目标,就必须发愤图强,卧薪尝胆,苦其心志,劳其筋骨,饿其体肤,空乏其身,增益其所不能,锲而不舍地追求这个奋斗目标,以至于“衣带渐宽终不悔,为伊消得人憔悴”,没有这种不达目的决不休止的精神,当然不可能成就任何事业和学问。冯志伟在他59年的奋斗历程中,持之以恒,排除万难,终于到达第三境界,实现他了追求的理想,为我国的自然语言处理事业做出了突出的贡献,真是“众里寻他千百度,蓦然回首,那人却在,灯火阑珊处”!我们为此感到无比的兴奋。
冯志伟先生,我们希望你珍惜自己的身体健康,继续为文科和理科的沟通,为我国科学技术事业的发展,做出更大的贡献。
【说明】文本原载《现代语文》,2009年,21期,总366期,七月下旬刊,4-12页;2016年收入本书时做了一些修改。
(云南大学教授 张在云)
