《计量语言学导论》评介

冯志伟 [1]

（杭州师范大学， 杭州，311121）

《计量语言学导论》一书，由浙江大学外国语言文化与国际交流学院刘海涛教授主持编写，商务印书馆2017年9月出版。全书13+219页，16印张（包括2个彩色印张），平装，定价45元。这本书是商务印书馆新近推出的“商务馆语言学教材书系”的第一本，也是在世界范围内第一本计量语言学（quantitative linguistics）导论书。

采用数理手段研究人类语言的学科是数理语言学，它有代数语言学、统计语言学和应用数理语言学三个分支（冯志伟 1985）。后来的形式语言学发展来源于代数语言学，强调语言中形式模型的精密性与基础性；计算语言学的发展来源于应用数理语言学，强调实用性和操作性，使自然语言的计算机处理得到了突飞猛进的进步；而计量语言学则继承了统计语言学，特别注重语言本身的系统性和动态性特点，强调语言描写的真实性和精确性（冯志伟、胡凤国  2011）。

计量语言学是现代语言学的一个分支学科，它以真实的语言交际活动中的各种语言现象、语言结构、结构的属性以及它们之间的相互关系作为研究对象，通过概率论、随机过程、微分与微分方程、函数论等定量数学方法，进行精确的测量、观察、模拟、建模和解释，力图寻找语言现象背后的数理规律，揭示各种语言现象形成的内在原因，探索语言系统的自适应机制和语言演化的动因（刘海涛、黄伟 2012）。

国内语言学界对计量语言学这个学科的了解尚不充分。然而，在国际上，计量语言学的学术团体、学术刊物、学术会议则在迅速发展，并在理论构建与实证研究方面取得了丰硕成果，已经发展成为一门比较成熟的学科。关于计量语言学的学术著作，虽然此前国外已经有出版过一本《计量语言学研究通览》（Köhler et al. 2005）和一本《计量语言学》（Best 2006）；但是，前者是由几十位学者共同编写的、主题广泛的一本文集；后者是仅有百余页的一本德语著作，而且不是按照历史、理论、方法这样一般导论书的结构来写的；因此这两本著作都不适合作为学习计量语言学的入门书。《计量语言学导论》的出版弥补了这个缺陷，特别是对于中国的语言学研究者来说，这样一本用汉语写成的导论书更是不可多得的。

《计量语言学导论》全书共分为五章，正文前有一篇前言和两篇序言，正文后附有计量语言学相关资源、计量语言学基本文献、人名索引、术语名词索引等内容。

前言部分强调了采用跨学科研究方法开展语言研究和实现语言研究科学化是学科发展的时代要求与必要途径，介绍了这本书的编写背景与经过，以及各章的写作初衷与主要内容。现代计量语言学奠基人之一、德国波鸿大学荣休教授Gabriel Altmann和《计量语言学学报》（Journal of Quantitative Linguistics，JQL）杂志主编、计量语言学国际领军人物Reinhard Köhler分别为此书撰写了序言。Altmann阐述了科学研究的基本范式和在此框架下开展计量语言学的研究步骤，鼓励读者要克服畏难心理，积极投身语言的科学研究。Köhler强调，“无论是理论探索、还是在语言科技的实用性方面，计量语言学均属于最具发展潜力的语言学分支学科之一”。他给予此书的评价是：“不仅有助于计量语言学的传播，也将满足科研教学与学科发展的需要”。

正文部分，第一章“计量语言学的历史”，首先指出语言计量研究的思想由来已久，接着简要回顾了19世纪中后期至20世纪初期世界各国在语言计量研究方面的主要工作与成就；然后重点阐述了现代计量语言学建立与发展过程中的重要人物与成果：Zipf因在发现与验证具有普适性的词频-序号分布规律方面的工作被誉为现代计量语言学的创始人；Herdan是首次提出“计量语言学”这个术语的人，他发现和验证了多个语言定律，提出了很多有价值的研究问题，并提出了一些具有创新性的研究思路；核物理学家Fucks采用物理学、数学、统计学等方法，从自然科学研究的角度研究语言，为计量语言学提供了新的方法。20世纪中后期，随着系统科学、协同学的建立，计量语言学迎来了一个黄金发展时期。这一章的最后部分，对在这一时期十分活跃且成就斐然的“阿尔特曼学派”的工作与贡献做了详细的介绍。这部分内容，对于了解现代计量语言学的理念与研究方法具有重要的参考价值。

第二章“计量语言学的定律和理论”，首先从科学哲学的角度阐述了科学与理论的定义，进而以此审视语言学领域，指出“目前还没有科学哲学意义上完备的语言学理论”。语言理论应当是一系列类似于普适性定律的陈述，对语言实体相互之间的联系和动力机制进行解释和说明。因此，这一章一方面重点介绍了计量语言学中已经发现和验证过的一些语言定律，这些定律涉及语言结构单位的分布，语言单位的长度、频次等属性，属性间的关系，以及语言的演化等问题；另一方面，详细阐述了通过协同学模型将各种语言定律整合为一个相互联系且具有普适性的体系（即语言理论）的机制与方法。计量语言学在理论构建方面的出发点和采用的方法，是它区别于其他语言学分支学科、区别于其他语言学“理论”最根本的特点，也是它能够成为符合科学哲学意义的语言科学理论的根本保证。

作为一本导论书，如果不能教会读者掌握一定的研究方法，是不完美的。《计量语言学导论》在这一方面做得很有特色。第三章“计量语言学的研究方法”，先从宏观角度介绍了这一学科的一般研究方法与具体流程。作为一门科学，它与一般的实证科学的研究方法别无二致，但是在尚未成为成熟科学的语言学研究中，对方法科学性的强调尤为重要。不仅如此，这一章还对计量语言学研究中经常使用到的6个软件工具做了详细的介绍，结合具体例子，展示了操作过程与方法，为学习者提供了很好的指引。因此，Köhler说这本书“既适用于课程教学，也可供相关领域的研究者参阅”。特别需要说明的是，这一章还用一节的篇幅比较全面地介绍了计量语言学研究中的复杂网络方法。近年来，刘海涛带领的团队在这一领域发表了大量研究成果，拓展并丰富了计量语言学的研究。

第四章“计量语言学的研究问题”，涉及语音、语法、语义、词汇、文本分析、类型学、协同语言学、语用学等多个方面。书中不仅提出了这些问题，还详细地给出了对于这些问题的研究思路与方法上的建议，并提供了必要的参考文献信息。这种做法为读者，特别是青年学者和研究生们提供了进一步开展研究的指引，值得称赞。

第五章“《计量语言学学报》的计量特征分析”，采用文本计量研究方法与文献计量研究方法，对计量语言学权威期刊JQL自创刊以来发表的论文和文献数据库进行统计分析，从研究主题及其历史变化、主要学者与研究机构及其国家或地区分布、书评、引文特征等方面，对计量语言学的学科发展进行了比较全面的描写与分析。读者不仅可以对此有一个较清晰的认识，还可以在选题与投稿方面从中获益。

正文后的附录，资源部分给出了计量语言学的经典书目、重要书系与刊物、学术会议、学术组织、软件工具、相关网址等信息，文献部分列出了百余条参考文献，加上人名索引与术语索引，这些内容为读者提供了极大的方便。

华罗庚说过：“宇宙之大，粒子之微，火箭之速，化工之巧，地球之变，生物之谜，日用之繁，无处不用数学”。马克思指出，“一种科学，只有在成功地运用数学时，才算达到了真正完善的地步”。恩格斯也认为，“任何一门科学的真正完善在于数学工具的广泛应用”。

数学的用处如此之大，其原因在于数学具有逻辑之美，而任何领域都离不开逻辑，语言学当然也不能例外。语言具有奇妙的结构，数学具有逻辑之美（冯志伟 2017），本书用数学的逻辑之美揭示了语言的结构之妙，既有理论上的深刻论述，也有方法上的精巧引导，是计量语言学的入门指导。相信本书的出版，一定会加快我国语言学研究的科学化和国际化进程。

参考文献：

1.      冯志伟（1985）数理语言学. 上海：知识出版社。

2.      冯志伟、胡凤国（2011） 数理语言学（增订本）. 北京：商务印书馆。

3.      刘海涛、黄伟（2012）计量语言学的现状、理论与方法. 浙江大学学报（人文社会科学版），第43卷第2期：第178-192页。

4.      冯志伟（2017） 用数学逻辑之美揭示语言结构之妙. 北京：光明日报，2017年7曰9日，语言文字版。

5.      Best, Karl-Heinz (2006) Quantitative Linguistik. Eine Annäherung. Göttingen: Peust & Gutschmidt Verlag.

6.      Köhler, R., Altmann, G. & Piotrowski, R. G. (2005). Quantitative Linguistik — Ein internationals Handbuch. Berlin & NewYork: Mouton de Gruyter.

论复杂特征集和句类代码

            黄曾阳de两句话

这个论题我只想说两句话。详细论述有待于来者。

第一句话是：复杂特征集的概念缺了一个“头”，这个“头”就是句类代码。句类代码与复杂特征集的关系是纲与目的关系。这一点，在Paper7中已经阐述过了，这里就不重复了。

第二句话是：复杂特征集的概念实际上是中国人冯志伟先生在1981年最先提出来的，西方学者R.Kaplan，J.Bresnan(1983)；C.Pollard(1984)；G.Gazdar,E.Klein,G.Pullum,I.Sag(1985)；M.Kay(1985)等人的工作都比他晚。所以，我在《专著》的参考文献中只引了冯先生的论文。

黄曾阳

1998.9.13.

冯志伟2017年总结

                    冯志伟

已到岁末，是到总结一年生活的时候了。

2017年3月，我和老伴回到阔别多年的故乡云南，在罗平看到了一望无际的油菜花地，在腾冲游览了火山，泡了温泉，在昆明观赏了圆通山的樱花，重游了大观楼，又一次吟诵了孙髯翁的长联。

4月我们到杭州师范大学讲课，接着到绍兴的浙江越秀外国语学院讲课，访问了沈园和鲁镇，5月到锦州的渤海大学讲课，6月到大连海事大学讲课。

2017年8月到11月，我和老伴到德国海德堡探亲，看望女儿、女婿、外孙女和外孙，其间我们到德国的纽伦堡、罗腾堡、黑森林访问，再次在奥地利湖区休息，游览了月亮湖、阿特湖、沃尔夫冈湖，还到克罗地亚旅行，游览了风景秀丽的十六湖，在亚得里亚海边的度假村SOLARIS欣赏大海的风光。

在德国期间还到特里尔看望老朋友乔伟教授、Koehler教授、Kuehlwein教授，到达姆斯塔德看望了好友Teubert夫妇。

11月回国后，参加了在南京大学召开的国际术语与翻译研讨会，并在会议上用英语作了主题发言（key-note-speech），会上见到了老朋友Galinsky，他的夫人是哥伦比亚人，说的英语带强烈的西班牙语腔，我几乎听不懂。12月我到大连海事大学外国语学院讲学。

“羁鸟念旧林，池鱼思故渊，久在樊笼里，复得返自然”，“小舟从此逝，江海度余生”，这是我退休前的梦想，今天这个梦想成为了现实。这我们这些凡人的梦想，是“冯志伟之梦”。

这一年来具体的成果如下：

一、发表论文15篇，其中英文论文2篇被SSCI收录，中文１篇被CSSCI收录，中文２篇载于《光明日报》。

１.   国际标准《中文罗马字母拼写法（2015）》的内容梗概，香港《语文建设通讯》

，2017年1月，第113期，p1-16。

         ２.   国际标准《中文罗马字母拼写法（2015）》的内容梗概：后记，香港《语文建设通讯》，2017年1月，第113期，p17-19。

         3．“世界也需要汉语拼音”，《光明日报》，2017年1月15日，光明视野，05版。

         ４. 梅耶与法兰西学派（与周建合作），《现代语文》，2017年，第3期，p4-8。

         ５. 网络时代的自然语言处理（与余卫华合作），《光明日报》，2017年4月9日。

         ６. 用数学逻辑之美揭示语言结构之妙，《光明日报》，2017年7月9日，《中国社会科学网》，2017年7月9日19:23转载。

         ７. 房德里耶斯与法兰西学派（与周建合作），《现代语文》，2017年，第15期，p4-7.

         ８.  78岁一年总结，《现代语文》，2017年，第15期，p161。

         ９.  语料库系统的评测，《语料库语言学研究》， 2017年，创刊号。

         10. 《计量语言学导论》评介，《外语电化教学》，2017年，第176期，p95-96。CSSCI收录。

         11. 《公共服务领域英文译写规范》与城市路名整顿，《语言规划学研究》，2017年，第1期。

         12. 语音的形式描述，《实验语言学》，2017年，第6卷，第2号，p1-8。

         13. 马尔丁内与法国功能语言学派，《现代语文》，2017年，第24期，p4-6.

　　14.  A synergetic Approach to the relationship between the length and frenquency among English Multiwword Formulaic Sequences, Co-authers: Xueting Dai, Yunhua Qu, Journal of Quantitative Linguistics, 2017, SSCI 收录。

         15. American English Perfect Construction across Registers, Co-authers: Chenyao Bao, Yunhua Qu, Journal of Quantitative Linguistics, 2017, SSCI 收录

二、出版专著３部：

1.      以希腊文出版专著1部：《Τα κινεζικα  συμβολα  γραφη： Μια  αναλυση  στο  χρονο》（汉字的历史与现状，希腊文版），ΠΑΠΑΠΗΣΗ出版，2017年，ΑΘΗΝΑ(雅典)。

2.      以中文出版专著1部：《自然语言计算机形式分析的理论和方法》，中国科学技术大学出版社，2017年。此书110多万字，得到2016年国家出版基金的资助，是十三五国家重点图书。

3.      以英文出版专著1部：Chinese Character《汉字》（英文版），外语教学与研究出版社，2017年。

名和利就像影子，时时跟着我们，无法摆脱，我在退休之后，我就像走到了一颗大树下面，大树的树荫把名利的影子遮住了，吞没了，我们再也看不到名利这个可恨的影子了，由于摆脱了名利的干扰，我的思想也得到了解放，思路更加开阔了，因此，我的成果比退休之前多得多。

明年是2018年，我满虚岁80岁了，将步入人生的另一段旅程。

王士元：我们应当让语言自然地演化

2017-12-15          黄春宇                                文汇学人

王士元，著名语言学家，“中央研究院”院士，1933年生于上海。在哥伦比亚大学求学时开始研究语言学和人类学，在加州大学伯克利分校任教期间，创办《中国语言学报》，向国际语言学界展示中国语言学的研究。

通过对汉语方言的计算机分析，王士元提出了“词汇扩散理论”。他在中国少数民族地区开展了大量田野调查，推动了中国语言学的发展。他特别强调探索过去有三个窗口，分别是考古学、遗传学和语言学，并积极实践跨学科研究。

王士元说过： “不同学科之间的边界犹如画在沙滩上的线条，随着每一次先进知识的波涛到来，这边界就会发生变化，甚至完全消失。人类的知识，特别是研究语言的知识，应该是彼此相连的，并且最终是相互贯通的。”

2017年11月，上海人类学学会授予王士元年度“终身成就奖”，以表彰他在语言人类学领域作出的杰出贡献。颁奖礼后，王士元接受了本刊采访。

        学问不只是一门语言，而是语言背后的东西

文汇报：首先祝贺您，被上海人类学学会授予象征人类学终身成就的“金琮奖”。您如何看待这样一份荣誉？

王士元：评委会跟我说，要给我颁这个奖，当时有一种奇怪的感觉，因为我的这辈子还没有结束啊。这时我就想起美国诗人Robert Frost（罗伯特·弗罗斯特），他写过一首诗Stopping by Woods on a Snowy Evening（《雪夜林边小驻》），最后一句是“The woods are lovely, dark and deep/But I have promises to keep/And miles to go before I sleep（树林静谧，深邃幽暗。心虽向往，可是我还得如约向前赶。安眠之前依然长路漫漫）”。诗人把树林比作死亡之后要去的地方，同样我也感觉到，还有很多要做的事情没有做完，怎么就判定是“终身成就”了。当然，我很感谢上海人类学学会，认可我已经做的事情，但是我希望今后还能做更有用和更重要的贡献。在颁奖礼上的演讲中，我最后提到了人口老化现象，这是一个很大的话题，经济上、感情上，以及家庭与社会的各个层面。我想通过语言的角度来了解，当一个人逐渐老去的时候，他的认知是如何一步一步消失的？“miles to go before I sleep”，我还想多研究一些人的夕阳时期。

文汇报：人的老化与语言的退化，这确实值得我们关注，那么您的研究进展得顺利吗？

王士元：我们利用磁共振和电波曲线，对三类人进行比较，分别是老年人、中年人和大学生，看看都有什么变化。找到变化以后，跟认知、语言联系起来。如果我们了解了变化的原因，就能设计一些实验、软件或是电脑游戏，帮助老人进行自我训练。如果我们要解决一个问题，第一步是把这个问题分析清楚，现在尚未找到问题的根源，还在做一些很基础的工作。我原来在香港中文大学，后来发现香港理工大学有个康复科学系，在这个领域的实力很强，所以搬了过去。现在注重老化问题的学者越来越多，尤其是欧美国家，我想国内应该也有同行在从事这方面工作。一般的研究是在医学领域内开展，而我关注的是语言。

文汇报：转眼间，“词汇扩散理论”的问世已有近半个世纪。最早是1969年，您在美国《语言》杂志上发表“Competing changes as a cause of residue（《竞争性演变是剩余的原因》）”，正式提出了自己的理论。

王士元：最初我是和郑锦全、陈渊泉、谢信一等等一起讨论这些语言变化的问题，渐渐形成了词汇扩散的想法。这跟欧洲的新语法学派的主张正好相反。我的看法是语音变化本身往往是突变的，在整个语言的词汇里却是渐变的，是通过一个一个词实现的渐进式的改变。新语法学派的传统观点坚持语音是渐变的，词汇是突变的，是一下子改变的。那时人们更熟悉新语法学派的观点，所以我们提出的主张引起了不少争论。1981年的美国语言学会会长、著名社会语言学家拉波夫（W. Labov）认为词汇扩散理论至少在辅音变化上是绝对可信的，越来越多的学者也在各自研究中找到了支撑这个理论的证据。与此同时，人们也可以用这个理论来研究语言中别的系统的变迁，例如句法上的变迁。再往后，我们加深了对于语音变化的理解，“词汇扩散理论”在语言研究中的应用也有了更广泛的认识。

文汇报：您提出的“词汇扩散理论”，在学界被公认为语言演化研究中最重要的创新理论，而您一开始学的却是电子工程。

王士元：我没想到会走这条路。在纽约时，我和几个朋友去中国餐馆吃饭。他们要我点菜，但是饭店里的老板和伙计都说台山话，不会普通话，所以我们没办法交流，最后还是用英文点了菜。朋友们觉得不可思议，你们不都是中国人吗，怎么会听不懂对方的话呢？当时我还没有很认真地研究语言学，对于这个问题仅仅停留在好奇层面。等到进入研究院，我的老师高登·皮特森（Gordon Peterson）是一个语音学的权威，他就告诉我们，音是怎么发出来的、什么语言里有什么音、哪些语音上的区别比较重要？就这样，我的博士论文转到了那个方向，以前学的电子工程也派上了用场，因为分析语音就是分析一种波形的现象。再往后，我又意识到，语言不只是语音，语言包括大量的词汇，不是把这些词随便放在一起就组成了一个句子。比如“今天我去”而不是“去我天今”。慢慢的，我的视野就打开了。念完博士，俄亥俄州立大学邀请我过去，让我帮他们创办一个语言学系。我说我可以来，但最好是两个系，一个语言学系，一个东亚语言系，我希望学习中文的人越多越好。现在是英语的世界，国际上的学术研究和交流都离不开英语，将来会说中文、了解中国文化的外国人达到一定的规模，中文也就变成一门国际通行的语言。

有些事，说起来简单，做起来并不轻松。我有教中文的想法，但是出国时，我还是一个中学生。那个暑假，我很辛苦，不停地死记硬背。卷舌音zh、ch、sh、r，我都不会，韵尾的n和ng是不同的，但对于安徽话和上海话（我生在上海，小时候在安徽长大）来说，没有区别。等到夏天过去，我终于可以说一口比较像样的普通话了。

在研究语言的同时，我开始关注汉语，包括语法、历史，等等。正因如此，我认识了很多老前辈，像赵元任、李方桂，他们都对我非常好。有一天，赵先生跟我说，“俄亥俄不够国际化，你到伯克利来吧”，于是我去了伯克利。赵先生在东亚系，我是语言学家，汉语是我的兴趣之一，所以选择了语言学系，一呆就是三十多年。

文汇报：很多年前，您就提到了西方学者习惯于以欧洲为中心（Eurocentric）的思考方式，这会导致学术上的偏见，这种情况是否有所改变？当代的中国学者又该如何看待这种现象，尤其是身处英语占主导的世界？

王士元：过去这些年，情况有所好转，但是还不够。一所大学要引进人才，怎么知道这个候选人的学问好不好？常见的做法是将citation index（引文索引）作为一个重要的评判标准，这就需要英文的书写能力。如果一个人的学问很好，研究中国古代历史、考古或是哲学，但是拿不出citation index，那就要吃亏了。进了学校，从讲师、助教、副教授到教授，每一次升职，citation index同样不可缺少。内地的学校我不是太了解，我在香港的城市大学、中文大学和理工大学都教过书，这个系统基本是那样子的。我从国外回来占了很多便宜，但是看到很多非常有学问的中国学者没能过这一关，不免替他们感到惋惜。我希望将来这两方面都可以改变：一是全世界更重视中文；一是学校的行政人员更新观念——学问不只是一门语言，而是语言背后的东西。

文汇报：在一篇文章读到，您的朋友认为“语言学家是踩在前人的脸上”，以此来说明语言学理论的不成熟。

王士元：我在俄亥俄州立大学教书时，有个数学系的朋友跑来调侃我：“我们学数学的站在前人的肩膀上，你们踩在前人的脸上。”语言学这个学科确实不够成熟，往往会出现一种现象，即谁会讲话、谁权力大、谁有魅力，就变得风靡一时，大家都跟着他走。这当然是不对的，我们要遵循学术上的标准。一个人说的话有没有道理，能不能拿出证据，证据是否充分，等等。语言学在慢慢地朝着这个方向发展，相比过去有了不少进步。这次到上海来，跟复旦大学的金力先生聊了聊，我就很高兴。他不是搞语言学的，但和我一样，认为跨学科非常重要，要了解人就要了解人的语言，也要了解人的基因，而基因研究是他的本行。语言、基因、历史、演化，都应该放在一起研究，尽可能地扩宽视野。在这方面，复旦在国内处于领先，优秀的团队、先进的实验室，科研实力又这么强，但他们还没有完全发挥出潜力。

        了解语言的差异和共性，就不能只顾研究自己的语言

文汇报：语言学的一只脚是生理，另一只脚是社会，这是您的观点。复旦大学的体质人类学呼应了“生理”，而“社会”即文化人类学，您和这个领域的学者互动多吗？

王士元： 不算多，但我很早就喜欢做田野工作。我一直对于声调感兴趣，尤其汉语的声调是一种特色，这是欧美的语言所不具备的。加州离墨西哥很近，在伯克利教书时，有人告诉我，墨西哥有种语言也有声调，还很特别。不同于汉语固定的声调，他们有的音节若具备某个声调，就会让该音节后的下一个音节都要提高半音，我觉得这不是说话，而是唱歌了。我花了好几个星期跑到那个地方去研究语言，还录了音。这就是文化人类学的田野工作。

我很重视中国少数民族的语音。在南开大学，我有一个好朋友叫石锋，他很熟悉国内少数民族的情况。虽然当时我在伯克利工作，但一有机会就来内地，跟着石锋去少数民族地区做研究。然而，每次都要飞越太平洋，这实在是太累了。1997年，香港回归，这让我非常兴奋，心想要不就搬到香港来吧。回来后，我继续跟着北大的、南开的团队去做田野工作。我很关注生理上的语言是怎么一回事，同时我也希望知道，语言在不同的社会、不同的文化有什么样的发展。我一个人的精力无法把这些兼顾着做，但我一直在强调，做语言研究，这两方面都不能忽略。

文汇报：做了那么多次田野调查，您印象最深的是哪一次经历？

王士元：我有很多记忆，这时脑子里想到的是在云南的一次夜行。怒江和澜沧江中间隔了一座很高的山，从一个地方去另一个地方，一定要翻越那座山。某日我们开车赶路，半夜两三点经过时，发现那条泥路上有几块大石头堵着，走不通了。有个同伴知道这是强盗故意设的圈套，待行人下车搬石头，他们就下山来抢东西。当时我们有两部车，车上的人加起来有十几个。那个勇敢的同伴就走到石头前，站在车的灯光下，大声喊道，“干嘛把石头放在这里？我们要把石头推开？”几分钟后，没有动静，我们就一起下车清理路障，然后继续赶路。类似的危险并不常见，但艰苦的条件是一种常态。做田野工作，并不是把车开到某个地方，住酒店，舒舒服服地做事，而是要学会睡露天，没有厕所，自己找地方解决。现在回想起来，这些经历也蛮有趣的。

还有一件事也让我很难忘。一个朋友告诉我，有一种语言叫东干语，很像中国话，不知道是什么来源。我很想去听听看，认识一下那里的人。当时苏联还没有解体，要去的话一定要有签证。申请签证时，问我去苏联干嘛，我一开始很天真，就把自己的想法照实说了出来。签证官听了一脸疑惑：“我们苏联只讲俄语。”被拒签后，我又尝试了几次，最后不得不自称游客，表示想去看看伟大的苏联。签证到手了，但是管得很严，一个导游一直跟着我，而且每天的行程都由他们决定。一路参观下来，终于到了东干语地区。一日，我发现远远走来一个人，长得很像汉人。我马上用俄语打招呼，问他是不是中国人。对方摇摇头，说自己是东干人。我跟他说，我对东干语非常感兴趣，他很客气，答应带我去他的村子。机会难得，我就跟导游摊了牌，无论如何不会再跟着走了。在那个村子，我住了好几天，还参加了一场当地人的婚礼。导游回去告状，说我不合作，但后来也没有追究我。

文汇报：您在演讲时把香港话作为一个例子，对于一个字，老年人和年轻人的发音出现了差异，是什么原因导致了短期内的语言变化？

王士元：在英国殖民统治下的150年，很多内地人来香港，近些年又有菲律宾、印尼的人来打工。香港的语言越多、越杂，香港话就变得越快，和广州话也有很大的区别。这些变化是好是坏呢？香港有人站出来批评年轻人，说他们连自己的话都不会讲，舌头怎么那么懒？还把这种现象叫做“lazy tongue”。我觉得这样的言论不太公平，没人能够阻止语言的变化，我们应当让它自然地演化。

文汇报：是否存在一个理想的彼岸，不停演化的语言进入了成熟稳定的状态，于是不再发生任何变化？

王士元：我一开始教语言学时，经常给学生们提一个假设性问题。比如有500对夫妇，把他们丢到一个与世隔绝的荒岛上，不让其他人登岛，没有别的语言干扰。100年后，这些夫妇的语言还是原来的样子吗？这个实验没有人做过，太不人道，但有些线索可以从生活经验中找到。在任何一个家庭，祖父、父亲与儿子三代的语言不会完全一样。欧洲有学者在上世纪初做过这方面的研究，他去了深山里的一个村子，把每个家庭的成员怎么说话都记录下来，一代一代分析，然后发现彼此都有差异。 有差异就意味着变化，我认为只要有人在说，语言就会一直演化下去。 

文汇报：尤其是这些年，某种语言消失或是濒临消失的新闻总是会引起关注，作为语言学家，您是什么态度？任其自生自灭还是进行必要的抢救、保存？

王士元：我的态度是应当想办法让濒危语言保存下来，但不是采取强制措施。对于父母们来说，在有限的时间里，让孩子掌握一门主流语言，更利于未来的教育和职业的发展，这种优势是本族语言无法替代的。但我们可以呼吁当地的政府、学校、教育部门、无线电台，鼓励他们多推出一些由本族语言制作的节目或者文化产品，给族人们尤其是孩子提供自然接触和自愿学习的机会。

文汇报：语言研究一般分为微观、中观和宏观，您比较侧重于哪一种？

王士元：我现在关注老化问题，属于微观。当然我觉得这三个方面要兼顾，从微观的变化到中观的差异，再从中观的差异，一步一步进行推论，是否有那么一天，我们会知道原始语言是什么样子。目前来说，我们距离那一步还差得很远。

选择微观、中观还是宏观开展研究，这跟研究者的爱好有关。有一种人从小就喜欢养猫、养狗、养兔子，自然会对人的认知和动物的认知产生兴趣——两者为什么会有差异，有什么样的差异？语言是建立在认知上的，这些动物在认知上究竟缺了什么所以没有语言？另外一种人的爱好是翻书，为什么杜甫的诗里有这种词？为什么他的句法和我们现在不一样？为什么那个时候讲求押韵？几百年、几千年的变化是看得到的，我们知道如何去解释。还有一种人非常喜欢小孩，新生儿出来后一句话都不会说，躺在那里牙牙学语。他们发出的声音和将来说话有没有关系？这样的声音是否是说话的基础？如果是，最先学会的是什么词？在所有的语言里，小孩最先学的词是否都差不多，像是“爸爸”和“妈妈”？传统的研究是分析人的语言习得，我在另一头，研究语言和认知是如何消失的。

文汇报：您一直在研究中国语言学，那么对于中国传统的语言学，您是否熟悉？

王士元：这方面我知道的太少了，但是非常有兴趣。我念研究院的时候，经常钻在图书馆里，偶然间看到瑞典汉学家高本汉写的一本关于《诗经》的书。三千年前的《诗经》到底讲些什么，那时的社会与现在又有什么不同？我渐渐上了瘾，看不懂就请教别人，翻翻参考书。几年前，我写了本小书，Love and War in Ancient China——Voices from the Shijing（《古代中国的爱与战：来自诗经的声音》），因为是自己的爱好，就很想写出来。文字、音韵、训诂是中国人的传统学问，不应该丢掉，中国语言学比较吃亏的一点是，我们的眼里只有汉语。几千年来，出现了很多很多种的语言，有些跟汉语很近，有些很远。如果我们要了解语言的差异和共性，就不能只顾研究自己的语言。

文汇报：在香港，各种语言交汇，语言学研究开展得怎样？

王士元：目前只有两个语言学系，一个在香港中文大学，一个在香港大学。在别的学校，语言学是跟现代语言、中文合在一起办学，比如香港理工大学叫中文及双语学系。在我看来，语言学在香港并不特别突出，但因为有很多国际的接触，它的发展机会比内地多一些。但香港毕竟是个小地方，很早有了国际影响，在某些方面领先一点，将来的话，我觉得一定会是内地唱主角，这也是我的一个希望。内地的人力资源那么强，有成千上万的聪明年轻人。如果我们回顾语言学近几百年的历史，就会发现19世纪的主要阵地在欧洲，20世纪转到美国，那么进入21世纪，发展最好的或许就是中国。

文汇报：谈谈您创办的《中国语言学报》吧。

王士元：这是一份以中国语言学为研究对象的刊物。当时我在伯克利，琢磨着应该有这样一份学报，就去找了院长。他给了我几千美金，算是办报的经费。从1973年创立开始，很多权威的语言学家为学报工作过，担任编辑、副主编，比如李方桂先生，但他们都是无偿劳动，没有报酬。后来学报从伯克利搬到香港，打包、托运了几十个箱子，这些都是我们的一位专职员工负责，只有她是拿薪水的。起步早，又站得高，《中国语言学报》一直受到同行的认可，影响很大。

文汇报：在伯克利时，您和赵元任、李方桂两位先生的交往多吗？

王士元：我到伯克利后，经常会见到赵先生，去他家里吃饭。他们家住在山上，好几层的那种楼。有一次，我要用洗手间，但是找不到开关。在摸黑的时候听到角落里似乎有动静，开灯后一看，原来是两条大鱼在浴缸里游得正欢。赵太太很会做饭，家里来客人了，她就去洗手间抓鱼，这是很有趣的事。

我和赵先生经常在一起谈语言学，让我佩服的一点是他注重跨学科，对逻辑、物理都下过工夫，写过一本Language and Symbolic Systems（《语言跟符号系统》），写得蛮好的。后来退休了，他和赵太太需要有人照顾，我的学生廖秋忠就在赵家住了几年。伯克利过了桥就是旧金山，那里有很多好吃的中国馆子，每过几个礼拜，我就会开车带赵先生赵太太去下馆子。至于李方桂先生，我们见过几次面，但不是很熟悉。有人说，赵先生是“汉语研究之父”，李先生是“非汉语研究之父”，我觉得这两位都是非常值得敬佩的人物。

访谈录（2017.12.8）| “2017年上海人类学学会终身成就奖”得主、语言学家王士元：我们应当让语言自然地演化

征稿 | 大数据时代的语言研究研讨会

2017-12-26 qler 计量语言学

大数据正在改变我们的生活以及理解世界的方式。大数据时代为语言研究带来了哪些机遇与挑战？数据密集型的研究范式又能为语言学带来哪些新的思路？大数据背后涌现的语言规律能够揭示人类的普遍认知规律吗？数字人文，可以联通数据与人类认知、社会、自然交互的规律吗？ 

六十年前，冯志伟先生就开始进入与这些问题密切相关的研究领域。2018年，我们即将迎来冯先生的八十华诞。为此，我们拟于2018年4月在杭州召开学术研讨会，向冯先生表达我们由衷的敬意。（可点击文末“阅读原文”，浏览《走在文理结合的道路上：记自然语言处理专家冯志伟先生》）

欢迎广大语言研究爱好者，特别是冯先生的朋友、学生，以及与冯先生有学术往来的学界同仁惠赐鸿文，在美丽的西子湖畔，共商大数据时代语言研究的机遇与挑战。此次活动集结的优秀论文，我们将在会后编辑成书，公开出版。

论文征集事项：

一、研讨会论文可涉及以下研究领域：

1.           自然语言处理

2.           计量语言学

3.           数理语言学

4.           基于数据的语言研究

5.           语言规律与认知

6.           语言文字的形式化研究（汉字、术语、汉语拼音、歧义结构等）

二、摘要字数在1500字左右。

三、摘要递交截止日期为2018年3月1日。

联系人：刘益光

电子邮箱：lyg_1606@163.com

浙江大学大数据+语言规律与认知创新团队

《冯志伟先生八十华诞纪念文集》编辑委员会

2017年12月

阅读原文

阅读 2178

40投诉

《学科分类与代码》（GB/T13745－92）（语言学部分）

 (2009-04-09 21:02:23)

转载▼

Glossary | 文字學術語中英文對照表

原创 2017-07-05 乐正 文苑英华

衆所周知，由於中國文字突出的表意特徵，文字學在中國源遠流長，蔚爲大觀。然而自晚清以來的中英翻譯中，古老的文字學術語却遇到了不小的困難。幸運的是，已經有學者注意到這個問題。比如此篇文章，即下表就是伯克利加州大學兩位學者的翻譯。

此外，中國學者也有成果問世，比較權威的有沙宗元的《文字學術語規範研究》（安徽大學出版社，2008），語言學名詞審定委員會的《語言學名詞》（商務印書館，2011），前者是後者工作的一部分。

《文字學術語規範研究》可在引得市（http://www.mebag.com/index/cuyu/list.asp）中查詢。（via 趙瑾昀評論）

《語言學名詞》的術語可到全國科學技術名詞審定委員會的術語在綫網站（http://www.termonline.cn/）查詢。

A. English-Chinese

abbreviated phonetic，省聲

abbreviated signific，省形

abstract graph，抽象字

abstract representations，抽象的象形符號

abstract symbol，抽象的形符

allograph, variant, alternate way of writing，異體（字）

altered graph，變體字

alternate concentration of functions between two graphs，兩個字的職務的交互集中

alternate form, variant form，或體

alteration of phonetic symbols，改換音符

alteration of semantic symbols，改換意符

ancient and modern forms/graphs，古今字

ancient script form，古文

binome，雙音節詞

borrowed graph, borrowing，通假字

borrowed meaning，假借義

borrowing of both the sound and form of the borrowed graph，形音兼借字

borrowing of graphic shape，形借

bronze clan inscription，族徽金文

bronze clan name，族名金文

Chinese characters in common use，通用漢字

Chinese characters in general use，使用的漢字

clan emblem，族徽

classifier，類符

clerical script，隸書

close in pronunciation，音近

cognate，同源詞

complex pictorial graph，復雜象物字

component, element，旁

composite graph/character，合體字

compound graph，合文

concentration of lexical functions，文字職務的集中

concurrently polyphonic and polysemic forms，一形（字）多音義

consolidation of variant forms，異體字整理

conventional form，習用字

corruption，訛變

current forms，通行字

dedicated form，專用字

deformation of phonetics，聲旁的破壞

deictic，指事

deictic graph, deictograph，指示字

deictic symbol，指示符號

derivational relationship，造字相承的關系

derivation of new words，派生新詞

derivate, derived form，派生詞

determinative，定符

differentiated graph/form，分化字

differentiation，分化

differentiation of graphic forms，字形分化

different graphs sharing the same graphic shapes，異字同形

dispersal of the lexical loads of graphs，分散文字職務

dispersal of the lexical loads of polysemic graphs，分散多義字職務

distribution of lexical loads among allographs，異體字分工

disyllabic，雙音詞

disyllabic compound，雙音節復合詞

disyllabic morpheme，雙音節語素

disyllabic reduplicative phrase，疊字雙音詞

emblem，圖形

etymology，語源

etymon，母詞

extended meaning/sense，引申義

free morpheme，單獨詞

fully integrated writing system，完整的文字體系

grammatology，文字學

graphic abbreviation，省略偏旁字形

graphic borrowing，假借用法

graphic component，偏旁

graphic consolidation，文字的合幷

graphic derivates，文字孳乳

graphic form，字體

graphic form, graphic shape，字形

graphs having multiple uses，一字多用

graphic loans，文字假借

graphic symbol，文字符號

graphic symbol，字符

historically interchangeable graphs，歷史通用字

homography/homograph，同形字

homophone，同音字

homophonous cognates，同音的同源詞

homophonous or nearly homophonous graph，同音或音近的字

homophonous speller，直音

iconography，圖

identification mark ，標記

identificational inscription，記名金文

ideographic writing，表意文字

indiscriminate interchange，彼此混用

interchange of phonetics，聲旁的代換

interchange of signifies，形旁的代換

interchangeable graphs，通用字

late semanto-phonetic script，後期意(符)音(符)文字

lexical meaning, a word's meaning，詞意

linearization，線條化

loaned phonetic symbols，借音符

loangraph, jiajie, borrowing，假借

matrigraph，母字

mature standard script，成熟的楷書

meaning，意義

modem form/graph，今字

monosyllabic morpheme，單音節語素

morphemes with the same graphic form，同形語素

morphemic graph，語素字

morphemic symbol，語素的符號

morphemic writing/script，語素文字

morphemo-syllabic script/writing，語素——音節文字

multi-functional graph，一字多職

multiple phonetics，多聲

multiple semantic components，多形

mutual exchange of lexical functions，職務互易

neo-clerical script，新隸體

new derived form，派生出新詞

new graph, later form, younger graph，後起字

non-composite characters，獨體字

non-phonetic type characters，非形聲結構

non-syssemantic，非會意字

numerical symbols，記數符號

one syllable ending in a nasal and the other in a non-nasal，陰陽對轉

original meaning，本來意義

original meaning, original sense，本義

orthograph，本字

phonemic script，音素文字

phonetic，聲旁

phonetic, phonetic symbol/element，音符

phonetic component，表音偏旁

phonetic script，拼音文字

phonetic symbol，表音符號

phonetic symbol, phonetic，注音符

phonogram，形聲字

phonogram, phonetic letters，表音字

phonological borrowing, borrowing，通假

phonological variation，聲韻通轉

phonology，語音

pictograph，象形字

pictographic，象形

pictographic aspect，圖畫意味

pictographic protoform，象形初文

pictographic sense，圖形意味

pictographic symbol，象形符號

pictographic symbol，形符

pictorial，圖形式

pictorial graph，象物字

pictorial semantogram，圖形式表意字

pictorial syssemantograph，圖形式會意字

picture, pictorial representation，圖畫

polygraphy，一詞多形

polysemic graph，多義字

polysyllabic，多音詞

popular character, vulgarism，俗字

popular form, vulgar form，俗體

popular orthograph，俗本字

popular script，通俗文字

primitive meaning，原始的意義

primative writing，原始文字

pronunciation of characters，字音

proper graph，正字

protoform，初文

purely phonetic element，純音符

quasi-allographs，部分異體字

quasi-composite characters，準合體字

quasi-composite semantograph，準合體表意字

quasi-pictorial graph，象事字

radical，部

reading and meaning，音義

reading, pronunciation，讀音

scholars of the script, grammatologist; students of the script，文字學者

seal script，篆文

segmentation of graphs into strokes，筆畫化

semantic，字義

semantic component，表意偏旁

semantic extension，引申

semantic extension，語義引申

semantic symbol，表意符號

semantic symbol，意符

semantograph，表意字

semantographic protoform，表意初文

semantographic symbol，義符

semanto-phonetic script，意(符)音(符)文字

semanto-phonetic-sign script，意符音符記號文字

semantophoric phonetic, semanto-phoric phonogram, phonetics that convey meaning，有意的聲旁

semi-semantograph，半記號半表意字

semi-sign (character)，半記號字

semi-sign and semi-phonogram，半記號半表音字

sign，記號

sign, sign graph，記號字

signific, semantic component，形旁

signific, semantic symbol，注意符

simplification of Chinese script，漢字簡化

simultaneously syssemantic and phonetic compound graph，會意兼形聲字

simultaneously a phonetic and a signific, phonetic symbols which are concurrently semantic symbols，音符兼意符

six principles theory of Chinese script，六書說

standard form，正體

standard script，楷書

syllabic script，音節文字

syllabograms，音節符號

symbol，符號

synonymic interchange ，同義換讀

syssemantograph，會意字

three principles theory of Chinese script，三書說

transitional writing，過度文字

Tri-script Stone Classics，三體石經

trisyllabic morpheme，三音節語素

variant forms associated with different writing traditions，重文

variant forms of a single graph，一字異體

wordbook，字書

word writing，詞文字

word-syllabic writing/script，詞——音節文字

writing system，文字體系

younger orthograph，後起本字

B. Chinese-English

半記號半表意字，semi-semantogram

半記號半表音字，semi-sign and semi-phonogram

半記號字，semi-sign (character)

本來意義，original meaning

本義，original meaning, original sense

本字，orthograph

變體字，altered graph

標記，identification mark

表意初文，semantographic protoform

表意符號，semantic symbols

表意偏旁，semantic component

表意文字，ideographic writing

表意字，semantogram

表音偏旁，phonetic component

表音符號，phonetic symbol

表音字，phonogram, phonetic letters

彼此混用，indiscriminate interchange

筆畫化，segmentation of graphs into strokes

部，radical

部分異體字，quasi-allographs

成熟的楷書，mature standard script

重文，variant forms associated with different writing traditions

抽象的象形符號，abstract representations

抽象的形符，abstract symbol

抽象字，abstract graph

純音符，purely phonetic element

初文，protoform

詞文字，word writing

詞意，lexical meaning, a word's meaning

詞——音節文字，word-syllabic writing/script

單獨詞，free morpheme

單音節語素，monosyllabic morpheme

疊字雙音詞，disyllabic reduplicative phrase

定符，determinative

獨體字，non-composite characters

多聲，multiple phonetics

多形，multiple semantic components

多義字，polysemic graph

多音詞，polysyllabic

讀音，reading, pronunciation

訛變，corruption

非會意字，nonsyssemantic

非形聲結構，non-phonetic type characters

分化，differentiation

分化字，differentiated graph/form

分散多義字職務，dispersal of the lexical loads of polysemic graphs

分散文字職務，dispersal of the lexical loads of graphs

符號，symbol

復雜象物字，complex pictorial graph

改換意符，alteration of semantic symbols

改換音符，alteration of phonetic symbols

古今字，ancient and modern forms/graphs

古文，ancient script form

過度文字，transitional writing

漢字簡化，simplification of Chinese script

合體字，composite graph/character

合文，compound graph

後起本字，younger orthography

後期意（符）音（符）文字，late semanto-phonetic script

後起字，new graph, later form, younger graph

會意兼形聲字，simultaneously syssemantic and phonetic compound graph

會意字，syssemantograph

或體，alternate form, variant form

假借，loangraph, jiajie, borrowing

假借用法，graphic borrowing

假借義，borrowed meaning

借音符，loaned phonetic symbols

記號，sign

記號字，sign, sign graph

記名金文，identificational inscription

今字，modern form/graph

記數符號，numerical symbols

楷書，standard script

類符，classifier

兩個字的職務的交互集中，alternate concentration of functions between two graphs

歷史通用字，historically interchangeable graphs

隸書，clerical script

六書說，six principles theory of Chinese script

母詞，etymon

母字，matrigraph

派生詞，derivate, derived form

派生出新詞，new derived form

派生新詞，derivation of new words

旁，component, element

偏旁，graphic component

拼音文字，phonetic script

三書說，three principles theory of Chinese script

三體石經，Tri-script Stone Classics

三音節語素，trisyllabic morpheme

省略偏旁字形，graphic abbreviation

聲旁，phonetic

聲旁的代換，interchange of phonetics

聲旁的破壞，deformation of phonetics

省聲，abbreviated phonetic

省形，abbreviated signific

聲韻通轉，phonological variation

使用的漢字，Chinese characters in general use

雙音詞，disyllabic

雙音節復合詞，dislyllabic compound

雙音節詞，binome

雙音節語素，disyllabic morpheme

俗本字，popular orthography

俗體，popular form, vulgar form

俗字，popular character, vulgarism

通假，phonological borrowing, borrowing

通假字，borrowed graph, borrowing

通俗文字，popular script

同形語素，morphemes with the same graphic forms

通行字，current forms

同形字，homography/homographs

同義換讀，synonymic interchange

同音的同源詞，homophonous cognates

同音或音近的字，homophonous or nearly homophonous graph

同音字，homophone

通用漢字，Chinese characters in common use

通用字，interchangeable graphs

同源詞，cognate

圖，iconograph

圖畫，picture, pictorial representation

圖畫意味，pictographic aspect

圖形，emblem

圖形意味，pictographic sense

圖形式，pictorial

圖形式表意字，pictorial semantogram

圖形式會意字，pictorial syssemantic graph

完整的文字體系，a fully integrated writing system

文字的合幷，graphic consolidation

文字符號，graphic symbol

文字假借，graphic loans

文字體系，writing system

文字學，grammatology

文字學者，scholars of the script, grammatologist; students of the script

文字孳乳，graphic derivates

文字職務的集中，concentration of lexical functions

習用字，conventional form

線條化，linearization

象事字，quasi-pictorial graph

象物字，pictorial graph

象形，pictographic

象形初文，pictographic protoform

象形符號，pictographic symbol

象形字，pictograph

形符，pictographic symbol

形借，borrowing of graphic shape

形旁，signific, semantic component

形旁的代換，interchange of signifies

形聲字，phonogram

形音兼借字，the borrowing of both the sound and form of the borrowed graph

新隸體，neo-clerical script

一詞多形，polygraphy

意符，semantic symbol

義符，semantographic symbol

意（符）音（符）文字，semanto-phonetic script

意（符）音（符）記號文字，semanto-phonetic-sign script

音符，phonetic, phonetic symbol/ element

音符兼意符，simultaneously a phonetic and a signific, phonetic symbols which are concurrently semantic symbols

音節符號，syllabogram

音節文字，syllabic script

音近，close in pronunciation

引申，semantic extension

引申義，extended meaning/sense

音素文字，phonemic script

陰陽對轉，one syllable ending in a nasal and the other in a non-nasal

音義，reading and meaning

異體（字），allograph, variant, alternate way of writing

異體字分工，distribution of lexical loads among allographs

異體字整理，consolidation of variant forms

一形（字）多音義，concurrently polyphonic and polysemic forms

意義，meaning

一字異體，variant forms of a single graph

一字多用，graphs having multiple uses

一字多職，multi-functional graph

異字同形，different graphs sharing the same graphic shapes

有意的聲旁，semantophoric phonetic, semantophoric phonogram, phonetics that convey meaning

原始的意義，primitive meaning

原始文字，primitive writing

語素的符號，morphemic symbol

語素字，morphemic graph

語素文字，morphemic writing/script

語素——音節文字，morphemo-syllabic script/writing

語義引申，semantic extension

語音，phonology

語源，etymology

造字相承的關系，derivational relationship

正體，standard form

正字，proper graph

指事，deictic

指示符號，deictic symbol

指示字，deictic graph, deictograph

職務互易，mutual exchange of lexical functions

直音，homophonous speller

篆文，seal script

專用字，dedicated form

準合體字，quasi-composite characters

準合體表意字，quasi-composite semantogram

注意符，signific, semantic symbol

注音符，phonetic symbol, phonetic

字符，graphic symbol

字書，wordbook

字體，graphic form

字形，graphic form, graphic shape

字形分化，differentiation of graphic forms

字義，semantic

字音，pronunciation of characters

族徽，clan emblem

族徽金文，bronze clan inscription

族名金文，bronze clan name

Resource：

Chinese Writing by Qiu Xigui; translated by Gilbert L. Mattos and Jerry Norman.

Society for the Study of Early China : Institute of East Asian Studies, University of California, Berkeley, 2000.

作者：乐正
链接：https://zhuanlan.zhihu.com/p/27662182

来源：知乎
版权：文章已获原作者授权，转载请联系原作者。

图片：资料图来源于网络

神经科学研究中的十九个明星热点脑区

               漫谈人工智能

2018年1月18日，由中国人工智能学会主办《人工智能大讲堂》第二期在北京开讲。中国人工智能学会理事、机器学习专委会副主任于剑教授带来以《漫谈人工智能 》为题的精彩报告。

本期听众面向300余位中小学校长（教育工作者），报告详细的梳理了人工智能的定义与人工智能的“三大流派”，通过分析指出现在人工智能面临的基本问题，为现场听众答疑解惑。

于剑：非常高兴有机会代表中国人工智能学会，向各位老师来讲一点人工智能的事情。刚才南方科技大学的陈十一校长给了一个非常高大上的报告，作为下一位的讲者，我压力山大。 毕竟，这也是我第一次做这种半学术性的报告，以前都是做纯学术性的报告。我尽量做好，如果做不好的话还请各位老师原谅。 首先说一下报告提纲，今天的报告分5部分，现在讲第一部分。

在讲第一部分之前，先说为什么要讲人工智能。 创新人才教育研究会为什么要请人来讲人工智能呢？实际上，这个问题刚才陈校长已经回答过了，这是因为现在已经进入了人工智能时代。下面做一个更详细的论述。

从国家政策来说，2017年7月20日国务院印发了《新一代人工智能发展规划》，国内国外一些国家像法国、德国、美国等也出台了一些政策。

从产业界来说，现在几乎所有的IT企业都宣称自己是人工智能企业了，像IBM，原先是做硬件的，现在都转型做人工智能了，原先的许多软件企业如百度、谷歌、微软等更是全面转型人工智能。

从实际产品来说，那就太多了，随便举一些例子，如寒武纪 1H8等AI芯片，百度Apollo计划开放自动驾驶平台等。 

甚至人工智能伦理也提上了议事日程，如2017年1月，提出了Asilomar AI Principles 23条。

为了说明人工智能的热度，我们放一张照片，这张照片说明人工智能不光是世俗人热，现在连修道者开会都要讲人工智能了。

说起人工智能的起源，这个报告并不打算追溯很远。现代AI的起源公认是1956年的达特茅斯会议。 达特茅斯会议，一共就10个人参会，开了两个月的会议，会议的成果就是AI成为了一个独立的学科。人工智能如何定义呢？常见的定义有两个：第一个是马文明斯基提出的，
 

颁布60年，汉语拼音走进了你我，走向了世界！

原创 2018-02-11 冯志伟 语情局

编者按

　　60年前的今天，全国人民代表大会通过并颁布了《汉语拼音方案》。这是中国历史上第一个由国家颁布的拉丁字母注音方案，为新中国的文化建设奠定了重要基础。此后，随着语文现代化的一系列政策，中国的语言文字真正走上了“语同音”的道路。60年来，我国的文盲率从新中国成立之初的80%下降到4.08%，普通话普及率提高到70%以上，识字人口使用规范汉字的比例超过95%，这都得益于汉语拼音的重要作用。

　　汉语拼音作为汉字注音的辅助工具，从国家标准到国际标准，从扫盲工具发展为汉字信息输入的重要工具和中外文化交流的桥梁，让古老的汉字插上拼音的翅膀飞向了世界，飞向了未来。

    1958年2月12日，《光明日报》1版刊发《关于汉语拼音方案的决议》

　　今年是《汉语拼音方案》通过60周年。在这里，我愿回顾一下汉语拼音从国家规范到国际标准的历程，作为纪念。

1

　　1958年2月11日，全国人民代表大会一致通过了《汉语拼音方案》作为拼写汉语普通话的国家标准。汉语拼音也成为了中国初等教育的内容，每一个学生都应学习和掌握，通过汉语拼音来给汉字注音，提高了汉字学习效率，帮助学生进一步学习文化和科学技术。此外，在电报拼音化、视觉通信、文献编目、排序检索、人力资源管理中，汉语拼音都发挥了重要作用，在中国受到普遍欢迎。从此，汉语拼音成为我国语言生活中的国家规范。

　　21年后的1979年，随着国际交往的发展，汉语拼音不仅在国内语言生活中发挥了巨大作用，也对国际范围内的语言生活产生了深远影响，需要从国家规范提升为国际标准。

　　在这种情况下，中国文字改革委员会派周有光出席在华沙举行的国际标准化组织——信息与文献技术委员会（ISO/TC 46）第18届会议，提出把《汉语拼音方案》作为国际标准的建议。

1979年，周有光（左）代表中国参加国际标准化组织会议。

　　此后，《ISO 7098 文献工作——中文罗马字母拼写法》于1982年在南京召开的ISO/TC 46第19届会议上正式通过。澳大利亚、加拿大、法国、日本、韩国、德意志联邦共和国、苏联等大多数国家投了赞成票，英国弃权，由于技术上的原因，美国投了反对票。自此，汉语拼音从中国的国家规范成为国际标准。1991年，在巴黎召开的ISO/TC 46第24届会议对“ISO 7098”进行了技术上的修订，成为《ISO 7098信息与文献——中文罗马字母拼写法（1991）》，简称ISO 7098（1991）。

2

　　20世纪90年代初，正是世界进入信息时代的关键时刻。为了适应信息时代的要求，中国开始研制计算机汉字输入输出。使用汉语拼音，就可以通过拼音—汉字转换的方法输入输出汉字。由于汉语拼音是中国初等教育必不可少的内容，每一个受过教育的中国人都会使用拼音，拼音输入法自然也就成为汉字输入输出的一种便捷手段。在移动通信中，也可使用汉语拼音在手机上输入汉字，推动手机在中国的普及。此外，汉语拼音在汉语国际教育中也发挥着重要作用，成为外国学生学习汉语和汉字的有用工具。

　　然而，ISO 7098（1991）在最初制定时，并没有考虑信息时代对汉语拼音提出的这些新要求。因此，为了满足信息时代国内外对汉语拼音实际应用的迫切需要，有必要对ISO 7098（1991）进行大幅度修订。

　　教育部于2011年3月成立了ISO 7098（1991）修订工作组，由笔者担任组长，启动了修订工作。同年5月，笔者在澳大利亚悉尼召开的ISO/TC 46第38届会议上，提出了修订ISO 7098（1991）以便反映当前中文罗马化的新发展和实际应用需要的建议。会后，我国国家标准化委员会（SAC）正式向ISO国际标准化组织提出了修订提案，编号N 2358。次年5月的第39届会议接受了该提案，并将其直接作为ISO 7098的工作草案，任命笔者担任国际修订工作组组长。这样，ISO 7098（1991）的修订便正式列入了国际标准化组织的工作日程。

 2011年，冯志伟代表中国参加在悉尼召开的国际标准化组织会议。

3

　　2015年6月，ISO/TC 46第42届全会在北京召开，笔者作为我国代表在大会专题报告会上，用英语做了题为《ISO 7098国际标准及其在人机交互中的应用》的报告，用生动的实例说明了在数字化、智能化环境下，汉语拼音在人机交互中发挥的巨大作用。

2015年，冯志伟在北京会议回答国外专家提问发言。

　　会后，经过修订的国际标准草案正式提交给ISO/TC 46秘书处，并被分发给ISO/TC 46的各成员国进行委员会内部投票。据ISO/TC 46秘书处公布的投票结果：委员会中没有弃权的19个国家（保加利亚、加拿大、中国、克罗地亚、丹麦、爱沙尼亚、法国、德国、伊朗、意大利、日本、韩国、拉脱维亚、挪威、俄罗斯、泰国、乌克兰、英国、美国）都投了赞成票，获得全票通过。值得注意的是，在1982年投反对票的美国和投弃权票的英国，现在都改变了立场，投了赞成票。这说明ISO 7098在世界上得到了越来越多国家的支持。

　　至此，ISO 7098（1991）的修订工作进入出版阶段，新的修订稿叫作ISO 7098：2015，并于2015年12月15日在日内瓦正式出版了英文版。这个新国际标准的出版有助于在数字化、智能化环境下提高文献自动化工作水平，使汉语拼音在国际文献工作中发挥更大的作用，进一步推动汉语拼音走向世界。

4

　　ISO 7098：2015有四个引人注目的特点：

一是把汉语拼音按词连写的规则引入到国际标准中；

二是把文字转换明确地区分为字母转写和字符译音两大类，并且把汉字到拼音的转换归入字符译音这一大类，为汉字文本自动译音在理论上奠定了方法论原则，并在此基础上，制定了汉字—拼音全自动译音和半自动译音的方法；

三是进一步完善了汉语拼音的音节形式总表；

四是给汉语特有的声调和标点符号补充了16进制的代码，扩充了罗马字母的字符集。

　　在中文罗马字母拼写的发展过程中，曾经使用过与《汉语拼音方案》不同的罗马字母拼写形式来拼写中文地名。其中，以英国人威妥玛和詹里斯在1867年设计的威妥玛式拼音、我国学者赵元任在1928年设计的国语罗马字、美国人肯尼迪在1943年设计的耶鲁拼音最为有名。这些形式各异的罗马字母拼写形式，不利于语言文化的交流，特别不利于地名的拼写，联合国地名委员会因此提出了“单一罗马化”的原则。根据这一原则，在对中文地名进行罗马字母拼写的时候，不应当采用多种罗马化形式的拼写法，而只能选择单一罗马化的拼音形式，即《汉语拼音方案》规定的拼音形式。

　　在历史上，“北京”这个地名曾经有“Peking”“Pekin”等拼写形式，现在根据“单一罗马化”原则，就不能使用威妥玛式拼音、国语罗马字拼音、耶鲁拼音，而应当使用国际标准ISO 7098：2015规定的拼音，拼写为“Beijing”。显而易见，汉语拼音的国际化对于国际语言文化交流具有重要价值。

　　全国人民代表大会60年前通过的《汉语拼音方案》是我国的语言文字国家规范；36年前制定的《ISO 7098文献工作——中文罗马字母拼写法》把《汉语拼音方案》从国家规范提高到国际标准的地位，是汉语拼音走向世界的第一步。在信息化、智能化环境下修订出版的ISO 7098：2015，进一步推动了汉语拼音走向世界的进程，为汉语拼音国际化作出了新的贡献。

（本文原载《光明日报》2018年2月11日 12版《语言文字）

情报员：冯志伟（杭州师范大学特聘教授）

编辑员：柴如瑾

图片源：光明日报

阅读 280

6投诉

MSRA副院长周明博士：四大研究领域揭示自然语言技术的奥秘

2018-02-02 AI科技评论 AI科技评论

AI 科技评论按：比尔·盖茨曾说过，「语言理解是人工智能皇冠上的明珠」，沈向洋博士也说过「懂语言者得天下」。自然语言理解处在认知智能最核心的地位。它的进步会引导知识图谱的进步，会引导对用户理解能力的增强，也会进一步推动整个推理能力。自然语言处理的技术会推动人工智能整体的进展，从而使得人工智能技术可以落地实用化。

微软亚洲研究院副院长周明博士围绕这一观点有过不少系统的阐述。不论是在微软大厦举行的自然语言处理前沿技术分享会活动上，或是近日举办的 EmTech China 峰会上，周明博士围绕自然语言四个方面的进展，结合 MSRA 在自然语言上的一系列研究成果做过介绍。AI 科技评论对内容进行整理，并做了不改动原意的编辑：

人工智能是用电脑来模拟和实现人类的智能，而人类的智能大概分如下几个层次：

第一是运算智能，记忆、计算的能力，这一点机器早已经超过人类。

第二是感知智能，包括听觉、视觉、触觉；最近两年，随着深度学习的引入，大幅度提高语音识别和图像识别的识别率，所以计算机在感知智能层面已经做得相当不错了，在一些典型的测试题下，达到或者超过了人类的平均水平。

第三认知智能，包括理解、运用语言的能力，掌握知识、运用知识的能力，以及在语言和知识基础上的推理能力。过去认知智能主要集中在语言智能这块，即自然语言处理，它简单理解了句子、篇章，实现了帮助搜索引擎、仿照系统提供一些基本的功能、提供一些简单的对话翻译。

最高一层是创造智能，人们利用已有的条件，利用一些想象力甚至有一些是臆断、梦想，想象一些不存在的事情包括理论、方法、技术，通过实验加以验证，然后提出新的理论，指导更多实践，最后产生很好的作品或产品。

作为认知智能的重要一环，人工智能最重要的分支就是自然语言的理解与处理，即语言智能，通过对词、句子、篇章进行分析，对内容里面的人物、时间、地点等进行理解，然后在此基础上，去支持一系列核心技术，比如跨语言的翻译、问答系统、阅读理解、知识图谱等技术，基于这些技术，又可以把它应用到其它应用领域，比如说搜索引擎、客服、金融、新闻等等领域。总之，就是通过对语言的理解，实现人跟电脑的直接交流，从而实现人跟人更加有效地交流。自然语言技术不是一个独立的技术，其受云计算、大数据、机器学习、知识图谱等等各个方面的支撑。

语言智能是人工智能皇冠上的明珠，如果语言智能能实现突破，跟它同属认知智能的知识和推理就会得到长足的发展，就能推动整个人工智能体系，有更多的场景可以落地。而自然语言的进展主要包括四个层面：神经机器翻译、聊天机器人、阅读理解及机器创作。

神经机器翻译

神经机器翻译就是模拟人脑的翻译过程，人在翻译的时候，首先是理解这句话，然后在脑海里形成对这句话的语义表示，最后再把这个语义表示转化到另一种语言。

神经机器翻译有两个模块，一个是编码模块，把输入的源语言变成一个中间的语义表示，用一系列的机器的内部状态来代表，另一个模块是解码模块，根据语义分析的结果，逐词生成目标语言。

神经机器翻译在这几年发展非常迅速，2017 年的研究热度更是一发不可收拾，现在神经机器翻译已经取代了统计机器翻译，成为机器翻译的主流技术。目前有统计数据表明，在一些传统的统计机器翻译难以完成的任务上，神经机器翻译的性能远远超过了统计机器翻译，而且跟人的标准答案非常接近，甚至说是相仿的水平。围绕着神经机器翻译，研究者们已做了很多的工作，比如如何提升训练的效率，如何提升编码和解码的能力。还有一个重要的研究问题就是数据问题，神经机器翻译依赖于双语对照的大规模的数据集来训练，端到端地训练神经网络参数，这涉及很多语音段和很多的垂直领域，但我们实际上并没有那么多的数据，我们只有小量的双语数据和大量的单语数据。

所以，我们就提出了半监督的联合垂直模型，已知一个双语推导语料，分别对之训练，从而达到中英翻译系统与英中翻译系统的相互促进，比如拿中英翻译系统去翻中文的语料，形成很多伪的中英对照语料，然后把这个语料去加到英中翻译里面去。同样，用英中翻译系统去翻译大量的英文语料，然后把这个语料加到中英翻译里面，这样经过多次迭代之后，翻译水平大幅度提升。

微软现在已经全面采用神经机器翻译，最近还跟华为的 Mate10 手机合作，得到了神经机器翻译类似于在云上的效果。

聊天机器人

「对话即平台」，英文叫做「Conversation as a Platform （CaaP）」。2016 年，微软首席执行官萨提亚在大会上提出了 CaaP 这个概念，他认为继有图形界面的下一代就是对话，它会对整个人工智能、计算机设备带来一场新的革命。

为什么要提到这个概念呢？我个人认为有两个原因。

第一个原因，源于大家都已经习惯用社交手段，如微信、Facebook 与他人聊天的过程。我们希望将这种通过自然的语言交流的过程呈现在当今的人机交互中，而语音交流的背后就是对话平台。

第二个原因则在于，现在大家面对的设备有的屏幕很小，有的甚至没有屏幕，所以通过语音的交互，更为自然直观的。因此，我们是需要对话式的自然语言交流的，通过语音助手来帮忙完成。

而语音助手又可以调用很多 Bot，来完成一些具体的功能，比如说定杯咖啡，买一个车票等等。芸芸众生，有很多很多需求，每个需求都有可能是一个小 Bot，必须有人去做这个 Bot。对于微软而言，我们作为一个平台公司，希望把自己的能力释放出来，让全世界的开发者，甚至普通的学生就能开发出自己喜欢的 Bot，形成一个生态的平台，生态的环境。

如何从人出发，通过智能助理，再通过 Bot 体现这一生态呢？微软在做CaaP的时候，实际上有两个主要的产品策略。

第一个是小娜，通过手机和智能设备介入，让人与电脑进行交流：人发布命令，小娜理解并执行任务。同时，小娜作为你的贴身处理，也理解你的性格特点、喜好、习惯，然后主动给你一些贴心提示。第二个就是小冰，主要负责闲聊。

无论是小冰这种闲聊，还是小娜这种注重任务执行的技术，其实背后单元处理引擎无外乎就三层技术。

第一层：通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好。

第二层：信息服务和问答，需要搜索的能力，问答的能力，还需要对常见问题表进行收集、整理和搜索，从知识图表、文档和图表中找出相应信息，并且回答问题，我们统称为 Info Bot。

第三层：面向特定任务的对话能力，例如定咖啡、定花、买火车票，这个任务是固定的，状态也是固定的，状态转移也是清晰的，那么就可以用 Bot 一个一个实现。你有一个调度系统，你知道用户的意图就调用相应的 Bot 执行相应的任务。它用到的技术就是对用户意图的理解，对话的管理，领域知识，对话图谱等等。

在聊天的时候机器要理解人的意图，产生比较符合人的想法，以及符合当前上下文的回复，再根据人与机器各自的回复将话题进行下去。基于当前的输入信息，再加上对话的情感，以及用户的画像，经过一个类似于神经机器翻译的解码模型生成回复，可以达到上下文相关、领域相关、话题有关，而且是针对用户特点的个性化的回复。

via http://www.msxiaoice.com/

阅读理解

下一个话题是阅读理解，阅读理解就是让电脑看一遍文章，针对这些文章问一些问题，看电脑能不能回答出来。斯坦福大学曾做过一个比较有名的实验，就是使用维基百科的文章提出 5 个问题，由人把答案做出来，然后把数据分成训练集和测试集，训练集是公开的，用来训练阅读理解系统，而测试集不公开，个人把训练结果上传给斯坦福，斯坦福在其云端运行，再把结果报在网站上，这也避免了一些人对测试集做手脚。阅读理解技术，自 2016 年 9 月前后发布，就引起了很多研究单位的关注，大概有二三十家单位都在做这样的研究，一开始的水平都不是很高，以 100 分为例，人的水平是 82.3 左右，机器的水平只有 74 分，相差甚远，后来通过类似于开源社区模式的不断改进，它的性能就得以逐步地提高了。

最近在阅读理解领域出现的一个备受关注的问题，就是如何才能做到超越人的标注水平。现在微软、阿里巴巴、科大讯飞和哈工大的系统，都超越了人工的标注水平，这标志着阅读理解技术进入了一个新的阶段。这几个系统都来自中国，也体现中国在自然语言处理的进步。

一个阅读理解的框架首先要得到每个词的语义表示，再得到每个句子的语义表示，这可以用循环神经网络 RNN 来实现，然后用特定路径来找出潜在答案，基于这个答案再筛选出最优的答案，最后确定这个答案的边界。在做阅读理解的时候，是用到了外部的知识，可以用大规模的语料来训练外部的知识，通过外部知识训练的 RNN 模型，加入到原来端到端的训练结果中，以此来大幅度地提高阅读理解的能力。

机器创作

最后介绍机器创作，机器可以做很多理性的东西，那么它可以做一些创造性的东西吗？10 年以前，我们就开始做微软对联，在此基础上，创作绝句、律诗、唐诗宋词等等，现在进行写歌谱曲。在微软对联里，用户输入上联，系统就可以对出下联，也可以给出横批；在字谜游戏里，用户给出谜面，让系统猜出字；或系统给出谜面让用户猜出字。

我们的编码解码技术已经成功用于神经网络机器翻译、小冰机器人和词曲创作中。中央电视台《机智过人》节目就曾播过我们的小冰与人类选手进行词曲创作比拼的环节，结果是小冰险胜人类。这件事说明如果有大数据，那么机器学习或者深度学习就可以模拟人类的创造智能，创造出一些作品来，也可以与专家合作，帮助专家产生更好的想法，然后两者配合，产生出美妙的音乐。

这个在以前是难以想象的，做自然语言的人从来没有想到自然语言还可以延伸到音乐上去，其实音乐也是一种语言，自然语言的所有技术就可以应用到音乐上去，这需要大家的想象力。

今天我快速介绍了自然语言处理在神经机器翻译、阅读理解、聊天机器人以及机器创作领域的进展。随着未来大数据、云计算和深度学习的发展，模型还会进一步地提升，再加上合适的场景，技术就可以落地，就可以服务于成千上万的用户。可以预料，随着自然语言处理技术的提高与普及，它将会与其他的人工智能技术一起提升人类的生活水平。

2018-03-28 华信网教材宣传

电子工业出版社

自然语言处理综论（第二版）

丛书名：经典译丛·人类语言技术

原作者：Daniel Jurafsky（D. 朱夫斯凯）, James H. Martin（J. H. 马丁）

作译者：冯志伟,孙乐 

版次：01-01 

出版日期：2018-03-01 

ISBN：9787121250583

策划编辑：马岚

定 价： ￥198.00

内容简介

本书全面论述了自然语言处理技术。本书在第一版的基础上增加了自然语言处理的最新成就，特别是增加了语音处理和统计技术方面的内容，全书面貌为之一新。本书共分五个部分。第一部分“词汇的计算机处理”，讲述单词的计算机处理，包括单词切分、单词的形态学、最小编辑距离、词类，以及单词计算机处理的各种算法，包括正则表达式、有限状态自动机、有限状态转录机、N元语法模型、隐马尔可夫模型、最大熵模型等。第二部分“语音的计算机处理”，介绍语音学、语音合成、语音自动识别以及计算音系学。第三部分“句法的计算机处理”，介绍英语的形式语法，讲述句法剖析的主要算法，包括CKY剖析算法、Earley剖析算法、统计剖析，并介绍合一与类型特征结构、Chomsky层级分类、抽吸引理等分析工具。第四部分“语义和语用的计算机处理”，介绍语义的各种表示方法、计算语义学、词汇语义学、计算词汇语义学，并介绍同指、连贯等计算机话语分析问题。第五部分“应用”，讲述信息抽取、问答系统、自动文摘、对话和会话智能代理、机器翻译等自然语言处理的应用技术。本书写作风格深入浅出，实例丰富，引人入胜。

封底介绍

从本书第一版出版以来，一直好评如潮，被国外许多大学选作自然语言处理或计算语言学的教材，被认为该领域教材的“黄金标准”。本书第一版综合了自然语言处理、计算语言学和语音识别的内容，全面论述计算机自然语言处理，深入探讨计算机处理自然语言的词汇、句法、语义、语用等各个方面的问题，介绍了自然语言处理的各种现代技术。该版对于第一版做了全面的改写，增加了大量反映自然语言处理最新成就的内容，特别是增加了语音处理和统计技术方面的内容，全书面貌为之一新。

本书四大特色：

·覆盖全面·强调实用·注重评测·语料为本

本书配套站点：http：//www.prenhall.com/jurafsky-martin

Daniel Jurafsky

在美国加利福尼亚大学伯克利分校于1983年获语言学学士学位，于1992年获计算机科学博士学位。现任斯坦福大学语言学系和计算机科学系副教授，主要研究方向为语言的概率模型和语音信息处理。他在语音和语言处理领域发表了90多篇论文，并在1998年获得美国国家基金会CAREER奖，在2002年获得Mac-Arthur奖。

James H. Martin

于1981年在哥伦比亚大学获计算机科学学士学位，1988年在美国加利福尼亚大学伯克利分校获计算机科学博士学位。现任美国科罗拉多大学博尔德分校语言学系、计算机科学系教授，认知科学研究所研究员，主要研究方向为计算语义学、机器学习和信息检索。他发表过70多篇有关计算机科学的专著，出版了A Computational Model of Metaphor Interpretation一书。

冯志伟

先后在北京大学和中国科学技术大学研究生院两次研究生毕业，获双硕士学位。1978年至1981年，在法国格勒诺布尔理科医科大学应用数学研究所(IMAG)自动翻译中心(CETA)师从法国著名数学家、国际计算语言学委员会主席B. Vauquois教授，专门研究数理语言学和机器翻译问题。回国后，先后担任中国科学技术信息研究所计算中心机器翻译研究组组长、教育部语言文字应用研究所计算语言学研究室主任、杭州师范大学外国语学院高端特聘教授。1986年至2004年，在德国Fraunhofer研究院）（FhG）、Trier大学、Konstanz高等技术学院、韩国Korean Advanced Institute of Science and Technology （KAIST）、英国Birmingham大学担任教授或研究员，长期从事语言学和计算机科学的跨学科研究，是我国计算语言学事业的开拓者之一。在中国，他是中国语文现代化学会副会长、中国应用语言学学会常务理事、中国人工智能学会理事、国家语言文字工作委员会21世纪语言文字规范（标准）审定委员会委员、全国科学技术名词审定委员会委员、全国术语标准化技术委员会委员、中国外语教育研究中心学术委员会委员、《数学辞海》总编辑委员会委员、《中国大百科全书》（《语言文字卷》）编辑委员会成员。在国际上，他是TELRI（Trans European Language Resources Infrastructure）、LREC（Language Resources and Evaluation Conference）、COLING 2010（Computational Linguistics Conference）的顾问委员会委员，并担任IJCL（International Journal of Corpus Linguistics）、IJCC（International Journal of Chinese and Computing）等重要学术期刊编委以及英国Continuum出版公司系列丛书Research in Corpus and Discourse编委。承担国家自然科学基金项目和国家社会科学基金项目多项，出版专著30余部，发表论文300余篇。

孙乐

1998年5月毕业于南京理工大学，获博士学位。1998年9月至2000年10月在中国科学院软件研究所从事博士后研究，现为中国科学院软件研究所中文信息处理研究室研究员、博士生导师。曾先后在英国Birmingham大学、加拿大Montreal大学做访问学者。目前主要研究方向：自然语言理解、知识图谱、信息抽取、问答系统等。作为项目负责人承担国家自然科学基金重点项目、国家“863”项目、国际合作项目等30多项，在ACL、SIGIR、EMNLP等重要国际会议和国内核心期刊发表论文50多篇。现为中国中文信息学会副理事长兼秘书长、中文信息学报副主编、国家语委语言文字规范标准审定委员会委员、国际测评NTCIR MOAT中文简体任务的组织者、第23届国际计算语言学大会（COLING 2010）组织委员会联席主席、第13届国际机器翻译峰会（MT Summit 2011）组织委员会联席主席、第53届国际计算语言学年会（ACL2015）组织委员会联席主席。

中文版序言

The goal of a textbook author is the same as the goal of any teacher: passing on our love for our field to a new generation of students, encouraging them to do innovative and creative new work, and helping them to advance the state of human knowledge. For a textbook in the interdisciplinary area of speech and language processing, there are the additional goals of enabling students from differing backgrounds (computer science, linguistics, electrical engineering) to acquire the knowledge and tools of the new interdisciplinary field, and to develop an appreciation for the beauty and complexity and variety of human language. We therefore feel extremely lucky that Professor Feng Zhiwei, aided by Dr. Sun Le, undertook the arduous job of translating this book. Prof. Feng is the perfect scholar for the job of translating such a book, because of his long experience in our field, his wide breadth of research interests throughout computational linguistics in general and Chinese computational linguistics specifically, his remarkable familiarity with the state of our field across the world, from China to France, from Korea to Germany, and of course his expertise on translation as a research area! We are also very excited that this translation into Chinese is the first translation of our book out of English. China's long history of the study of language is of course well known, and in this new century the young scientists of China are already playing a key role in the important scientific advances of our field. We look forward to even more amazing contributions from China and hope that our small book, now with the help of Prof. Feng and Dr. Sun, can provide a small aide in the great role that Chinese scientists are playing on the world scientific stage!

Daniel Jurafsky and James H. Martin

Palo Alto, California, and Boulder, Colorado

—译文—

教材的作者与所有教师有着相同的目标：即把我们对于本专业的热爱传达给新一代的学生，鼓励他们去进行创新性的研究和探索，帮助他们把人类知识进一步向前推进。由于语音和语言的计算机处理属于交叉学科的领域，所以，我们这本关于这个交叉学科领域的教材还有其特定的目标。这些特定的目标就是使来自不同知识背景（计算机科学、语言学和电子工程）的学生掌握这门新的交叉学科的基本知识和工具，并在学习过程中一步一步地来感受人类语言的美妙性、复杂性和多样性。因此，当我们了解到冯志伟教授在孙乐研究员的协助下承担了把这本教材翻译成中文的艰辛工作的时候，我们感到无比的荣幸。我们认为，冯志伟教授是翻译这本教材的最理想的学者，因为他在这个专业领域具有多年的经验；他的研究兴趣涉及面广，既包括普遍的计算语言学研究，也包括具体的汉语计算语言学的研究；他对于这个学科在全世界的情况了如指掌，从中国到法国，从韩国到德国，他都亲身参与了这些国家的计算语言学研究工作；并且，翻译一直是冯教授长期从事的一个研究领域，他当然也是精研通达的翻译内行！这个中文译本是英文原著的第一个外文译本，它的出版使我们非常之激动和振奋。众所周知，中国在语言研究方面有着悠久的历史，在新世纪，中国年轻一代的科学工作者在这个领域的一些重要的科学进展方面已经起着关键性的作用。我们期待着中国在这个领域里进一步做出更加出色的贡献，并且希望，在中国科学工作者为全世界的科学进步事业所发挥的巨大作用中，由于冯志伟教授和孙乐研究员的帮助，拙著也能够为此尽我们的绵薄之力！

Daniel Jurafsky

James H. Martin

译者序

采用计算机技术来研究和处理自然语言是20世纪40年代末期和20世纪60年代才开始的，60多年来，这项研究取得了长足的进展，成为了计算机科学中一门重要的新兴学科——自然语言处理（Natural Language Processing，NLP）。

我们认为，计算机对自然语言的研究和处理，一般应经过如下4个方面的过程：

1.把需要研究的问题在语言学上加以形式化，使之能以一定的数学形式，严密而规整地表示出来；

2.把这种严密而规整的数学形式表示为算法，使之在计算上形式化；

3.根据算法编写计算机程序，使之在计算机上加以实现；

4.对于所建立的自然语言处理系统进行评测，使之不断地改进质量和性能，以满足用户的要求。

美国计算机科学家Bill Manaris在《计算机进展》（Advances in Computers）第47卷的《从人机交互的角度看自然语言处理》一文中曾经给自然语言处理提出了如下的定义：“自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。”Bill Manaris关于自然语言处理的这个定义，比较全面地表达了计算机对自然语言的研究和处理的上述4个方面的过程。我们认同这样的定义。

根据这样的定义，我们认为，建立自然语言处理模型需要如下不同平面的知识：

1.声学和韵律学的知识：描述语言的节奏、语调和声调的规律，说明语音怎样形成音位。

2.音位学的知识：描述音位的结合规律，说明音位怎样形成语素。

3.形态学的知识：描述语素的结合规律，说明语素怎样形成单词。

4.词汇学的知识：描述词汇系统的规律，说明单词本身固有的语义特性和语法特性。

5.句法学的知识：描述单词（或词组）之间的结构规则，说明单词（或词组）怎样形成句子。

6.语义学的知识：描述句子中各个成分之间的语义关系，这样的语义关系是与情景无关的，说明怎样从构成句子的各个成分推导出整个句子的语义。

7.话语分析的知识：描述句子与句子之间的结构规律，说明怎样由句子形成话语或对话。

8.语用学的知识：描述与情景有关的情景语义，说明怎样推导出句子具有的与周围话语有关的各种含义。

9.外界世界的常识性知识：描述关于语言使用者和语言使用环境的一般性常识，例如，语言使用者的信念和目的，说明怎样推导出这样的信念和目的内在的结构。当然，关于自然语言处理所涉及的知识平面还有不同的看法，不过，一般而言，大多数的自然语言处理研究人员都认为，这些语言学知识至少可以分为词汇学知识、句法学知识、语义学知识和语用学知识等平面。每一个平面传达信息的方式各不相同。例如，词汇学平面可能涉及具体的单词的构成成分（如语素）以及它们的屈折变化形式的知识；句法学平面可能涉及在具体的语言中单词或词组怎样结合成句子的知识；语义学平面可能涉及怎样给具体的单词或句子指派意义的知识；语用学平面可能涉及在对话中话语焦点的转移以及在给定的上下文中怎样解释句子的含义的知识。

不同的自然语言处理系统需要的知识平面可能与UNIX Consultant不一样，根据实际应用的不同要求，很多自然语言处理系统只需要使用上述9个平面中的部分平面的知识就行了。例如，书面语言的机器翻译系统只需要第3个至第7个平面的知识，个别的机器翻译系统还需要第8个平面的知识；语音识别系统只需要第1个至第5个平面的知识。

上述9个平面的知识主要涉及的是语言学知识，由于自然语言处理是一个多边缘的交叉学科，除了语言学，它还涉及如下的知识领域：

●计算机科学：给自然语言处理提供模型表示、算法设计和计算机实现的技术。

●数学：给自然语言处理提供形式化的数学模型和形式化的数学方法。

●心理学：给自然语言处理提供人类言语行为的心理模型和理论。

●哲学：给自然语言处理提供关于人类的思维和语言的更深层次的理论。

●统计学：给自然语言处理提供基于样本数据来预测统计事件的技术。

●电子工程：给自然语言处理提供信息论的理论基础和语言信号处理技术。

●生物学：给自然语言处理提供大脑中人类语言行为机制的理论。自然语言处理需要的知识如此之丰富，它涉及的领域如此之广泛，我们翻译的这本《自然语言处理综论》正好满足了这样的要求。

本书的英文原名是：Speech and Language Processing: An Introduction to Natural Language Processing，Computational Linguistics，and Speech Recognition，作者是美国科罗拉多大学的Daniel Jurafsky和James Martin，由Prentice Hall，Inc.出版。

几年前我从韩国到新加坡参加国际会议时，在书店发现此书，马上就被它丰富的内容和流畅的表达吸引住了。会议结束回到韩国之后，我就开始认真阅读此书，我发现此书覆盖面非常广泛，理论分析十分深入，而且强调实用性和注重评测技术，几乎所有的例子都来自真实的语料库，此书的内容不仅覆盖了我们在上面所述的9个平面的语言学知识和外在世界的常识性知识，而且还涉及计算机科学、数学、心理学、哲学、统计学、电子工程和生物学等领域的知识，我怀着极大的兴趣前后通读了两遍。当时我在韩国科学技术院电子工程与计算机科学系担任访问教授，在我给该系博士研究生开的“自然语言处理II”（NLP II）的课程中，使用了该书的部分内容，效果良好。我觉得这确实是一本很优秀的自然语言处理的教材。我常常想，如果我们能够把这本优秀的教材翻译成中文，让国内的年轻学子们也能学习本书，那该是多么好的事情！

后来，在北京的机器翻译研讨会上，电子工业出版社编辑找到我，告诉我说他们打算翻译出版此书。当时电子工业出版社已经进行过调查，目前国外绝大多数大学的计算机科学系都采用此书作为“自然语言处理”课程的研究生教材，他们希望我来翻译这本书，与电子工业出版社配合，推出高质量的中文译本。我们双方的想法不谋而合，于是，我欣然接受了本书的翻译任务，开始进行本书的翻译。

我虽然已经通读过本书两遍，对于本书应该说是有一定的理解了，但是，亲自动手翻译起来，却不像原来想象的那样容易，要把英文的意思表达为确切的中文，下起笔来，总有绠短汲深之感，大量的新术语如何用中文来表达，也是颇费周折令人踌躇的难题。我利用了全部的业余时间来进行翻译，连续工作了11个月，当翻译完第14章（全书的三分之二）的时候，我患了黄斑前膜的眼病，视力出现障碍，难于继续翻译工作，还剩下7章（全书的三分之一）没有翻译，“行百里者半九十”，这7章的翻译工作究竟如何来完成呢？正当我束手无策一筹莫展的时候，中国科学院软件研究所孙乐研究员表示愿意继续我的工作，与我协作共同完成本书的翻译。孙乐研究员有很好的自然语言处理的基础，我们又是忘年之交的好朋友，由他来继续我的翻译工作是最理想不过的了，电子工业出版社也同意孙乐参与本书的翻译。孙乐研究员的翻译工作十分认真，他每翻译一章，就交给我审校，遇到疑难问题时我们共同切磋，反复推敲，他顺利地完成了第15章到第21章的翻译。现在，在我们两人的通力合作下，全书的翻译总算大功告成了。本书第一版的中文译文在2005年6月出版。

中文第一版出版后，读者的反响比我预想的热烈。中国传媒大学、北京大学、上海交通大学、解放军外国语学院、大连海事大学都先后采用本书作为自然语言处理或计算语言学课程的教材，受到师生们的一致好评。有的同学对照英文原文，逐词逐句地阅读，反复推敲译文的含义，细心品味原著的内容。有的同学组织起来集体阅读，组织专题讨论，交流学习的心得体会。有的同学写信给我，赞扬本书的译文“既信且达，通顺流畅”；这样的赞扬，对于写信的同学，自然是普通寻常的溢美之词，但对于我这个苦心推敲译文、年逾古稀的译者来说，却是最高的褒奖了。我在这里发自内心地感谢广大读者对于本书的厚爱。

现在本书中文第一版已经销售一空了，很多喜爱自然语言处理的读者想买此书，可是，经常是“一书难求”。

近年来，自然语言处理领域在很多方面有了新的进展，语音和语言技术的应用范围日益扩大，大规模真实书面文本语料库口语语料库的广泛使用，使得自然语言处理技术越来越依赖于统计机器学习的方法。2009年Prentice Hall出版社推出了本书英文版第二版，篇幅由第一版的21章增加为25章，大大地充实了语音识别、语音合成、统计自然语言处理和统计机器学习方面的内容，更好地反映了这个领域的新进展。

为了满足读者进一步学习的需要，电子工业出版社决定请我和孙乐研究员翻译本书英文版第二版。我们愉快地接受了翻译第二版的任务。我们仍然按照翻译第一版时的分工，由我翻译第1~16章（全书的五分之三），由孙乐研究员翻译第17~25章（全书的五分之二），全书的译文由我统稿。

我在九年前已经步入古稀之年，自从双目出现黄斑前膜之后，视力越来越差，在翻译过程中，我经常要借助于放大镜来阅读英文原著或查询生僻的专业术语，幸好先进的语音合成技术可以把书面的文字转换成口头的语音，使得我能够通过合成的语音来校正中文译文中的差错，省去了我直接用眼力阅读中文译文之苦，我成为了自然语言处理技术的直接受益者，这更加激励我克服重重的困难来完成本书第二版的翻译。我暗暗下定决心，一定要把自己的心血化作火红的宝石，一定要把自己的汗水化作晶莹的珍珠，为这个新的译本增添璀璨的光彩。经过三年多艰辛的工作，在孙乐研究员的积极配合之下，第二版的中文译文终于与读者见面了，这是我最感到欣慰的事。

我研究自然语言处理已经五十多年了，五十多年前，我还是一个不谙世事的十九岁的小青年，现在，我已经是白发苍苍的古稀老人了，我们这一代人正在一天天地变老；然而，我们如痴如醉地钟爱着的自然语言处理事业却是一个新兴的学科，她还非常年轻，充满了青春的活力，尽管她还很不成熟，但是她无疑地有着光辉的发展前景。我们个人的生命是有限的，而科学知识的探讨和研究却是无限的。我们个人渺小的生命与科学事业这棵常青的参天大树相比较，显得多么微不足道，犹如沧海一粟。想到这些，怎不令我们感慨万千！“路漫漫其修远兮，吾将上下而求索”，自然语言处理的探索者任重道远，不论在理论方面还是在应用方面，我们都需要加倍地努力，当前自然语言处理仍然面临诸多的困难，我们还要继续奋战，才能渡过难关，走向一马平川的坦途。谨以这个新的译本献给那些对自然语言处理有兴趣的读者，让我们携起手来，共同来探索自然语言计算机处理的奥秘，并在这样的探索中实现我们个人渺小生命的价值，获取人生的乐趣。

正如本书作者指出的，本书具有“覆盖全面，强调实用，注重评测，语料为本”的特点，我们希望，本书中文译文第二版的出版能够在我国的自然语言处理的教学和科学研究中，继续产生积极的作用，我们还希望，读者能够喜欢这个新的译本，并给我们提出批评和指正。

本书译者的部分工作得到了国家自然科学基金（编号：61433015）、国家社会科学基金（编号：03BYY019）的资助，特此致谢。

冯志伟于杭州

序言

语言学是一门有数百年历史的学科，作为计算机科学的一个组成部分的计算语言学只有50年的历史。然而只是近十年来，由于适用于互联网的信息检索和机器翻译的出现，由于台式计算机上的语音识别逐渐普及，语言的计算机理解才真正成为了一个产业脱颖而出，它牵涉到了成千上万的人。语言信息的表示和计算机处理方面的理论进展，使这样的产业成为可能。

《自然语言处理综论》是第一本全面地论述语言技术的书，这本书的内容涉及了语言技术的各个层面，介绍了语言处理的各种现代技术，并把深入的语言分析和鲁棒的统计方法紧密地结合起来。从层次的角度来看，本书的论述是按照不同的语言层面逐步展开的，首先论述词和词的构成，包括单词序列的性质以及如何说出并且理解它们，接着论述组词成句的方法（句法），意义形成的方法（语义学），它们是问答系统、对话系统和语言之间翻译的基础。从技术的角度来看，本书介绍了正则表达式、信息检索、上下文无关语法、合一、一阶谓词演算、隐马尔可夫模型和其他概率模型、修辞结构理论等非常丰富的内容。在此之前，如果你想了解这些知识，你必须读两三本不同的书。本书全面覆盖了这些知识。更重要的是，本书把这些技术彼此联系起来，使读者不仅知道哪些技术是最好用的，并且知道怎样把这些技术结合起来使用。本书的论述风格使读者对于有关的内容始终保持着浓厚的兴趣，乐意去思考各种技术的细节，一步一个脚印地循序渐进而毫无枯燥乏味之感。不论你是从学术的角度还是从产业的角度对于自然语言的计算机处理发生兴趣，本书都可以作为你理想的入门向导和有用的学术参考，它能指引你在将来进一步升堂入室，研究这门引人入胜的学科。

本书第一版自2000年出版以来，这个领域在很多方面有了新的进展。语言技术的应用日益扩大，大规模的语言数据集的使用（不论是书面的还是口头的）使得我们越来越依赖于统计机器学习的方法。本书的第二版从理论和实际两个方面很好地反映了这些新的进展。本书的各个章节之间大都保持着相对的独立性，这样的结构安排也使得读者或教师更容易从中选择一部分来学习。从本书第一版出版以来，尽管在语言处理这个领域出现了一些写得不错的著作，但是，从总体上来说，本书仍然是这个领域中最好的导论性著作。

Peter Norvig & Stuart Russell 

Prentice Hall人工智能丛书主编

前言

现在语音和语言的计算机处理进入了一个令人振奋的时期。在这个时期，历史上彼此不同的研究部门（自然语言处理、语音识别、计算语言学、计算心理语言学）开始融合在一起。基于网络的语言技术的开发，基于电话的对话系统的商品化应用，语音合成和语音识别都有力地推动了各种实用的自然语言处理系统的开发。由于使用大规模的联机语料库，使得在从语音到话语的各个不同的层面都可以使用统计方法。我们在设计这本既可作为教学之用又可作为参考书之用的著作时，试图描绘出各个不同学科开始融合在一起的这种情景。本书具有如下的特点：

1.覆盖全面

为了统一地描述语音处理和语言处理，本书全面地覆盖了在传统上分别在不同的系和不同的课程中讲授的内容。例如，在电子工程系的语音识别课程的内容；在计算机科学系的自然语言处理课程中的自动句法分析、语义解释、机器翻译等内容；在语言学系的计算语言学课程中的计算形态学、计算音系学和计算语用学等内容。本书介绍了这些领域中的基本算法，不论这些算法原来是在语音处理还是在书面语言处理中提出的，不论它们原来是从逻辑的角度还是从统计的角度提出的，我们力求把来自不同领域的算法合在一块统一地加以描述。我们也试图把一些诸如机器翻译、拼写检查、信息检索和信息抽取这样的应用领域的内容包括在本书中，使它的覆盖面更加全面。这种广为覆盖的方法的一个潜在问题使得我们只好把每个领域中的一些概论性的材料也包括到本书中。因此，在阅读本书时，语言学家可以跳过有关发音语音学方面的章节，计算机科学家可以跳过有关正则表达式的章节，电子工程师可以跳过有关信号处理的章节。当然，尽管这本书写得这么长，我们也不可能做到包罗万象。正因为如此，本书不能替代语言学、自动机和形式语言理论、人工智能、机器学习、统计学和信息论的各种专门著作，这些著作显然是非常重要的。

2.注重实用

理论联系实际是非常重要的。在本书中，我们始终注意把自然语言处理的算法和技术［从隐马尔可夫模型（MHH）到合一算法，从λ运算到对数线性模型］应用于解决现实世界中遇到的各种重要问题。例如，语音识别、机器翻译、网络上的信息抽取、拼写检查、文本文献检索以及口语对话代理。为了达到这样的目的，我们在每一章中都要讲授一些关于自然语言处理的应用问题。这种方法的好处是，当我们介绍有关自然语言处理的知识的时候，可以给学生们提供一个背景来理解和模拟特定领域中的应用问题。

3.强调评测

近年来，在自然语言处理中统计算法越来越受到重视，语音处理和语言处理系统的有组织的评测活动越来越多，这些使得评测得到了越来越多的强调和重视。因此，我们在本书的许多章节中都包括了评测的内容，描述系统评测和错误分析的现代经验方法，例如，训练集和测试集的概念、交叉验证（cross validation），以及诸如困惑度（perplexity）的信息论评测指标。

4.语料为本

现代的语音处理和语言处理很多是建立在公共资源基础上的。这些资源有：语音生语料库和文本生语料库、标注语料库和树库、标准的标注集等。我们力图在全书中介绍很多这样的重要语言资源（例如，Brown，Switchboard，Fisher，CALLHOME，ATIS，TREC，MUC，BNC等语料库），并且提供很多有用的标记集的完整的清单以及编码技巧（例如，Penn Treebank，CLAWS标记集以及ARPAbet），不过难以避免会有遗漏。此外，在本书中直接包括了很多资源的URL（Uniform Resource Locator）之外，我们还把这些资源放在本书的网站上(http：//www.cs.colorado.edu/~martin/slp.html)，在这个网站上，这些资源可以得到及时的更新。

本书首先可以用作研究生或高年级本科学生的教科书或系列教材。由于本书的覆盖面广，并且有大量的算法，所以，本书也可以用作语音处理和语言处理的各个领域中的大学生和专业人员的参考书。

本书概览

除了序言和书后面的附录之外，本书共分五个部分。第一部分“单词”，讲述与单词和简单的单词序列的计算机处理有关的概念：单词切分，单词的形态学，单词编辑距离，词类，以及单词计算机处理中的各种算法：正则表达式、有限自动机、有限转录机、N元语法模型、隐马尔可夫模型、对数线性模型等。第二部分“语音”，首先介绍语言语音学，然后讲述语音合成、语音识别以及计算音系学中的语言问题。第三部分“句法”，介绍英语的短语结构语法，讲述用于单词之间的句法结构关系的一些主要的算法：CKY剖析算法、Earley剖析算法、统计剖析、合一与类型特征结构，以及诸如Chomsky层级分类和抽吸引理(pumping lemma)等分析工具。第四部分“语义学和语用学”，介绍一阶谓词演算以及语义的各种表示方法，λ计算，词汇语义学，诸如Wordnet，PropBank和FrameNet等词汇语义资源，用于计算单词相似度和词义排歧的词汇语义学的计算模型，以及诸如同指（coreference）和连贯（coherence）等话语分析问题。第五部分“应用”，讲述信息抽取、机器翻译、对话和会话的智能代理等。

Daniel Jurafsky

于加利福尼亚州斯坦福市

James H. Martin

于科罗拉多州博尔德市

目录

第1章  导论

1.1  语音与语言处理中的知识

1.2  歧义

1.3  模型和算法

1.4  语言、思维和理解

1.5  学科现状与近期发展

1.6  语音和语言处理简史

1.7  小结

1.8  文献和历史说明

第一部分  词汇的计算机处理

第2章  正则表达式与自动机

2.1  正则表达式

2.2  有限状态自动机

2.3  正则语言与 FSA

2.4  小结

2.5  文献和历史说明

第3章  词与转录机

3.1  英语形态学概观

3.2  有限状态形态剖析

3.3  有限状态词表的建造

3.4  有限状态转录机

3.5  用于形态剖析的FST

3.6  转录机和正词法规则

3.7  把FST词表与规则相结合

3.8  与词表无关的FST：Porter词干处理器

3.9  单词和句子的词例还原

3.10  拼写错误的检查与更正

3.11  最小编辑距离

3.12  人是怎样进行形态处理的

3.13  小结

3.14  文献和历史说明

第4章  N元语法

4.1  语料库中单词数目的计算

4.2  简单的（非平滑的）N元语法

4.3  训练集和测试集

4.4  N元语法的评测：困惑度

4.5  平滑

4.6  插值法

4.7  回退法

4.8  实际问题：工具包和数据格式

4.9  语言模型建模中的高级专题

4.10  信息论背景

4.11  高级问题：英语的熵和熵率均衡性

4.12  小结

4.13  文献和历史说明

第5章  词类标注

5.1  （大多数）英语词的分类

5.2  英语的标记集

5.3  词类标注

5.4  基于规则的词类标注

5.5  基于隐马尔可夫模型的词类标注

5.6  基于转换的标注

5.7  评测和错误分析

5.8  词类标注中的高级专题

5.9  高级专题：拼写中的噪声信道模型

5.10  小结

5.11  文献和历史说明

第6章  隐马尔可夫模型与最大熵模型

6.1  马尔可夫链

6.2  隐马尔可夫模型

6.3  似然度的计算：向前算法

6.4  解码：Viterbi算法

6.5  HMM的训练：向前向后算法

6.6  最大熵模型：背景

6.7  最大熵模型

6.8  最大熵马尔可夫模型

6.9  小结

6.10  文献和历史说明

第二部分  语音的计算机处理

第7章  语音学

7.1  言语语音与语音标音法

7.2  发音语音学

7.3  音位范畴与发音变异

7.4  声学语音学和信号

7.5  语音资源

7.6  高级问题：发音音系学与姿态音系学

7.7  小结

7.8  文献和历史说明

第8章  语音合成

8.1  文本归一化

8.2  语音分析

8.3  韵律分析

8.4  双音子波形合成

8.5  单元选择（波形）合成

8.6  评测

8.7  文献和历史说明

第9章  语音自动识别

9.1  语音识别的总体结构

9.2  隐马尔可夫模型应用于语音识别

9.3  特征抽取：MFCC矢量

9.4   声学似然度的计算

9.5  词典和语言模型

9.6  搜索与解码

9.7  嵌入式训练

9.8  评测：词错误率

9.9  小结

9.10  文献和历史说明

第10章  语音识别：高级专题

10.1  多遍解码：N最佳表和格

10.2  A*解码算法（“栈”解码算法）

10.3  依赖于上下文的声学模型：三音子

10.4  分辨训练

10.5  语音变异的建模

10.6  元数据：边界、标点符号和不流利现象

10.7  人的语音识别

10.8  小结

10.9  文献和历史说明

第11章  计算音系学

11.1  有限状态音系学

11.2  高级有限状态音系学

11.3  计算优选理论

11.4  音节切分

11.5  音位规则和形态规则的机器学习

11.6  小结

11.7  文献和历史说明

第三部分  句法的计算机处理

第12章  英语的形式语法

12.1  组成性

12.2  上下文无关语法

12.3  英语的一些语法规则

12.4  树库

12.5  语法等价与范式

12.6  有限状态语法和上下文无关语法

12.7  依存语法

12.8  口语的句法

12.9  语法和人的语言处理

12.10  小结

12.11  文献和历史说明

第13章  句法剖析

13.1  剖析就是搜索

13.2  歧义

13.3  面对歧义的搜索

13.4  动态规划剖析方法

13.5  局部剖析

13.6  小结

13.7  文献和历史说明

第14章  统计剖析

14.1  概率上下文无关语法

14.2  PCFG的概率CKY剖析

14.3  PCFG规则概率的学习途径

14.4  PCFG的问题

14.5  使用分离非终极符号的办法来改进PCFG

14.6  概率词汇化的CFG

14.7  剖析器的评测

14.8  高级问题：分辨再排序

14.9  高级问题：基于剖析器的语言模型

14.10  人的剖析

14.11  小结

14.12  文献和历史说明

第15章  特征与合一

15.1  特征结构

15.2  特征结构的合一

15.3  语法中的特征结构

15.4  合一的实现

15.5  带有合一约束的剖析

15.6  类型与继承

15.7  小结

15.8  文献和历史说明

第16章  语言和复杂性

16.1  Chomsky 层级

16.2  怎么判断一种语言不是正则的

16.3  自然语言是上下文无关的吗

16.4  计算复杂性和人的语言处理

16.5  小结

16.6  文献和历史说明

第四部分  语义和语用的计算机处理

第17章  意义的表示

17.1  意义表示的计算要求

17.2  模型论语义学

17.3  一阶逻辑

17.4  事件与状态的表示

17.5  描述逻辑

17.6  意义的具体化与情境表示方法

17.7  小结

17.8  文献和历史说明

第18章  计算语义学

18.1  句法驱动的语义分析

18.2  句法规则的语义扩充

18.3  量词辖域歧义及非确定性

18.4  基于合一的语义分析方法

18.5  语义与Earley分析器的集成

18.6  成语和组成性

18.7  小结

18.8  文献和历史说明

第19章  词汇语义学

19.1  词义

19.2  含义间的关系

19.3  WordNet：词汇关系信息库

19.4  事件参与者

19.5  基元分解

19.6  高级问题：隐喻

19.7  小结

19.8  文献和历史说明

第20章  计算词汇语义学

20.1  词义排歧：综述

20.2  有监督词义排歧

20.3  WSD评价方法、基准线和上限

20.4  WSD：字典方法和同义词库方法

20.5  最低限度的监督WSD：自举法

20.6  词语相似度：语义字典方法

20.7  词语相似度：分布方法

20.8  下位关系和其他词语关系

20.9  语义角色标注

20.10  高级主题：无监督语义排歧

20.11  小结

20.12  文献和历史说明

第21章  计算话语学

21.1  话语分割

21.2  文本连贯性

21.3  指代消解

21.4  指代现象

21.5  代词指代消解所使用的特征

21.6  指代消解的三种算法

21.7  共指消解

21.8  共指消解的评价

21.9  高级问题：基于推理的连贯判定

21.10  所指的心理语言学研究

21.11  小结

21.12  文献和历史说明

第五部分  应用

第22章  信息抽取

22.1  命名实体识别

22.2  关系识别和分类

22.3  时间和事件处理

22.4  模板填充

22.5  高级话题：生物医学信息的抽取

22.6  小结

22.7  文献和历史说明

第23章  问答和摘要

23.1  信息检索

23.2  事实性问答

23.3  摘要

23.4  单文档摘要

23.5  多文档摘要

23.6  主题摘要和问答

23.7  摘要的评价

23.8  小结

23.9  文献和历史说明

第24章  对话与会话智能代理

24.1  人类会话的属性

24.2  基本的对话系统

24.3  VoiceXML

24.4  对话系统的设计和评价

24.5  信息状态和对话行为

24.6  马尔可夫决策过程架构

24.7  高级问题：基于规划的对话行为

24.8  小结

24.9  文献和历史说明

第25章  机器翻译

25.1  为什么机器翻译如此困难

25.2  经典的机器翻译方法与Vauquois三角形

25.3  统计机器翻译

25.4  P(F|E)：基于短语的翻译模型

25.5  翻译中的对齐

25.6  对齐模型的训练

25.7  用于基于短语机器翻译的对称对齐

25.8  基于短语统计机器翻译的解码

25.9  机器翻译评价

25.10  高级问题：机器翻译的句法模型

25.11  高级问题：IBM模型3和繁衍度

25.12  高级问题：机器翻译的对数线性模型

25.13  小结

25.14  文献和历史说明

参考文献

冯志伟与德国学者Wolfgang Teubert在德国森林中散步论学

八十老翁，平生无悔

冯 志 伟

教育部语言文字应用研究所

    我的名字叫冯志伟，生于1939年4月15日，云南省昆明市人。今年我虚岁满80岁了，应《文化学刊》之约，我在这里把这80年的生活做一个总结，以看到自己的成绩和不足。

    我于1945年在昆明春城小学读小学，1951年以第一名的成绩考入昆明一中，1957年考入北京大学地球化学专业本科学习，1959年弃理学文转入北京大学中文系汉语专业本科学习，1964年考入北京大学中文系语言学专业读研究生，1967年毕业，由于文化大革命的影响，改行到昆明五中当物理教员，1978年恢复高考后，由于我的数学、物理基础都很好，于是我干脆弃文学理，考入中国科学技术大学研究生院信息科学系机器翻译专业学习，接着被选派到法国格勒诺布尔理科医科大学应用数学研究所（IMAG）自动翻译中心（CETA）师从法国著名数学家、国际计算语言学委员会主席沃古瓦（B.Vauquois）教授专门研究数理语言学和机器翻译问题。1981年回国，在中国科学技术信息研究所计算中心担任机器翻译研究组组长，由一个语言学家变成了一个软件工程师。1985年国家语言文字工作委员会成立，需要懂得计算机的语言学家，于是我被调入中国社会科学院语言文字应用研究所，担任计算语言学研究室主任，后来语言文字应用研究所改由国家教育部领导，我又成了教育部下属单位的工作人员，担任研究员和博士生导师。在此期间，我于1986～1988年在德国夫琅禾费研究院（FhG）新信息技术与通信系统研究所担任客座研究员，1990～1993年在德国特里尔大学担任客座教授，1996年在德国康斯坦茨高等技术学院国际术语学和应用语言学中心（CiTaL）担任技术顾问。我于1998年5月退休。

    退休之后我仍然继续到国外从事语言学和自然语言处理的教学和研究工作。1999年10月～2000年8月再次在德国特里尔大学担任客座教授。2000～2001年担任桑夏自然语言处理研究院高级研究员，2003年在英国伯明翰大学担任高级研究员，2001～2002年以及2003～2004年前后两次担任韩国科学技术院电子工程和计算机科学系访问教授，用英语讲授自然语言处理的博士课程。

除了上述工作之外，我在退休之后的大部分时间用于旅游，“小舟从此逝，江海度余生”，是我近20年退休生活的写照。这20年来，我的退休生活的大部分时间都消磨在国内外湖光山色的美景之中，看门前花开花落，观天空云卷云舒，尽管是虚度年华，但这是我一生中最美好的时光。

        当然，虚度年华并不是碌碌无为，作为学者，我有自己的社会责任，我要回报社会。

回顾80年的蹉跎岁月，起伏跌宕，艰辛并尝，可是我始终笑对人生的苦难，努力工作，做到了“平生无悔”。现将我的主要学术成果归纳如下：

    1.首次测定汉字熵值。汉字的“熵”（entropy）是汉字所含信息量大小的数学度量。近几十年来，国外学者已陆续测出一些拼音文字字母中的熵，而汉字数量太大，各个汉字的出现概率各不相同，因此，要计算包含在一个汉字中的熵是十分复杂的。在20世纪70年代初期，我提出了“汉字容量极限定律”，用严格的数学方法，证明了当统计样本中汉字的容量不大时，包含在一个汉字中的熵会随着汉字容量的增加而增加，当统计样本中的汉字容量达到12,366字时，包含在一个汉字中的熵就不再增加了，这意味着，在测定汉字的熵的时候，统计样本中汉字的容量是有极限的。这个极限值就是12,366字，超出这个极限值，测出的汉字的熵再也不会增加了。当时我在中学教书，没有条件使用计算机，我只好使用手工来计算，根据汉字容量极限定律，我在包含12,370个不同汉字的统计样本的范围内，初步估测出了在考虑语言符号出现概率差异的情况下，包含在一个汉字中的熵为9.65比特。由此得出结论：从汉语书面语总体来考虑，在全部汉语书面语中，包含在一个汉字中的熵是9.65比特。这是国内外首次测定的汉字熵值。20世纪80年代，国内外学者使用计算机，在大规模汉字文本的基础上测定的汉字熵值，与我使用手工估测的结果大致相同。1995年，我又进一步首次测定了在充分考虑汉字上下文的影响时包含在一个汉字中的熵，这个熵叫做“极限熵”。我测得，汉字的极限熵平均为4.0462比特。我的方法是通过英汉文本字符容量的对比来间接地推算极限熵，避免了复杂的测试和计算。我在研究中还发现，汉语翻译为英语时与英语翻译为汉语时，英汉文本字符容量之比是不一样的，汉译英时，英汉文本的字符容量之比为3.8，英译汉时，英汉文本的字符容量之比为2.7。熵的测定是数理语言学的一项基础研究，由于汉字字符量多，测定汉字的熵和极限熵都是非常困难的工作，我的研究得到了国外的好评。美国宾夕法尼亚大学梅维恒（V. H. Mair）教授曾著文《评冯志伟教授的两本书》（《现代汉字和计算机》《中文信息处理与汉语研究》），文中写道：“众所周知，词的概念对于有效地进行自然语言处理是十分重要的。可惜的是，汉字连书对于明确地划清词的界限是极为不利的，因而汉字给信息处理专家和计算机技术人员造成了巨大的障碍。在阅读这两本书的时候，我认识了现代标准汉语（MSM）中的一个新词——‘熵’。这个新词是用来翻译英文‘entropy’或‘information content’的（后者也可以译为‘信息量’）。冯志伟计算出：一个汉字的熵为9.65比特，而与其他语言相比，法语一个字母的熵为3.98比特，意大利语一个字母的熵为4.00比特，西班牙语一个字母的熵为4.01比特，英语一个字母的熵为4.03比特，德语一个字母的熵为4.12比特，俄语一个字母的熵为4.35比特，汉字的熵大得惊人。有些赞扬汉字的人宣称，汉字的熵这样大，似乎对于信息处理大有好处。然而，冯志伟却提出了与此完全不同而又令人信服的观点。”梅维恒教授又在文章中高兴地评论说：“如果一个人能够用科技术语和数学方程式来论述他的对于现代标准汉语的观点，那么，这样的论述当然应该是非常雄辩而有说服力的。不过，我却乐于通过直觉和观察的方法来研究，根据我的经验，我曾经断言，汉字的平均笔画数应该是十二画，二十年来对于汉字的这种低效率的性质和特性的直观感觉和细心观察，我的研究现在由冯志伟在他的书中已经证实，简化汉字标准集的平均笔画数与我在过去宣布的结论几乎完全相同，而如果考虑到被简化的繁体字，这个平均笔画数只是比十二画稍微高一些。这样的不谋而合真使我高兴万分。”由此可见，我做的这项极为重要的科学研究，不仅指明了中文信息处理的正确方向，而且对汉字的规范化也很有重要的指导意义。

    2.首次把依存语法和配价语法应用于机器翻译中。我在法国留学期间，了解到法国语言学家泰尼埃（L. Tesnière）的依存语法和语法“价”的概念，开始用这种语法来研究汉外机器翻译问题，首次把“价”（valence）的概念引入机器翻译研究中，我把动词和形容词的行动元分为主体者、对象者、受益者三个，把状态元分为时刻、时段、时间起点、时间终点、空间点、空间段、空间起点、空间终点、初态、末态、原因、结果、目的、工具、范围、条件、作用、内容、论题、比较、伴随、程度、判断、陈述、附加、修饰等27个，以此来建立多语言的自动句法分析系统，对于一些表示观念、感情的名词，也分别给出了它们的价。我还把依存语法和短语结构语法结合起来，在表示结构关系的多叉多标记树形图中，明确地指出中心语的位置，并用核心（GOV）、枢轴（PIVOT）等结点来表示中心词。这是我国学者最早利用依存语法和“价”的思想来进行自然语言计算机处理的尝试。

我还根据机器翻译的实践，提出了表示依存语法的依存树（dependence tree）应该满足如下五个条件：（1）单纯结点条件：依存树中，只有终极结点，没有非终极结点，依存树中的所有结点所代表的都是句子中实际出现的具体的单词；（2）单一父结点条件：在依存树中，除了根结点没有父结点之外，所有的结点都只有一个父结点；（3）独根结点条件：一个依存树只能有一个根结点，这个根结点，就是依存树中唯一没有父结点的结点，这个根结点支配着其他的所有的结点；（4）非交条件：依存树中的树枝不能彼此相交；（5）互斥条件：依存树中的结点之间，从上到下的支配关系和从左到右的前于关系之间是互相排斥的，如果两个结点之间存在着支配关系，它们之间就不能存在前于关系。我提出的这五个条件比1970年美国计算语言学家罗宾孙（J. Robinson）提出的依存语法的四条公理更加直观，更加便于在机器翻译中使用。

我还研究了短语结构树（phrase tree，简称P-树）和依存树（dependency tree，简称D-树）之间的等价关系，在计算机上进行P-树到D-树的转换。我在20世纪90年代末期带领一个精干的研究小组，研制出英日机器翻译系统E-to-J，采用短语结构语法进行英语自动分析，产生P-树，然后把P-树转换为等价D-树，然后再根据依存语法，从D-树生成日语，减少了系统的空间复杂度和时间复杂度，使整个系统达到了实用的水平。这个系统已经在1998年11月正式由日本NEC公司在日本市场上推出。

      3.研究生成语法的公理化方法。我对于美国语言学家乔姆斯基（N. Chomsky）的形式文法的数学原理有浓厚的兴趣，从公理化方法的角度来研究乔姆斯基的形式文法，我把乔姆斯基的形式文法同数学中的半图厄系统（semi-Thue system）相比较，指出了乔姆斯基的形式文法，不过是数学中的公理系统理论在语言分析中的应用而已，语言就是由文法这一公理系统从初始符号出发推导出的无限句子的集合；文法的规则是有限的，文法中的终极符号和非终极符号的数目也是有限的，可是，由于语言符号具有递归性，文法这一公理系统就能够根据有限的符号，通过有限的重写规则，递归地推导出无限的句子来。我的这项研究从数学的基础理论方面揭示了形式文法的实质。

    4.提出多叉多标记树模型，研制了世界上第一个把汉语自动地翻译成多种外语的多语言机器翻译系统。乔姆斯基根据形式语法的原理，提出了短语结构语法来作为自然语言形式描述的一种手段，这种语法在自然语言处理中得到了广泛的使用。国内外的许多机器翻译系统都采用乔姆斯基的短语结构语法作为系统设计的基本理论依据，根据乔姆斯基的短语结构语法，表示句子结构的树形图中的每一个结点只有一个相应的标记，结点与标记之间的这种关系是一种单值标记函数的关系。这种单值标记函数表示的语言特征是十分有限的，因而在机器翻译的语言分析和生成中，会产生大量的歧义结构，形成大量的不合语法的句子，它的分析能力有限，生成能力过强，这是短语结构语法的一个致命的缺点。我在法国研制开发机器翻译系统的实践中，就敏锐地认识到短语结构语法的这种致命缺点，经过在计算机上编写程序进行潜心钻研和反复试验，我提出了多叉多标记树模型（Multiple-branched and Multiple-labeled Tree Model，简称MMT模型），在这个模型中，我采用多值标记函数来代替短语结构语法的单值标记函数，使得树形图中的一个结点，不再仅仅对应于一个标记，而是对应于若干个标记，这样便大大地提高了树形图的标记能力，使得树形图的各个结点上，都能记录足够多的语法语义信息，把句子中所蕴含的丰富多彩的信息充分地表示出来。这种多值标记函数的理论，从根本上克服了乔姆斯基的短语结构语法在描述自然语言时的严重缺点，提高了其有限的分析能力，限制了其过强的生成能力。我当时提出的MMT模型是对乔姆斯基短语结构语法的一个带有实质意义的重要改进，提出后立即引起了国际语言学界的重视。在1982年于布拉格召开的国际计算语言学会议（COLING'82）上，在1983年于北京召开的国际中文信息处理会议（ICCIP'83）上，在1984年于香港召开的东南亚电脑会议（SEARCC'84）上，都讨论了MMT模型。就在我提出MMT模型的同时，国外一些计算语言学家也看到了短语结构语法的局限性，分别提出了各种手段来改进它。例如，1983年卡普兰（R. M. Kaplan）和布列斯南（J. Bresnan）提出的“词汇功能语法”、1983年马丁·凯依（Martin Kay）提出的“功能合一语法”、1985年盖兹达（G. Gazdar）等提出的“广义短语结构语法”、1985 年珀拉德（C. Pollard）提出的“中心语驱动的短语结构语法”等，都采用了“复杂特征”来描述自然语言，他们所说的所谓“复杂特征”实际上也就是我提出的“多值标记”，名异而实同。所以，我提出的MMT模型是世界计算语言学者对乔姆斯基的短语结构语法进行改进的一个重要方面和不可分割的组成部分，MMT模型是20世纪80年代较早提出的一个旨在改进短语结构语法的形式化模型，当时我国学者在这方面的研究在国际上是处于前沿地位的。1984年荷兰阿姆斯特丹北荷兰出版社出版的多卷专著《计算机科学基础研究》第9卷《自然语言处理的计算机模型》一书（由意大利米兰大学主编）中，曾详细介绍了我的MMT模型，并评论说：“冯氏关于独立分析－独立生成的主张，关于尽可能地从源语言分析中获取多方面信息的主张，是当前自然语言处理研究中的一个重要进展”。

我还结合汉语的特点需要，研究了采用MMT模型来进行汉语自动分析的各种问题。我指出，在汉语的自动分析中，采用“多值标记”的必要性更加明显。这是因为汉语的句子不能只用词类或词组类型等简单特征来描述，汉语句子各个成分的词类、词组类型、句法功能、语义关系、逻辑关系之间，存在着极为错综复杂的关系，如果只采用简单特征，就无法区分各种歧义现象，达不到汉语自动处理的目的。具体地说，这是由于：（1）汉语句子中的词组类型（或词类）与句法功能之间不存在简单的一一对应关系；（2）汉语句子中词组类型（或词类）和句法功能相同的成分，它们与句子中其他成分的语义关系还可能不同，句法功能和语义关系之间也不是简单地一一对应的；（3）汉语中单词所固有的语法特征和语义特征，对于判别词组结构的性质，往往有很大的参考价值，除了词组类型这样的简单特征之外，再加上单词固有的语法特征和语义特征，采用多值标记来描述，就可以判断词组结构的性质。

我还提出了用于多值标记的汉语“特征/值”系统，特征可分为静态特征和动态特征两大类，建立了汉语自动分析的双态系统（bi-state system）。其中，静态特征有：词类特征、单词的固有语义特征和它的值、词的固有语法特征和它的值；动态特征有：词组类型特征和它的值、句法功能特征、语义关系特征、逻辑关系特征。在自动句法语义分析中，静态特征是计算机进行运算的基础，计算机依赖于这些预先在词典中给出的静态特征，通过有穷步运算，逐渐计算出各种动态特征，从而逐步弄清楚汉语句子中各个语言成分之间的关系，达到句法语义分析的目的。

我使用MMT模型，在格勒诺布尔理科医科大学应用数学研究所的大型计算机上，完成了汉-法/英/日/俄/德多语言机器翻译试验，建立了FAJRA系统（FAJRA分别是法文的法语、英语、日语、俄语和德语的首字母简称）。

当时MMT模型采用的方法，是基于语言规则的理性主义方法。我学会了计算机编程技术，在计算机上编写了汉语分析规则5000条左右，法语、英语、日语、俄语和德语的转换规则和生成规则各3000条左右，一共20000多条规则。此外，我还编制了若干部机器可读的、代码化的机器翻译词典。这个机器翻译系统涉及到多种语言，问题极为复杂，在研究的时候，似乎是从零数到无限大，越是往前研究，问题就越来越多，就越觉得前面充满了险阻，困难重重，有看不到尽头的感觉。由于问题复杂，工作量极大，我每天工作时间都超过10小时，扎扎实实苦干了三年，于1981年11月在IBM 4341大型计算机上输出了法语、英语、日语、俄语和德语等五种语言的机器翻译译文。这是世界上第一个把汉语自动地翻译成多种外语的机器翻译系统。

在1982年回国之后，我又继续使用MMT模型，于1985年在北京市遥感技术研究所的大型计算机上，进行了德-汉机器翻译试验和法-汉机器翻译试验，建立了GCAT德-汉机器翻译系统和FCAT法-汉机器翻译系统。

5.首次在国内开设数理语言学课程。早在1965年，我就开始关注数学方法在语言学中的应用问题，在中国社会科学院出版的《语言学资料》杂志1965年第2期上，介绍了计量语言学（quantitative linguistics）中这种著名的福克斯公式。这是50多年前中国学者发表的最早的关于计量语言学研究的文章，开我国计量语言学研究的先河。当时我才26岁。可是不久就发生了文化大革命，我的计量语言学研究之梦就像希望的肥皂泡一样，很快就破灭了，我只好离开了北京大学，改行到边疆教中学。

1982年，我应北京大学的邀请，又重新回到北京大学，在中文系汉语专业开设了“语言学中的数学问题”（即“数理语言学”[mathematic linguistics]）的选修课（计量语言学是数理语言学的一个分支）。这是国内首次在高等学校全面地、系统地讲述数理语言学的课程，受到学生们的欢迎。北京大学校长、著名数学家丁石孙教授在他的专著《数学与教育》一书中，对我开设的这门课程作了如下的评价：“1982年，北京大学中文系开设了《语言学中的数学问题》，这是给汉语专业学生开的选修课程，许多同学对这门学科产生了很大的兴趣，经过一个学期的学习，同学们初步认识了现代数学的发展给语言学注入了生机，觉得获益匪浅，对语言学这门古老的学科分支的发展充满了信心，而且，这一举动冲击了相当多的人的旧概念，使闭塞的中国学术界认识到，即使在人文科学教育中，数学也在逐渐起作用。”在丁石孙校长的支持下，我于1991年在湖南教育出版社出版了《数学与语言》一书，系统地用数学方法来研究语言学问题。

6.出版了国内第一本《数理语言学》专著。我于1985年6月在上海知识出版社出版了《数理语言学》，这是国内第一本数理语言学专著。直到1997年国内才出版了第二本数理语言学的英文本专著，比我写的第一本专著晚12年。2012年，商务印书馆出版了《数理语言学》的增订本，全书分“离散数学与语言”“代数语言学”“统计语言学”“应用数理语言学”四部分，全面地介绍了数理语言学的原理和方法，对于我国数理语言学的发展，起了奠基性的作用。

    7.从事术语数据库的开发，提出了“术语形成的经济律”。术语是科学知识在自然语言中的结晶，计算机自然语言处理离不开术语研究。我一直关注术语研究，多年从事术语数据库的开发。在术语数据库研制中，我证明了，在一个术语系统中，术语系统的经济指数与术语平均长度的乘积恰恰等于单词的术语构成频度之值，并提出了“FEL公式”来描述这个定律。根据FEL公式可知，在一个术语系统中，提高术语系统经济指数的最好方法是在尽量不过大地改变术语平均长度的前提下，增加单词的术语构成频度。这样，在术语形成的过程中，将会产生大量的词组型术语，使得词组型术语的数量大大地超过单词型术语的数量，而成为术语系统中的大多数。FEL公式从数理语言学的角度，正确地解释了为什么术语系统中词组型术语的数目总是远远大于单词型术语的数目的数学机理，它反映了语言中的省力原则和经济原则，这种原则叫做“术语形成的经济律”。这是我国学者对于数理语言学中齐夫定律（Zipf's law）的新发展，也是我国学者对于现代术语学理论的贡献。

8..提出了“生词增幅递减律”。我通过仔细的观察研究后指出，在一个术语系统中，每个单词的绝对频度是不同的，经常使用的单词是高频词，不经常使用的单词是低频词，随着术语条目的增加，高频词的数目也相应地增加，而生词出现的可能性越来越小，这时，尽管术语的条数还继续增加，生词总数增加的速率却越来越慢，而高频词则反复地出现，生词的增幅有递减的趋势。这个“生词增幅递减律”不仅适用于术语系统，也适用于阅读书面文本的过程。人们在阅读一种用自己不熟悉的语言写的文本时，开始总有大量不认识的生词，随着阅读数量的增加，生词增加的幅度会逐渐减少，如果阅读者能够掌握好已经阅读过的生词，阅读将会变得越来越容易。在生词数Ｗ与文本容量Ｔ之间存在着如下的函数关系：

Ｗ＝Φ（Ｔ）

随着文本容量Ｔ的增大，生词数目Ｗ的增幅逐渐减少，反映这种函数关系的曲线也就越来越平滑，整个曲线在直角坐标系内呈现上凸的抛物线形状。这条函数曲线也同时反映了阅读书面语时生词增加的过程，它实际上就是人们阅读过程中生词变化规律的数学描述，可以称为“阅读曲线”。

9.提出了“潜在歧义论”（Potential Ambiguity Theory，简称PA论）。我在术语研究中还发现，在中文术语的歧义格式中，包含着歧义性的一面，也包含着非歧义性的一面，因而这样的歧义格式是潜在的，它只是具有歧义的可能性，而并非现实的歧义。潜在的歧义能否转化成现实的歧义，要通过潜在歧义结构的“实例化”（instantiation）过程来实现，“实例化”之后，有的歧义结构会变成真正的歧义结构，有的歧义结构则不然。因此我提出了“潜在歧义论（PA论）”。这一理论是对传统语言学中“类型-实例”（type-token）观念的冲击，深化了对于歧义格式本质的认识。后来，我又把PA论从术语领域推广到日常语言的领域，进行自然语言处理中的歧义消解策略的研究，对于现代汉语中的潜在歧义结构类型进行了深入而系统的研究。

10.提出了汉字结构的括号式表示法，用德文、英文、希腊文向国外介绍汉字的基础知识。我把一个个的汉字按层次分解为树形图结构，再用括号把汉字的结构表示出来，这种汉字结构的括号式表示法便于理解和记忆，在对外汉语教学中受到外国学生的欢迎，我根据这样的方法，用德文写成了《汉字的历史和现状》一书在特里尔科学出版社出版。德国特里尔大学韦荷雅（Dorothea Wippermann）博士1996年在《评冯志伟新著〈汉字的历史和现状〉（德文版）》一文中指出，冯志伟“在汉字研究中引入了现代的成分分析法。对于这种方法，直到现在为止，许多在专家圈子之外的普通人还很不熟悉，所知极少。这种分析法认为，汉字是由不同的图形成分组合而成的一个封闭的集合，其中的每一个较大的成分都可以进一步被拆分为较小的成分，一直被拆分到单独的笔画为止。汉字结构的这种多层次的多分叉的构造图形可以用树形图来表示，这样一来，便为揭示汉字总体结构的研究提供了一种系统性的理论和方法。这种在中文信息处理中行之有效的成分分析法，对于汉字的研究和学习，也提供了一种新的记忆手段。”我用德文写成这本《汉字的历史和现状》在国外受到欢迎，在希腊被雅典大学的克里斯丁娜（A. Christina）教授翻译成希腊文出版。2017年我又用英文写成了《汉字》一书在外语教学与研究出版社出版，同样受到了国内外汉语学习者的好评。这些书籍的出版，对于中华传统文化走出国门，扩大中华传统文化在世界上的影响，起了很好的推动作用。

11.研究现代语言学流派，写出了中国第一本现代语言学流派的专著。我早年师从北京大学岑麒祥教授学习理论语言学，为了阅读外文原著，我学会了英语、法语、德语、俄语、日语等外语，曾经认真地阅读过西方语言学的主要著作的原文本，因此，我在1984年写成了《现代语言学流派》一书，着重介绍了索绪尔的语言学理论、布拉格学派、哥本哈根学派、美国描写语言学、法国功能语言学、英国伦敦学派、转换生成语法、格语法、蒙塔鸠语法、心理语言学、社会语言学、数理语言学等现代语言学中的主要流派和新兴学科。此书于1998年由商务印书馆出修订本，增加了叶斯柏森的语言理论、法兰西学派、配价语法等内容，2013年由商务印书馆出增订本，增加了莫斯科语义学派、语料库语言学、语言类型学、认知语言学、计算语言学等内容。此书对于现代语言学知识的普及和传播起了很好的作用，被多所大学列为语言学博士生入学考试的必读书。

12.建立汉语文本自动切分的形式词理论。汉语书面文本的自动切分研究中，切分单位的确定一直是悬而未决的难点。我系统地研究这个难题，建立了汉语文本自动切分的形式词理论，并提出了操作性很强的鉴别方法。形式词理论深化了现代汉语书面文本的自动切分基础理论的研究。

13.出版了国内第一本《现代术语学引论》专著。我于1997年在语文出版社出版了《现代术语学引论》，这是国内第一本术语学的专著。2011年，商务印书馆出版了《现代术语学引论》的增订本。此书共16章，分别讲述术语学的历史和现状、术语、概念系统和知识本体、定义、术语编纂、术语标准化、术语命名原则、术语数据的存储与交换、中国的术语工作、中文单词型术语、术语形成经济律、潜在歧义论、中文名词词组术语的结构、中文动词词组术语和形容词词组术语的结构、中文名动同形词词组术语的结构、计算术语学等问题。此书把传统术语学中基于概念的术语观推进到了基于知识本体的术语观，把传统术语学中规范性的术语观推进到了描写性的术语观，把传统术语学中共时性的静态术语观推进到了历时性的动态术语观，为我国的现代术语学构建了一个完整的理论框架。

14.建立了汉语的本体知识体系ONTOL-MT。我在研究日汉机器翻译时，根据亚里士多德的范畴分类，建立了一个体现了人文精神的本体知识体系ONTOL-MT。在ONTOL-MT知识本体系统中的概念，实际上也就是单词本身所固有的语义特征，它们是独立于单词的上下文而存在的，因此，可以用这些概念来表示机器翻译词典中单词的固有语义特征。在日汉机器翻译研制中，我利用单词固有的这些语义特征在机器翻译系统中进行日语分析中同形词的判别，效果良好。鲁东大学亢世勇教授主编《新编同义词词林》，请我担任顾问，他们根据我提出的本体知识体系ONTOL-MT，把《新编同义词词林》中的单词分为15个大类、203个中类、1477个小类，对于原来的《同义词词林》的分类进行细化，《新编同义词词林》于2015年在上海辞书出版社出版。

15.出版了大部头专著《自然语言计算机形式分析的理论和方法》。我于2010年在中国科学技术大学出版社出版了《自然语言处理的形式模型》，收入中国科学技术大学校友文库，受到读者的欢迎。后来我在此书的基础上进一步重写，根据学科的最新发展增加了大量的新内容，完成了篇幅为110万字的《自然语言计算机形式分析的理论和方法》一书，于2017年在中国科学技术大学出版社出版，收入当代科学技术基础理论和前沿问题研究丛书，属于“十三五”国家重点图书出版规划项目。全书共18章，对于自然语言处理中的各种理论和方法进行了系统的总结和梳理。首先讨论了自然语言处理的学科定位，接着介绍了语言计算的一些先驱研究，然后以主要的篇幅讨论自然语言计算机形式分析的各种理论和方法，同时还讨论了自然语言处理系统的评测问题，最后从哲学的角度讨论了自然语言处理中的理性主义和经验主义，探索理性主义方法和经验主义方法结合的途径。本书出版后好评如潮，是中国自然语言处理的集大成之作。

16.出版了《自然语言处理简明教程》，推动了国内的计算语言学跨学科教学。我于2012年在上海外语教育出版社出版了《自然语言处理简明教程》，收入现代语言学丛书。此书共18章，分别讲述了自然语言处理与理论语言学、词汇自动处理、形态自动处理、句法自动处理、结构歧义、良构子串表与线图、复杂特征与合一、语义自动处理、马尔可夫链与隐马尔可夫模型、语料库语言学、机器翻译、信息自动检索、信息抽取和自动文摘、文本数据挖掘、自然语言理解、自动问答与人机接口、术语数据库与计算术语学、计算机辅助语言教学和语言测试、语音合成、语音识别和汉字识别等自然语言处理的基础知识和技术。此书成为高等学校的自然语言处理课程教材，促进了语言学和计算机科学的自然语言处理教学。

17.翻译出版了《自然语言处理综论》《统计语言学习》等国外计算语言学名著。我还关注国外计算语言学的发展情况，把国外的计算语言学名著翻译成中文，分别在电子工业出版社和世界图书出版公司出版。《自然语言处理总论》和《统计语言学习》都是国际上公认的计算语言学优秀教材，翻译出版后受到计算语言学师生的欢迎。我还为《自然语言交流的计算机模型》（译自英文）、《普通术语学和术语词典编纂学导论》（译自德文）、《术语学、知识论和知识技术》（译自德文）等国外名著的译文对照原文做审校，提高了这些著作的译文质量。

        18.为国外语言学名著写导读。我先后为国外语言学名著《牛津计算语言学手册》《应用语言学中的语料库》《译者的电子工具》《人工智能在第二语言教学中的应用——提高对于偏误的意识》《系统与语料》《语言学中的数学方法》《自然语言生成系统的建造》等写导读。在写导读之前，我要精读原文，找出全书各部分的内在联系，目的在于引导青年语言学者熟悉国外语言学的最近动态，促进我国语言学研究的国际化。

19.为青年作者的专著写序言。为了鼓励青年学者从事创新性的语言学研究，我先后为《汉语计算语言学——汉语形式语法和形式分析》《现代韩国语动词语义组合关系研究》《现代语言学名著导读》《统计自然语言处理》《论汉英平行语料的平行处理》《十三经字频研究》《现代汉语动宾搭配的语义分析和计算》《语料库语言学研究丛书》《基于认知的汉语计算语言学研究》《俄罗斯计算语言学与机器翻译》《基于双语语料库的汉英视点体对比研究》《面向信息检索的汉语同义词自动识别》《句子语义学》《俄语潜在歧义研究》《依存语法的理论与实践》《翻译和本地化工程》《面向大学英语教学的通用计算机作文评分和反馈方法研究》《基于动态流通语料库的新词语监测研究》《英译汉网上自动评测》《语料库语言学与计算语言学丛书》《汉语拼音词汇（专有名词部分）》《面向大数据的高效能垃圾文本分类》《逻辑缀词理论与汉语特殊句式句法结构》《跨学科视域下的翻译研究》《词语认知属性的知识库构建和应用》《术语管理概论》《基于修辞结构树库的篇章衔接标记用法研究》等专著写序言。写每一篇序言之前，我都要仔细阅读全书，深入理解之后才动笔。

20.推动汉语拼音走向世界。为了适应向信息时代的需要，我受国家教育部的委托，参加了国际标准ISO 7098《信息与文献工作中文罗马字母拼写法》的修订，并被国际标准化组织任命为国际标准ISO 7098的国际修订组组长，先后于2011年5月、2012年5月、2013年6月、2014年5月分别到悉尼、柏林、巴黎、华盛顿参加了ISO/TC 46的国际会议。在修订过程中，我用自己熟悉的英语、德语、法语、日语等外国语，积极地与各国代表和应用部门分别进行沟通与协调，克服多轮投票表决过程中遇到的重重困难和问题，认真应对，智慧处理，圆满完成了这项体现国家语言主权和关系国家利益的重要使命。由我国主导的ISO 7098的修订提案顺利通过了工作组草案、委员会草案、国际标准草案等各阶段投票以及委员会内部最终投票，于2015年用英文成功出版发布。

21.培养了一批计算语言学和数理语言学的研究生。我在中国科学技术信息研究所培养了多名机器翻译专业的理科硕士生，在教育部语言文字应用研究所培养了多名计算语言学的文科硕士研究生，在中国传媒大学培养了多名计算语言学的跨学科博士研究生。这些研究生中的不少人后来成为我国这一领域的带头人，为此我感到无比的欣慰。作为一个研究生导师，我们的责任，就是把我们对于科学和文化的热爱，传授给青年学子，让他们与我们老一代人一起来分享人类知识宝库的知识财富，为这个知识宝库添砖建瓦，做出我们的贡献，并以此来体现我们人生的价值，从中得到最大的愉快。因此，我也为我国的研究生教育工作做出了微薄的贡献。

我现在是教育部（国家语言文字工作委员会）语言文字应用研究所的研究员、学术委员会委员和博士生导师、中国人工智能学会理事、中国语文现代化学会顾问、中国应用语言学会常务理事、北京市语言学会理事、中国术语工作网副秘书长、全国计算机辅助术语工作技术委员会常务副主任、中国外语教学研究中心学术委员会委员、全国术语标准化技术委员会委员、国家自然科学基金委员会信息科学部评审委员、国家社会科学基金语言学科评审委员、北京市自然科学基金评审委员，又是《中文信息学报》顾问，《中国语文》《语言文字应用》《语言科学》等学术刊物的编委，《数学辞海》总编辑委员会委员，《中国大百科全书》的《语言文字卷》编辑委员会成员。我还是北京大学、浙江大学、北京外国语大学、杭州师范大学、华中科技大学、西安交通大学、中国传媒大学的兼职教授，清华大学、大连海事大学的讲座教授。

        在国际上，我是跨欧洲语言资源基础建设工程学会（Trans-European Language Resources Infrastructure，简称TELRI）的顾问委员会委员，第一、二、三届语言资源与评测会议（Language Resources and Evaluation Committee，简称LREC）的国际顾问委员会委员，《语料库语言学国际杂志》（International Journal of Corpus Linguistics，简称IJCL）的编委，《中文与计算国际杂志》（International Journal of Chinese and Computing，简称IJCC）的编委，英国Continuum出版公司系列丛书《语料库与话语研究》（Research in Corpus and Discourse）的编委。

        我是一个多语者，能用多种语言写作。我是在1998年退休的，仅就中文的写作而言，退休前我写了141篇中文论文，退休后写了248篇中文论文；退休前我写了16本中外文专著，退休后，我写了22本中外文专著。显而易见，在1998年退休之后，我实际上是退而不休，反而成为一个在学术上高产的学者。这是什么原因呢？

        我深入地思考过这个问题，我认为，其原因在于我在退休之后摆脱了名和利的干扰。名和利就像一对可恨的影子，时时刻刻跟着我们，无法摆脱。退休之前，评职称、评奖、评基金、评名次、评津贴等与名和利密切相关的杂事总是缠绕着我，我总是受到名和利这一对影子的干扰，做什么事情都摆脱不了名和利，思想受到束缚，写不出很多东西来。退休之后，评职称、评奖、评基金、评名次、评津贴都与我没有关系了，我就像走到了一棵枝叶茂密大树下面，大树的树荫把名和利这一对影子完全遮住了、吞没了，我再也看不到名和利这一对可恨的影子了。由于摆脱了名和利的干扰，我的思想也得到解放，思路更加开阔了，我终于获得了独立的人格、自由的思想，因此，我的成果比退休之前多得多。不知诸位以为然否？

八十老翁，无善可陈，平生无悔，褒贬由之。谨以此文作为我八十虚岁的纪念，恭请大家指正。

清华大学——张钹院士：深度学习的优势与短板 中国AI机遇和挑战

张钹 图灵人工智能 昨天

张钹

清华大学计算机系教授，中国科学院院士。1958 年毕业于清华大学自动控制系，2011 年汉堡大学授予自然科学荣誉博士。曾任清华大学学位委员会副主任，参与创建智能技术与系统国家重点实验室。现任微软亚洲研究院技术顾问。参与人工智能、人工神经网络、机器学习等理论研究，将这些理论应用于模式识别、知识工程与机器人等技术研究。曾获国家教委高等学校出版社颁发的优秀学术专著特等奖、 ICL 欧洲人工智能奖等。

在首届世界智能大会上，中国科学院院士张钹发表了题为《基于大数据的人工智能》演讲，分享了中美人工智能差异、深度学习成功的三大法宝、隐患与短板以及中国如何实现人工智能基础研究赶超欧美等话题的见解。

人工智能基础研究中美相差甚远

如今，人们经常会向研究人工智能的人提出问题：和国际先进水平相比，中国的人工智能处于什么位置？不少人给出的答案：和世界人工智能差距不是很大，这几年，中国在学术研究方面也取得了很多进展，在重要的国际会议、重要的期刊杂志上，中国的（论文）文章也占了相当的比重。中国有数量庞大的网民，在网络数据上占有相当优势的地位，而且中国市场有如此大的需求，所以最后的结论是：中国赶上和超过世界人工智能的最高水平，必须也是可以做到的。

这个答案对不对？今天的报告就是要回答这个问题，我的回答是“不完全对”。首先，中国的人工智能，研究、开发、产业水平，跟世界相差不大，这句话不完全（对），在基础、算法的研究上，中国和世界（顶尖）水平还相差甚远，这个是不争的事实。人工智能在1956年（诞生）成立的时候，是美国人建立的学科，这61年中，一直是美国在引领人工智能领域的发展。这个当然是成为过去了，问题是，现在还是美国和加拿大等北美的国家在引领这个领域的发展，他们在不断的创新，如果我们不重视（基础/算法理论研究），不在这些领域赶上他们，会非常制约中国的创新能力，特别是原始创新的能力。如果这点不重视，不抓紧，要赶上或超过世界的先进水平是有困难的。

深度学习拓展了AI的技术边界

我的报告题目是《基于大数据的人工智能》，主要是谈人工智能和大数据，我用它作为例子分析一下，中国在人工智能领域如何赶上和超过世界的先进水平。

首先认识一下基于大数据的深度学习。深度学习的提出，在人工智能领域中是一个重大突破。以往，人工智能只能用来解决人们对它非常了解，而且能够清楚的将它表达出来的问题，例如医疗诊断，人们大体上能够说清楚一个症状是由什么疾病引起的；例如下象棋，每下一步都能够说明它的理由，等等。但这些（问题领域）非常有限，深度学习拓展了人工智能所能解决问题的边界。

其次，深度学习具有一定的通用性。比如，人们（用深度学习）做图像识别，不一定要具备非常丰富、专业的图像知识，外行也能做。即使你不是这个领域的专家，也能把深度学习应用到这个领域。所以，深度学习是一种大众化的工具，它把解决问题的领域大大延展了。而且，这个领域即便没有很深度的了解，但是只要拥有充分的数据就能够做（研究）。

正因为如此，对大众而言，这些奇迹引发人们认识到了深度学习的威力。第一，就是在图像识别领域，在某一个图像库里，机器识别准确度略微超过人类，或者机器的误识率低于人类，（展示）这是微软做的工作；百度做的工作是在语音识别（展示），识别错误率略低于人类，在两个领域的识别上机器都超过了人类。

其中，震动最大的还是AlphaGo，为什么会引发大家的震动。机器超过人，在数字计算方面早就已经实现，人们一点不感觉惊讶，因为计算机的本行就是计算，所以在数字计算上超过人类，大家并不觉得奇怪。

现在，在语音、图像识别、下围棋方面，以往都被认为是人类最擅长的，居然也被机器超越了，所以人们觉得惊讶、震动。

深度学习成功的三大法宝

现在要分析两个问题：一个问题是这些奇迹会不会在今后不断的发生，大家都希望把深度学习的方法用到其他领域可能会产生新的奇迹，这些奇迹会不会发生，在什么样的情况下会发生；第二，如何推动深度学习继续向前发展。

首先，要分析一下，这些奇迹来自何处？为什么机器下围棋能超过人类，为什么在图像识别的某些方面会超过人类，成功的因素是什么？我认为有三大法宝：头一个是数据，第二个是计算资源，第三个是算法。这就是深度学习成功的三大法宝。大家对于前面两个方面比较注意、有体会，很多人还没有体会到算法的重要性。我这里继续用AlphaGo作为例子，具体谈谈它怎么来使用这三个法宝。

AlphaGo战胜人类棋手，跟象棋（人机大战）完全不一样。象棋程序是怎么做的呢，就是把象棋大师的下棋经验编成程序放在机器里，所以做象棋程序的人相当一部分是象棋大师，而且请了好多的象棋大师帮忙，深蓝打败了卡斯帕罗夫，其实不是机器打败的卡斯帕罗夫，而是大师的群体打败了他，也就是说人们利用机器把一群大师群体的智慧和经验总结起来，才打败了个别的大师。但是围棋不同，围棋（程序）里，懂围棋的很少，最高的是围棋业余五段，做出来的东西居然能打败世界冠军，靠的是什么？靠的就是刚才说的三大法宝。

机器用了两个多星期的时间，学了7千万局棋局，这7千万局棋局就是历史以来大师们下过的所有棋局。（机器）自己又跟自己下，跟李世石下之前也下了千万局的棋局。也就是说比所有的棋手多下了几千万局的棋，最后的结果是4比1战胜（李世石）。最好的棋手一生中所下的棋局是百万级，而AlphaGo下过的棋局是几十亿级的，这两项数据非常不对称，（人类）绝对是输的。这里可以看到，一个是数据的力量，第二个是计算资源的力量，大家没有看到背后算法的力量。但AlphaGo能够在两三周里学到几千万个棋局，靠的是什么，其实是靠学习算法，它自己能自己下棋，靠的是什么，靠的是强化学习算法，没有这些，它是做不到的。

满足四个条件机器才能超过人类

是不是所有问题，只要有数据，就能够做到这么好呢？不是！这要受四个条件限制：头一个条件当然是需要有大量的数据，第二个是完全信息，第三个是确定性，第四个是单领域和单任务。只有这四个限定条件达成后才有可能做到刚才说的，达到或者超过人类的水平。有很多问题（同时）符合这些条件，比如说医疗数据，可以做大数据处理，像某些疾病的医疗诊断，医疗图像的识别，医学图像识别等等，只要（问题领域）符合这四个条件，都可以做，而且经过努力，依靠那三大法宝是可以达到或者超过人类的水平。但是，大量的工作并不符合以上四个条件，不符合中间一条两条或者四条都不符合，如果一旦不符合这四个条件中的任何一个，现在的人工智能技术就有困难。

所以，现在的问题是下一步怎么办。单业务的问题，单领域的问题，下围棋的程序只能下围棋，不能下象棋。但是人类很多棋手象棋和围棋都下的很好，语音识别系统只能识别语音，不能识别文字，这些多任务问题怎么解决？不久前，Google发表了一篇文章，文章的题目也很震动人，一个模型可以学所有的任务，当然这里面有夸大说法（的成分）。

但是，这也就意味着在一个网络里，一个模型里可以学多项任务，它一共学了八项，这八项任务中有五项是属于机器翻译的，有英文翻译成法文，英文翻译成德文，法文翻译成德文等等，有图像识别，图像解释等等，一共八项任务在一个网络下学习。如果这个问题解决了，就能让计算机解决更复杂的问题，因为这不仅涉及到一个领域，还涉及到另外的领域。当然这是个初步工作，但是它有个非常好的苗头

对此，以往大家是困惑的，语音也在里面学，文字也在里面学，图像也在里面学，会不会互相干扰呢，过去我们怕装不同东西的时候它会乱了，会互相干扰，但Google得出来的结论，不仅不会互相干扰，在一定程度上还略微有帮助。这个帮助领域可能很广，语音的东西帮助机器翻译，机器翻译会帮助图像，这是个非常重大的成果。这就说明人大脑里可以做很多事情，它们互不干扰而且能够互补。（北美）还在引领这些发展，如果中国只低头用深度学习去解决（应用）问题，这个确实需要，但是如果不去研究一个目的背后需要解决的问题，中国要达到引领是不可能的。

目前看，相当一部分问题不符合刚才讲的四个条件。简单举一个例子就是无人驾驶车。无人驾驶车到现在为止，在特定的条件下可以用它，如果在交通非常繁忙的地方，美国、德国都规定这个时候司机不能下车，无人车上都必须得有司机。为什么会有这个规定呢？这不是坐无人车的人的责任，这是人工智能的问题。

因为这是在一个开放的环境下，大数据解决不了它，大家不要认为大数据可以解决一切。同样，自然语言理解，大数据也不能解决，它是一个开放的领域，因为人类说话的时候各个领域的话都可以说。简单解释下，为什么在复杂的交通环境里司机不能下车，原因很简单，大家看一下这个路况（展示复杂路况图），计算机能搞明白吗，中国式的过马路计算机能搞明白吗，美国式的过马路计算机就能用吗？也不能用，因为突发的事件，新的场景，新的路况是层出不穷的，你不可能把它所有情况都算到。

但是人为什么可以呢，机器为什么不可以呢？理由非常简单，就是人工智能现在做不到举一反三，人工智能现在学习的是举一百反一。它要训练几千万上亿的样本，你的测试新的样本只有几万，现在多的有几十万，它是学过才能够识别，没学过的识别不了，也就是所谓的举一反三能力，用专业话讲就是推广能力，这是怪人工智能，不怪坐车的人。

所以，这里面有大量的研究工作要做，美国人也在引领这些研究，我们如果不去关心，那么问题就会很大。我们要解决小样本甚至零样本学习的问题，小样本学习就是用很少的样本学习和训练，然后就可以推广到应用。比如小孩学习一个马或者牛的概念，只要看一下马或牛，甚至看一下马的图片就能认识真正的马，计算机不行，得把所有情况所有背景下的马都得让它看，要看成千上万个它才能识别。

第二，样本少了怎么办？现在有自动产生样本，这点也是美国人提出的方案。两个对抗的深度网络就可以产生各种各样的样本。包括，现在可以逐步地（自动）产生非常复杂的环境和路况，这就可以解决样本不足的问题。因为有大量的问题根本没法取样本。

深度学习并非万能

回头看，深度学习也不是非常完美的。很多人以为用深度学习去做产业或者应用是不会有问题的，但是这里要强调，深度学习有大量的隐患，这些隐患在很多应用场合下是绝对不允许的。首先，它需要大量的样本，有些问题很难获取很多样本，比如特殊疾病，罕见疾病，根本没有那么多样本。当然推广能力差已经说过了。给它什么（数据训练），它就只能学到这个，最重要的是，不可理解性，现在看到深度学习建立的系统，实际上跟人的思路很不一样。

因此，这句话说它（机器）的识别能力超过了人，这只是在非常特定的环境下这么说，其实很多方面它不如人。比如它识别率比人高，只是说它区别马和牛能力比人高，就是在一定的数据库下它识别能力比人高，但是它根本上不认识马和牛，所以这个不理解性问题很大。将来如果做一个人机系统，决策系统的话，机器做出来的决策人都不知道它怎么做出来的，那怎么用呢？

我们看一下为什么机器学习的效率这么低，还要使用那么多样本，比如用这张图告诉（机器）说这里有一只猫，这个猫在这里面信息流占了多少比重呢？我们有计算过是1.1%，也就是说提供的这个样本只有1%左右有用，99%没有用，因为提供这个照片告诉它这里是一只猫，计算机根本不知道猫在哪儿，所以这就迫使人们必须用大量的样本，告诉它这是猫，在草地的猫，在另外的背景里猫会变成这样，要用各式各样的样本在不同背景下的猫去训练它，它才能认识，只有跟它相近的背景、相近的角度拍下的猫它才认识，如果背景变了，猫拍摄的角度变了它也不认识了，所以这是它的一个根本性的问题，它不理解，但人是看了这个猫就理解这个猫。

第二，鲁棒性差，左边这个图这个猫是熊猫，中间这个图我们加了一点线可它还是熊猫啊，可是计算机把它判断成长臂猿了，这就叫鲁棒性，很容易错，因为它本质上不认识猫。虽然做出来的表面上看起来性能跟人一样，实质上跟人是非常不一样的，所以我们说的能超过人都是在特定意义上说的。

机器把这个环境的猫都学了，我们来了一个新样本也是猫，环境跟它完全不一样，它不认识了，这就叫推广能力，它无法举一反三，至于刚开始说的无人车问题，训练的时候可以这样过马路，换成另外一种形式过马路，你没教它它就不知道怎么弄了。比如说，对人来讲马上能区分出来，一个男的一个女的肯定不是一个人，但是机器里绝对把他看成一个人，因为从各种特征来看很多是一样的，因为它不认识什么是男什么是女，所以，机器做的事和人是不一样的。

所以，现在实际要解决的问题就是人和机器能够合作的问题。大家都在强调，今后的方向肯定是人和机器合作，要各发挥所长，这里面有一个问题就是机器如何理解人，人如何理解机器。过去的重点是放在机器如何理解人上面，比如说人类的语音命令，用自然语言发的命令它能够听懂，这是所谓自然语言对话。

其实忽视了一个非常重要的另外一个点就是人如何理解机器，这是由深度学习引起的，因为深度学习出来以后，它做出来的事情人非常不理解，这就给人机共同合作带来了巨大的困难，所以现在很多的重点除了做自然语言理解，理解用户的意图等等这些工作外，还要集中在人如何理解机器的方面。

为什么会发生这种情况，为什么机器的思路跟人不一样，因为机器处理的方式要用专业的语言。机器怎么识别猫呢？它只是从一些局部的特征，局部的纹理来识别它，它根本不是从猫的整体，因为机器要取得整体的特性是非常困难的，它只取得局部的特性，所以它都是在利用局部特性，在一个特征空间里去认识猫，跟人认识猫的角度完全不一样，人认识猫是从所谓语意空间里，是通过它的各种各样的属性来识别它，比如猫有四条腿，猫有尾巴，猫有长胡子等等，机器不是这么认识它的。

总结一下，人工智能做了两件事，一件是属于文本处理。早期的，以知识为基础，在一个称为语意的符号空间。也就是说文本在机器里用符号来表示，而且这个文本就是用原来自然语言表示。但是做起来有两个难点，一个难点就是要从文本符号、符号序列中挖掘出它的知识很困难，而且符号的处理非常低效能。所以早期的人工智能没有得到很大的发展。

往后进入深度学习时代，深度学习时代依靠的是数据，它是在向量空间里来处理的，因为向量对计算机来讲非常好处理。深度学习为什么那么有效，重要的原因是用想象来处理的。缺点是做出来的东西是不可理解的，跟人的做法完全不同。将来怎么利用它呢，所以无法利用。现在大量的研究工作是集中在寻找中间量，称之为语意的想象空间，右边取一个词“语意”，左边取一个词“向量”，所以任务就变成了两个，如何把文本符号的东西变成向量。至于如何将数据空间把它提升到语意中来，也是不久前Google发表的文章提出了一个方向。另外，如何从数据中间提取知识，人们常说的数据挖掘。这些领域进展都非常快，一旦这些问题突破了，人工智能不论是技术，还是产业都会得到进一步的飞速发展。

目前，这些研究不仅只是大学或者科研机构的事情了，企业也都在纷纷参与。我有个团队也是围绕上面的问题，重点是如何突破将来人工智能要解决的基础和关键问题，而不仅只是低头跟随性的应用深度学习，只有从这点上着手，我们才有可能实现（在人工智能领域）追赶、超过或引领的目标。

冯志伟2017年总结

                    冯志伟

已到岁末，是到总结一年生活的时候了。

2017年3月，我和老伴回到阔别多年的故乡云南，在罗平看到了一望无际的油菜花地，在腾冲游览了火山，泡了温泉，在昆明观赏了圆通山的樱花，重游了大观楼，又一次吟诵了孙髯翁的长联。

4月我们到杭州师范大学讲课，接着到绍兴的浙江越秀外国语学院讲课，访问了沈园和鲁镇，5月到锦州的渤海大学讲课，6月到大连海事大学讲课。

2017年8月到11月，我和老伴到德国海德堡探亲，看望女儿、女婿、外孙女和外孙，其间我们到德国的纽伦堡、罗腾堡、黑森林访问，再次在奥地利湖区休息，游览了月亮湖、阿特湖、沃尔夫冈湖，还到克罗地亚旅行，游览了风景秀丽的十六湖，在亚得里亚海边的度假村SOLARIS欣赏大海的风光。

在德国期间还到特里尔看望老朋友乔伟教授、Koehler教授、Kuehlwein教授，到达姆斯塔德看望了好友Teubert夫妇。

11月回国后，参加了在南京大学召开的国际术语与翻译研讨会，并在会议上用英语作了主题发言（key-note-speech），会上见到了老朋友Galinsky，他的夫人是哥伦比亚人，说的英语带强烈的西班牙语腔，我几乎听不懂。12月我到大连海事大学外国语学院讲学。

“羁鸟念旧林，池鱼思故渊，久在樊笼里，复得返自然”，“小舟从此逝，江海度余生”，这是我退休前的梦想，今天这个梦想成为了现实。这我们这些凡人的梦想，是“冯志伟之梦”。

这一年来具体的成果如下：

一、发表论文15篇，其中英文论文2篇被SSCI收录，中文１篇被CSSCI收录，中文２篇载于《光明日报》。

１.   国际标准《中文罗马字母拼写法（2015）》的内容梗概，香港《语文建设通讯》

，2017年1月，第113期，p1-16。

         ２.   国际标准《中文罗马字母拼写法（2015）》的内容梗概：后记，香港《语文建设通讯》，2017年1月，第113期，p17-19。

         3．“世界也需要汉语拼音”，《光明日报》，2017年1月15日，光明视野，05版。

         ４. 梅耶与法兰西学派（与周建合作），《现代语文》，2017年，第3期，p4-8。

         ５. 网络时代的自然语言处理（与余卫华合作），《光明日报》，2017年4月9日。

         ６. 用数学逻辑之美揭示语言结构之妙，《光明日报》，2017年7月9日，《中国社会科学网》，2017年7月9日19:23转载。

         ７. 房德里耶斯与法兰西学派（与周建合作），《现代语文》，2017年，第15期，p4-7.

         ８.  78岁一年总结，《现代语文》，2017年，第15期，p161。

         ９.  语料库系统的评测，《语料库语言学研究》， 2017年，创刊号。

         10. 《计量语言学导论》评介，《外语电化教学》，2017年，第176期，p95-96。CSSCI收录。

         11. 《公共服务领域英文译写规范》与城市路名整顿，《语言规划学研究》，2017年，第1期。

         12. 语音的形式描述，《实验语言学》，2017年，第6卷，第2号，p1-8。

         13. 马尔丁内与法国功能语言学派，《现代语文》，2017年，第24期，p4-6.

　　14.  A synergetic Approach to the relationship between the length and frenquency among English Multiwword Formulaic Sequences, Co-authers: Xueting Dai, Yunhua Qu, Journal of Quantitative Linguistics, 2017, SSCI 收录。

         15. American English Perfect Construction across Registers, Co-authers: Chenyao Bao, Yunhua Qu, Journal of Quantitative Linguistics, 2017, SSCI 收录

二、出版专著３部：

1.      以希腊文出版专著1部：《Τα κινεζικα  συμβολα  γραφη： Μια  αναλυση  στο  χρονο》（汉字的历史与现状，希腊文版），ΠΑΠΑΠΗΣΗ出版，2017年，ΑΘΗΝΑ(雅典)。

2.      以中文出版专著1部：《自然语言计算机形式分析的理论和方法》，中国科学技术大学出版社，2017年。此书110多万字，得到2016年国家出版基金的资助，是十三五国家重点图书。

3.      以英文出版专著1部：Chinese Character《汉字》（英文版），外语教学与研究出版社，2017年。

名和利就像影子，时时跟着我们，无法摆脱，我在退休之后，我就像走到了一颗大树下面，大树的树荫把名利的影子遮住了，吞没了，我们再也看不到名利这个可恨的影子了，由于摆脱了名利的干扰，我的思想也得到了解放，思路更加开阔了，因此，我的成果比退休之前多得多。

明年是2018年，我满虚岁80岁了，将步入人生的另一段旅程。

征稿 | 大数据时代的语言研究研讨会

2017-12-26 qler 计量语言学

大数据正在改变我们的生活以及理解世界的方式。大数据时代为语言研究带来了哪些机遇与挑战？数据密集型的研究范式又能为语言学带来哪些新的思路？大数据背后涌现的语言规律能够揭示人类的普遍认知规律吗？数字人文，可以联通数据与人类认知、社会、自然交互的规律吗？ 

六十年前，冯志伟先生就开始进入与这些问题密切相关的研究领域。2018年，我们即将迎来冯先生的八十华诞。为此，我们拟于2018年4月在杭州召开学术研讨会，向冯先生表达我们由衷的敬意。（可点击文末“阅读原文”，浏览《走在文理结合的道路上：记自然语言处理专家冯志伟先生》）

欢迎广大语言研究爱好者，特别是冯先生的朋友、学生，以及与冯先生有学术往来的学界同仁惠赐鸿文，在美丽的西子湖畔，共商大数据时代语言研究的机遇与挑战。此次活动集结的优秀论文，我们将在会后编辑成书，公开出版。

论文征集事项：

一、研讨会论文可涉及以下研究领域：

1.           自然语言处理

2.           计量语言学

3.           数理语言学

4.           基于数据的语言研究

5.           语言规律与认知

6.           语言文字的形式化研究（汉字、术语、汉语拼音、歧义结构等）

二、摘要字数在1500字左右。

三、摘要递交截止日期为2018年3月1日。

联系人：刘益光

电子邮箱：lyg_1606@163.com

浙江大学大数据+语言规律与认知创新团队

《冯志伟先生八十华诞纪念文集》编辑委员会

2017年12月

阅读原文

阅读 2178

40投诉

冯志伟2018年总结

         2018年快过去了。温故而知新，总结如下。

         今年是汉语拼音方案60周年纪念，年初，我应邀在北京语言大学、中央民族大学介绍了汉语拼音国际化的新进展的情况。我把国际标准《ISO7098：2015 信息与文献工作：中文罗马字母拼写法》从英文翻译成中文，并取得ISO和我国标准化部门的许可，商务印书馆在《中国语言生活状况》2018年绿皮书的光盘中，出版了这个中文译本。

         4月14日，浙江大学召开了“大数据时代的语言研究学术讨论会”，会议同时还给我过了80岁的生日，学生们把他们的新著《计量语言学研究进展》送给我，扉页上写着：“谨以此书献给冯志伟先生八十华诞”，学生们在学术上的进步令我高兴，我非常感谢他们对于我这个老人的深情厚谊。

         5月22日至8月16日，我和老伴到德国探亲。在德国期间，我们一起到西班牙旅行，先后访问了阿利坎特、格拉纳达、塞维利亚、龙德小镇、马德里等地，特别了解了阿拉伯文化对于西班牙的影响。我们还与德国朋友 Wolfgang夫妇一起到德国中部Bensheim游玩。

         8月回国后，中国计算机学会授予我“NLPCC杰出贡献奖”（CCF-NLPCC Distinguished Achievement Award），我是一个语言工作者，得到中国计算机学会的奖，说明语言学对于计算机科学是有帮助的。我在会上用英文和中文致答谢词。答谢词如下：

“Ladies, Gentlemen,

  First of all, I want to thank the Technical Committee for Chinese Information (TCCI) of China Computer Federation (CCF) for awarding me the 2018 CCF-NLPCC Distinguished Achievement Award. It is a great honor for me. It is an honor that should be shared by my colleagues and my students, who have supported me, encouraged me and helped me in last 60 years.

   Martin Kay, American famous computational linguist, in his speech delivered in 2005 on receipt of his ACL Lifetime Achievement Award, specified computational linguistics as follows: “Computational linguistics is trying to do what linguists do in a computational manner” (Kay 2005).

  I agree with Martin Kay, we have to combine Linguistics and Computer Science closely together and further put forward the research of Natural Language Processing.

  Thank you very much.

  Then I like to speak in Chinese.

各位来宾，各位代表，

今天我获得CCF-NLPCC卓越贡献奖，非常高兴，谢谢中国计算机学会中文信息技术专业委员会(CCF-TCCI)给我这样的荣誉，谢谢CCF-TCCI诸位专家的提名，谢谢在公示过程中各位同行专家对于我的热情鼓励和有力支持。我希望与我的同事们和学生们来共享这个荣誉，是他们60年来一直给我有力的支持，给我热情的鼓励，给我无私的帮助。

作为一个语言工作者，我非常珍惜这个荣誉。

美国著名计算语言学家马丁•凯伊（Martin Kay）在2005年获得ACL终生成就奖的答谢辞中曾经说过这样的话：“计算语言学正在试图用计算的方式来研究语言学家们研究的问题”。我非常赞同马丁•凯伊的这种看法，我们应当把语言学与计算机科学紧密地结合起来，进一步推动自然语言处理的发展。

我是一个历尽沧桑的自然语言处理研究者，早在1957年我才18岁的时候，就对于语言的研究发生了浓厚的兴趣，梦想着打破人类的语言障碍，后来我知道了美国在1954年就研制成功俄英机器翻译，受到极大的鼓舞，决心投身自然语言处理研究，实现自己的科学梦想，于是我在北京大学从地球化学专业转而学习语言学，走上了自然语言处理研究的漫漫长途。文革中我被迫改行，经过十年之久的磨练和周折之后，才得以重新归队。这60年来，不论如何艰辛，不论怎样困难，我始终坚定不移地走在自然语言处理的道路上。60年前，我还是一个不谙世事的毛头小伙，而自然语言处理也才初露新芽。现在我已经是年近80岁的垂垂老人了，可是，我们从事的自然语言处理仍然还是一门新兴学科，她仍然还显得非常年轻，仍然充满了青春的活力，仍然有着无比广阔的发展前景。我们个人的生命是有限的，而科学研究的发展却是无限的，我们个人的有限生命与科学研究这棵枝叶茂密的参天大树相比，是显得多么地短促，多么地渺小，多么地微不足道啊！

鲁迅先生说得好，“我倘能生存，我仍要学习！”我一定继续努力，不断地进行更新知识的再学习，坚持终生学习，活到老，学到老，努力赶上自然语言处理学科发展的步伐！

自然语言处理是计算机科学与语言学的交叉学科，是跨学科研究的最好范例。我希望计算机科学界和语言学界联合起来，共同促进这门学科的发展。

谢谢大家！”                            

今年还值得高兴的另一件事情是我和中国科学院软件研究所孙乐研究员合作翻译的《自然语言处理综论》（第二版）中文本由电子工业出版社出版了。此书被誉为自然语言处理教材的“黄金标准”。

2018年我发表论文15篇：

1.       关于非汉语人名和地名的字符译音问题，《语文建设通讯》（香港），2018年1月，第115期，p4-6。

2.       智能会话系统与语音自动识别（与詹宏伟合作），《外语学刊》，2018年，第1期，p13-23。CSSCI收录。

3.       与汉语拼音相伴60年：从国家规范到国际标准，《光明日报》，2018年2月11日，12版。

4.       汉语拼音走向世界：成绩与缺憾  -- 纪念《汉语拼音方案》颁布60周年，《北华大学学报（社会科学版）》，2018年3月，第19卷，第2期，p5-9。

5.       Chinese Characters （《汉字》英文版）简介，《华文教学与研究》，2018年，第1期，总第69期，p88-89，CSSCI收录。

6.       赫德森的词语法理论，与周建合作，《现代语文》，2018年，第3期，总第672期，p4-8。

7.       汉语拼音是国际文化交流的桥梁，《语言文字政策研究》公众号，2018年，6月。

8.       八十老翁，平生无悔，《文化学刊》，2018年，第3期，p50-64。

9.       人工智能领域：得语言者得天下（卷首语），《语言战略研究》，第3卷，2018年，第5期，p1。

10.     面向翻译的术语研究：“中国学派”的实践特征和理论探索（与殷健、刘润泽合作），《中国翻译》，2018年。第3期，p74-79，CSSCI收录。

11.    国际标准《ISO 7098:2015 信息与文献工作--中文罗马字母拼写法》及其国际意义，光盘，《中国语言生活状况报告：2018》，北京：商务印书馆，2018年。

12.    信息时代需要文理兼通的语言学家，《光明日报》，2018年10月21日，第12版，语言文字。

13.    基于语料库的汉语词长与词频关系的计量研究，与邓耀臣合作，《实证和语料库语言学前沿》，中国社会科学出版社，2018年9月，p59-91。

14.    现代汉语句子的扩展模式语法模型的构建（与王笑盈、瞿云华合作），《厦门大学学报（自然科学版）》，第57卷，第6期，2018年11月，p860-867.

15.    机器翻译与人工智能的平行发展，《外国语》，2018年，第6期，p35-48，CSSCI收录。

         这样一来，我发表的中文论文数量在2018年已经超过400篇。如果在加上用英语、法语、德语等外文发表的论文，我发表的论文将近500篇了。

         我已经步入耄耋之年，身体还可以，今后我还要继续努力，辛勤耕耘。