词向量及其在自然语言处理中的应用(1)
词向量及其在自然语言处理中的应用(1) 冯志伟 (杭州师范大学,杭州,311121) 【摘要】词向量来源于语言学中的“价值”和“分布”等概念。本文详细描述了词向量的语言学根据,介绍了词向量的计算方法,说明了词向量在神经机器翻译中的应用,神经机器翻译把“价值”和“分布”等概念用到极致,获得了突出的效果。...
View Article词向量及其在自然语言处理中的应用(2)
词向量及其在自然语言处理中的应用(2) 冯志伟 词向量的语言学根据 词向量与索绪尔的语言符号理论 早在1916年,De Sausuure在《普通语言学教程》中就指出,语言的符号具有特定的“价值”。...
View Article我在韩国科学技术院计算机科学与电子工程系当教授
我在韩国科学技术院计算机科学与电子工程系当教授 冯志伟 2001-2002年,也就是20年前,我应邀到韩国科学技术院KAIST计算机科学与电子工程系担任教授,用英语讲授自然语言处理的博士课程,这是当时的英文讲稿。这门课年终评分为“优秀“。学生们很喜欢这门课,当时的情景还历历在目!这是我写的讲义。...
View Article“世界也需要汉语拼音”——学生冯志伟谈周先生对于汉语拼音国际化的贡献
“世界也需要汉语拼音” ——学生冯志伟谈周先生对于汉语拼音国际化的贡献 冯志伟 20世纪60年代我在北京大学读书时,周有光先生给我们讲授文字改革的课程,鼓励我走上了语言应用研究的道路。我永远也忘不了先生。...
View Article词向量及其在自然语言处理中的应用(3)
词向量及其在自然语言处理中的应用(3) 冯志伟 词向量的另一个重要的语言学根据是“分布”。 “分布”是美国描写语言学中一个有专门含义的术语。 1934年,M.Swadesh在他写的《音素原理》(The phonemic...
View Article机器翻译历史上的一个谎言
机器翻译历史上的一个谎言 冯志伟 • 第一次机器翻译取得了很大的成功。但是,很快就受到了保守份子的攻击。 • 1962年8月号的《哈泼杂志》(Harper’s Magazine)发表了古温豪芬(John A. Kouwenhoven)的题为《翻译的困扰》(“The trouble with translation”)的文章,文章中编造了如下的故事: •...
View Article词向量及其在自然语言处理中的应用(5)
词向量及其在自然语言处理中的应用(5) 冯志伟 对于文献来说,因为相似的文献倾向于具有相似的单词, 所以可以认为相似的文献具有相似的向量。同样的原则也可以应用于单词:因为相似的单词倾向于出现在相似的文献中,所以可以认为相似的单词具有相似的向量。这样一来,我们就可以用词项-文献矩阵,通过单词倾向于出现在其中的文献来表示单词的意义。...
View Article词向量及其在自然语言处理中的应用(六)冯志伟
词向量及其在自然语言处理中的应用(六) 冯志伟 点互信息 图4中的单词-上下文共现矩阵,使用矩阵行中的单元来表示两个单词的简单的共现频率。 然而,事实证明,简单的频率并不是单词之间关联关系的最好的度量。问题在于,行的频率偏差较大,区分度不很高。如果我们想知道什么类型的上下文是单词apricot...
View Article