21世纪初的中文处理.pptVIP

Chinese Language Processing at the Dawn of the 21st Century21世纪初的中文处理 邹嘉彦 著 吕学强 译 彭国珍 校 第一部分 概述 与欧洲语言相比，中文处理中存在3个异乎寻常的主要障碍: (1)输入问题，汉字不是拼音文字，而是象形文字或音形结合的文字； (2)分词问题，多数中文句子是一长串连续的汉字(而不是以空格或其它分隔标记分开的单词)，并且词汇缺少明显的形态变化； (3)语法问题，同样也是因为缺少形态变化。 20世纪60年代，随着机器翻译的诞生中国和美国就已经在中文处理方面开始了艰辛的努力。 在中国机器翻译最初是研究俄语和汉语之间的翻译，在美国是研究英俄机器翻译。 转换生成文法的出现进一步推动了这些工作的开展。然而由于ALPAC报告的负面影响，自然语言处理研究在西方停滞了二十多年。 尽管在中文地区没有受到ALPAC的影响，却一直没有大规模的应用系统投入商品化运营，主要原因如下：(a)　受到60年代到80年代计算机能力的限制；(b)汉语中特殊的语言学问题。 随着CPU从8位发展到16位，又从16位发展到32位，前文提到的第一个障碍被克服了。 这种发展使得更大、更完善的字符集得到应用，并且可以充分利用计算语言学的研究成果进行处理。 原先计算机输入是由专门的操作员用繁琐的四位电报码或者使用硕大笨拙的多层键盘，现在则被小巧玲珑的QWERT键盘取代。 第二个障碍在一定程度上有了克服，但仍然存在。 这是因为切分连续的汉语文本比切分英语或德语文本要困难得多。 例如，英语中书写专有人名时要使用大写字母，而汉语中人名时则没有类似的标记。 又如，德语中的名词性复合词是捆绑在一起的，而汉语中却没有任何捆绑标记。 然而，以下几个方面的发展使我们走到了突破分词障碍的边缘： (1)　大规模语言数据库的发展；(2)　其它语言资源的建立，例如劳动密集型的词汇、语义资源；(3)　计算机能力的迅速提高。这种突破还表现在大量应用系统的诞生，包括语音产品、基于因特网和个人计算机的有哪些信誉好的足球投注网站引擎以及查询和翻译的半自动系统的开发等。 第三个障碍仍是主要的拦路虎, 根本原因在于对汉语进行词性标注可以利用的格标记太少甚至没有，这使得必要的语法分析变得困难。 Cont. 随着用户需求变得更加挑剔，想要取得更大的成果可能难上加难，并且从经济回报的角度来看，也将处于收益递减阶段。 不过在基础研究方面情况相对乐观，越来越多的精力投入到基于经验方法的基础研究上面，这些新的尝试和努力提高了我们对于汉语语言的理解。 如果这些成就能引起IT业领导的兴趣，他们会加速现有成熟技术的融合，着力突破剩余的障碍。 Cont. 当前，中国刚刚加入了WTO，且又迅速地在信息社会占有了一席之地，这些都为中文处理的发展提供了前进的动力。 中文处理的发展不仅会对广大中文地区产生重大影响，而且会对全世界产生重大影响。它将大大促进中文地区内部、以及中文地区和非中文地区间的交流。 SigHAN专题座谈会的参加人员包括了中文处理各领域的知名人士, 有应用研发人员、基础研究人员和中文处理产品的用户(见附录)。 主持人：邹嘉彦； 特邀发言人：朱邦复、黄居仁； 特邀嘉宾：史伯乐、苏克毅、周明； 记录员：邝蔼儿、黎邦洋 在过去了10到20年里，中文处理获得了显著的成就。 结合这些成就， 座谈会特邀发言人回顾了各自的工作， 预言了未来10年的主流方法， 并指出21世纪初中文IT领域在基础研究和应用研究方面可能取得的主要突破。 为了融入世界IT领域的大家庭，各地区都制定了长期战略。 台湾已经有了一个e-Taiwan的构想，香港提出了e-Government的计划。所有这些都将加速中文处理的发展。 但是意义更为重大的当数北京2008年奥运会，在世界上首次提出了“数字奥运”口号。 它将成为一个主窗口，从各个方面展示中文处理多年来取得的成就。 并且能够与日语、朝语的自然语言处理成就相比较，它们已在2002年世界杯足球赛和冬季奥运会等其他国际体育赛事中得到过展示。 因此，本次专题座谈会主要关注未来10年可能取得的发展， 这对于计算机世界是相当重要的。 要是考虑一下过去几年发生了什么，就更能认识到这一点。 本报告是根据专题座谈会上的发言整理而成的， 内容广泛，包括： (1)　两位特邀发言人的观点(朱和黄)； (2)　 座谈会特邀嘉宾的观点(吏，苏和周)； (3)　其它参与者及座谈会主持人的观点。 报告的第2部分介绍最近中文处理领域取得的里程碑式的成果， 第3部分对未来10年进行展望。 第二部分 21世纪前夕中文处理的主要成就 20世纪70年代和80年代桌面个人计算机出现，设计简单易用的汉字输入法成为燃眉之急。 许多方案被提出来，其中最成