863中文信息处理与智能人机接口评测的历史、现状与展望.pptVIP

863中文信息处理与智能人机接口评测的历史、现状与展望 刘群 liuqun@ 2005年6月4日于哈尔滨工业大学 自然语言处理青年学者研讨会 内容提要 863评测的历史回顾 2005年度863评测的筹备情况 对今后工作的思考与展望 八六三评测 全称：863中文信息处理与智能人机接口技术评测 定义：863中文信息处理于智能人机接口技术评测，是由国家863计划智能机主题（现软硬件主题）专家组发起并主办的系列评测活动，旨在为中文信息处理与智能人机接口技术的研究提供一个可供比较的基准，并促进相关的研究工作进展及产业化。 八六三评测的范围 中文信息处理： 机器翻译 汉语分析：汉语分词、词性标注、命名实体识别…… 信息检索、自动文摘、自动分类…… 人机接口技术： 语音技术：语音识别、语音合成…… 文字识别：印刷体、手写体、联机、脱机…… 生物特征识别：人脸检测、人脸识别…… 八六三评测的目的 了解八六三资助的研究进展 作为八六三进一步资助的参考 为相关技术研究提供公共的测试基准(Benchmark) 构造公共的训练和测试数据资源 为相关领域研究人员提供交流的机会 填平研究与应用之间的鸿沟 对现有技术进行评测，为应用方寻找合适的技术 根据应用提出评测课题，对研究工作加以引导 八六三评测的历史 八六三评测起始于1990年代初（钱跃良老师是发起者） 早期的八六三评测对我国相关技术的研究起到了极大的推动作用 2003年起，在停顿5年以后，我们课题组在专家组的支持下重新开始了举行863评测 最近两次评测重新聚拢了人气，在国内外产生了广泛的影响 1990: preparation 1991: 1st 1992: 2nd 1994: 3rd 1995: 4th 1998: 5th 2003: 6th 2004: 7th 2005: 8th 八六三评测的项目数 八六三评测参评系统数 八六三评测的项目设置 ASR: 语音识别 TTS: 语音合成 MT: 机器翻译 SEG: 汉语分词 (含词性标注和命名实体识别) IR: 信息检索 TC: 文本分类 TS: 文本摘要 CR: 文字识别 FR: 人脸检测与识别 八六三评测的项目设置 八六三评测2004概况 评测时间：2004年10月18～24日 评测项目：8个大项，22个分项 参评系统：105个系统，来自34个单位（课题组），比去年有大幅度增加 八六三评测2004参评情况 八六三评测2004参评单位 (1) 八六三评测2004参评单位 (2) 哈尔滨工业大学信息检索研究室(参加5项) 哈尔滨工业大学语言技术研究中心 哈尔滨工业大学智能技术与自然语言处理研究室 计算所-银晨面像识别联合研究开发实验室 南京大学 南京大学计算机科学与技术系/多媒体研究所 清华大学电子工程系语音处理实验室 清华大学电子工程系语音技术与芯片设计实验室 清华大学电子工程系智能图文研究室 清华大学计算机系 清华大学智能技术与系统国家重点实验室 日本高电社 八六三评测2004参评单位 (3) 上海交通大学计算机系 上海纳讯高新技术应用研究所有限公司 厦门大学计算机与信息工程学院 中国电子信息产业发展研究院（CCID） 中国科学院声学研究所 中科院计算机语言信息工程研究中心 中科院声学所 中科院自动化所 中科院自动化研究所模式识别国家重点实验室 中软网络技术股份有限公司 八六三评测2004项目 (1) 机器翻译的评测 在2003年度评测的基础上，根据数字奥运和国内相关研究工作的需要，增加了汉-法、法-汉的内容（其中法-汉因报名单位不满两家，未组织评测）。 汉语命名实体识别评测 鉴于汉语分词和标注的标准不够统一，评测方法各单位意见不统一还有待改进，因此本年度的评测，重点调整为目前技术尚不成熟但标准相对比较容易掌握的命名实体识别。 八六三评测2004项目 (2) 文本分类的评测 本年度的文本分类评测，将由评测组织单位预先提供训练语料（即去年的测试语料）。 信息检索的评测 不再进行小规模的评测，只进行大规模的评测,并说明语料的规模。增加了段落级检索的评测。 自动文摘的评测 在2003年度的基础上，增加对关键词的评测，并制定相应的评分标准。此外，要求参评系统必须提供根据字数或百分比来限制文摘篇幅的功能。 八六三评测2004项目 (3) 语音合成（文语转换）的评测 单句可懂度测试改为语义不可预测方法，可以在一定程度上削弱学习效应，同时与国际评测接轨。取消了单词可懂度的测试和语言学测试。嵌入式系统的测试在真实的嵌入式系统上进行评测，而不再是PC的模拟环境。 语音识别的评测 根据面向奥运的需求，语料方面分为通用领域、奥运领域。奥运领域又分为5个相关子领域，涉及中、英两种语言。桌面连续语音识别分成一倍速和十倍速两种情况。语音通道方面