藏语单语料库分析及标注探讨.pdfVIP

语料库是为某一个或多个应用而专fJ收集的、有一定的、有代表的、可被计算机程序检 索的、具有一定规模的语料的集合。 。 1．2民族语言语料库研究现状 近年来，国内外各种语言的语料库建设与研究有很大的发展，并逐渐成熟。随着英语、 汉语等语育语料库的逐渐建立和语料库技术的不断发展，民族语言语料库的建设越来越受到 更多人的关注。在西北地区，蒙古语、藏语等民族语言已经开始了语料库的建设： 新疆大学从2002年起开始建设现代维吾尔语语料库系统，至今已形成具有800万词的 生语料库，并打算以新闻领域的维汉一汉维机器翻译为目标建立双语平行语料库；内蒙古大 学的中世纪蒙古文语料库收集了《元朝秘史》、《黄金史》、《回鹘蒙古文文献集》等历史文献， 现代蒙古语语料库达到500万词；中国社会科学院民族学与人类学研究所建立了500万藏语 字符的藏语语料库，西北民族大学建立了l亿3千万字节的藏文语料库。 2藏语单语料库加工 2．1藏语语料库的研究意义及价值 藏语是厂。泛应用的民族语言之一，在发音、韵律、词汇、词的形态变化、句子结构组织、 篇章的构成等多个方面都有与其他语言不同的特性。随着对藏语机器翻译、藏语语音合成、 藏语语音识别、藏语文字识别、藏语智能检索等研究的逐渐深入，人们对藏语各方面特性量 化描述的需求日益增大，建设藏语语料库的紧迫性日益凸显。要得到对于藏语特性的量化描 述，为藏语研究提供了确凿的数据，就必须要建立藏语语料库，并对生语料进行加工，进一 步得到对语言各方面特性的描述。 大型藏文语料库为藏文语料库语言学、藏族语言文字研究与教学和藏文信息处理技术等 多领域、多层次、多用途的研究奠定了大型藏文电子文本数据库的“物质”基础： 藏语语料库的研究基本解决了藏文部件、字符编码、字模式样、文字识别、语音识别、 自动分词、机器翻译、键盘布局和输入法以及藏文常用词汇、藏文中小学生优选识读用词和 扫盲教育用词等学术、理论研究所必需的基于大型藏文语料库的藏文字符、部件、音节、词 汇频度、频率与通用度统计与分析的数据依据问题； ， 同时，藏语语料库的建立也是一个基础研究项目，是一项跨学科的系统工程。该研究应 用相关的理论、方法和先进的计算机技术，对藏文字符、部件、音节、词汇进行的定量统计 与定性分析研究成果，对藏文文字结构(基字、元辅音、上下加字、前后加字和音节的属性) 研究，对有关信息处理用藏文国家标准的制定、修订研究，对藏文词汇的分级研究，对藏语 语言学、语言文字规范、语言文字教学、扫盲教育、藏文文字识别、语音识别、机器翻译和 藏文信息处理领域等多方面的研究都具有极其重要的学术价值和应用意义。 2．2藏语语料库建设的现状 在国内，在藏文语料库建设以及利用语料库进行藏文信息处理研究已经取得了一定的进 —．544— 展：中国社会科学院民族学与人类学研究所建立了500万藏语字符的藏语语料库，并以此为 基础进行词语切分和标注的研究；西北民族大学已经建立了1亿3千万字节的大型藏文语料 库，用于藏文词汇频度和通用度的统计。 但是这些藏文语料库还基本属于生语料库。由于在建设时期缺乏统一的建设规范和标注 标准，在对藏语语言词法、句法等各种语言特性的描述方面还有很大欠缺，还有待于进行完 一步的分析、整理和加工。 2．3藏语语料库的加工 2．3．1藏语单语料库的加工内容 如图1所示，藏文单语料库的加工包括正字处理、形态处理、句法处理、语义处理、语 用处理等5项加工过程，每一步过程包括对于语料中包括的字形、词法、句法、语义、语用 等不同语言特性的分析，以及选用某种标注方式将分析结果加入到语料库以形式针对该语言 特性的加工语料库两方面内容。 目前，针对字形和和词法方面的加工(藏文字符、部件、音节和词汇等几个层面的定量 统计与定性分析研究)已基本完成，下一步任务是句法处理和句法标注。字形和词法方面研 究结果的应用有：1．字符方面的研究用于信息交换用藏文字符编码、字库制作、文字识别 研究及软件开发；2．部件方面的研究用于信息交换用藏文部件编码、动态叠加输入法、键 盘布局研究及软件开发；3．音节方面的研究用于藏文语素、构词法、识字教学研究和语音 识别、自动校对研究及软件开发；4．词汇方面的研究用于《藏文词汇频率与通用度词典》(大 型工具书)、《藏文常用词汇词典》(藏汉双解附注英文)、《新编藏文正字法》、《九年义务 教育藏语文教科书配套