标注语料库数据与使用说明.PDFVIP

国家语委现代汉语通用平衡语料库 标注语料库数据及使用说明 肖航 教育部语言文字应用研究所 1. 国家语委现代汉语通用平衡语料库 1.1 语料库全库 国家语委现代汉语通用平衡语料库全库约为1 亿字符，其中1997 年以前的语料约 7000 万字符，均为手工录入印刷版语料；1997 之后的语料约为3000 万字符，手工录入 和取自电子文本各半。 语料库的通用性和平衡性通过语料样本的广泛分布和比例控制实现。语料库类别分 布如下所示： 1.2 标注语料库 标注语料库为国家语委现代汉语通用平衡语料库全库的子集，约5000 万字符。标 注是指分词和词类标注，已经经过3 次人工校对，准确率大于98% 。 语料库全库按照预先设计的选材原则进行平衡抽样，以期达到更好的代表性。标注 语料库在样本分布方面近似于全库，不破坏语料选材的平衡原则。标注语料库类别分布 如下所示： 标注语料库与全库的样本分布比较如下所示： （蓝色曲线为语料库全库；红色曲线为标注语料库） 2. 国家语委现代汉语通用平衡语料库语料选材与样本分布 2.1 选材原则 依据材料内容，选材大体作如下分类：（下文字数为建库时数据） 2.1.1 教材 大中小学教材单作一类，约2000 万字。 2.1.2 人文与社会科学的语言材料约占全库的60%，共3000 万字，包括： ·政法（含哲学、政治、宗教、法律等）； ·历史（含民族等） ·社会（含社会学、心理、语言、教育、文艺理论、新闻学、民俗学等）； ·经济； ·艺术（含音乐、美术、舞蹈、戏剧等）； ·文学（含口语）； ·军体； ·生活（含衣食住行等方面的普及读物）。 2.1.3 自然科学（含农业、医学、工程与技术）的语言材料，应涉及其发展的各个领域。拟 从大、中、小学教材和科普读物中选取。其中，科普读物约占6%，共300 万字。教材字数 另计。 2.1.4 报刊。以1949 年以后正式出版的由国家、省、市及各个部委主办的报纸和综合性刊 物为主，兼顾1949 年以前的报纸和综合性刊物。这部分语料约占26%，共1300 万字。其中， 报纸900 万字，刊物400 万字。 2.1.5 应用文。指各类政府公文、文告、书信、说明书、广告等。这部分语料约占8%，共 400 万字。 2.2 选材年限及密度 2.2.1 教材类 选取现在通用的教材为建库的语言材料。中小学课本所选内容涉及各个学科的基本知 识，一般为典范的现代汉语作品，具有相当的普及性、代表性。比较通用的具有通论性质的 高等师范院校和某些专科院校的基础必修教材，内容涉及各个学科的基础理论、基本术语， 可为自然科学语汇的收集、科学术语的规范工作提供依据。 2.2.2 人文与社会科学类 以1919 年为上限，选取五四以来的语言材料。对五四以来各个历史时期的语料采取不 等密度选用的方式。 ·1919——1925 年。鉴于五四时期的白话文仍留有文言痕迹，拟选用少量的对后世影 响较大的代表性作品。被选用的作品在行文上要尽量符合现代汉语的规范。这部分语料拟占 人文与社会科学类的5% 。 ·1926——1949 年。白话文逐步脱离文言痕迹，现代汉语日趋成熟的时期。这部分语 料拟占人文与社会科学类的15%。 ·1950——1965 年。中华人民共和国的成立给社会文化生活带来巨大变化，新词新语 大量涌现。这部分语料拟占人文与社会科学类的25% 。 ·1966——1976 年。 文化大革命时期产生的作品，其中许多随着文革的结束而仅 作为历史词语存于现代汉语之中。这部分语料拟占人文与社会科学类的5% 。 ·1977——。新时期的语料代表了现代汉语的必威体育精装版发展。这部分语料拟占人文与社会科 学类的50% 。 2.2.3 自然科学（含农业、医学、工程与技术）类 自然科学的发展具有较强的优胜劣汰的性质，故对这部分语料做共时性选取，选材范围 包括： ·目前比较通用的中、小学各科教材。 ·目前比较通用的具有通论性质的大学各科基础必修课程的教材。 ·涉及自然科学各个门类的科普读物。 2.3 现代汉语语料库选材字数的分布 2.3.1 人文与社会科