汉语词汇语义在网页关键词提取算法中的应用.pptVIP

汉语词汇语义在网页关键词提取算法中的应用 王婵娟 孙 斌 张 璐 北京大学 提纲 研究对象和研究背景 问题定义 系统构架与主要模块 算法介绍 实验结果及分析 进一步工作展望 研究对象和研究背景 网页正文关键词提取 热点应用：提示网页内容、信息检索、自动文本摘要、文本聚类、文本分类 研究背景 有指导算法 无指导算法 封闭文本集合 开放的互联网环境 研究对象和研究背景 已有研究： 李素建, 王厚峰, 俞士汶, 辛乘胜. 关键词自动标引的最大熵模型应用研究 王军. 词表的自动丰富———从元数据中提取关键词及其定位 曾依灵,许洪波,白硕. 网络文本主题词的提取与组织研究 G. Salton,M.J. McGill Introduction to Modern Information Retrieval McGraw-Hill C. I. Barnes; Costantini L.; Perschke S. Automatic Indexing Using the SLC-II System 问题定义 网页正文关键词定义 能反映网页正文的核心内容 在词汇语义学上需具有商业语域的义位 一定的品牌或商品价值 ，如：“口罩”、“消毒液”、“冬装” … 与商业行为有关，如“处理品”、“促销”、“批发” 适用范围 互联网上任意类型的中文网页 粒度： 可以是词，也可以是固定短语和词组，具体取决于分词结果的粒度 系统构架与主要模块 系统构架 系统构架与主要模块 主要模块介绍 网页分析与正文提取模块网页分析与正文提取模块 中文分词和词类标注、新词串统计识别模块 “多路径规划的切分路径树” Nagao算法 网页正文关键词权重计算与提取模块 算法1：三层次打分模型 算法2：基于“种子关键词”的算法 算法介绍 算法流程 算法介绍 算法1： 用各种term weighting的方法，综合词汇的频率信息、出现位置的区域信息和词本身的词汇语义学信息，确定文本中实词类词条的基本权重，并结合主题、文档结构等信息，分析各个段落、句子的权重，从而进一步给权重大的段落和句子中的实词打分。 我们把能够影响到一个候选关键词的重要性的各种要素整合在了三个层次上：位置层次、频度层次、词汇语义层次。 算法介绍 位置层次 算法介绍 算法介绍 频度层次 采用TF×IDF的经典方法衡量候选关键词在文本中出现的频率与在整个文档集中出现频率的折中值，记为FScore(w, D) 算法介绍 词汇语义层次 将词汇的语义特征投射到词汇的一些形式特征上加以利用 选取了词汇的长度、词类、上下文环境以及词组或词串的粒度，这几个形式特征来在一定程度上代表候选关键词的语义特征 算法介绍 WordLen（词汇长度）：一般情况下，词的长度越短，其语义越泛 WordContext（词汇的上下文环境）：一些特殊的环境能指示出特定的陪义，如书名号能指示“书”的陪义 WordCate（词类）： “语义是以概念为基础的，是概念在语言中的表现形式” ；“实词表示概念”。 如只表情感的叹词、表情态的词、表语气的词、代词、冠词、前置介词和大多数象声词等便不表示科学概念。 将所有的词类分成四个集合： C1 = {nr, ns, nt, nz, nx}; C2 = {n, vn, an, b, i, j, l}; C3 = {tag| tag C1∪C2∪C4}; C4 = {c, e, y, o, p, u, b, a, d, f, m, r, z}。 这四个集合中的词类大部分由实到虚，信息量大体上由多到少，越实、信息量越大则越能对应科学概念，我们也就认为它能够被商品化的价值就越大，因此四个集合所对应的候选关键词的权值也就依次降低。 算法介绍 Granularity（词组或词串的粒度）： 根据义位的组合原则，词组或词串的语义特征与构成词的语义特征有着很强的联系。 算法介绍 算法2： 关键词提取算法可能存在的问题： 算法介绍 算法2： 我们给每个文档指定一个或者数个“种子关键词”来加强打分算法的准确率、召回率；关键词的商品化价值也可得到进一步增强。 对网页标题进行分词，并将其中实词作为“种子关键词”； 网页meta name=keywords content=”…”标签中的词作为“种子关键词”； 也可人工指定若干词汇形成一个“个性化关键词列表”。 SK-Set 基于候选关键词与种子关键词的同句共现次数，对候选关键词赋予一定的加权得分。 模型可以表示为： 是系数，表示候选关键词w和在文档D中同句共现的次数 算法介绍 算法介绍 参数设置及作用 我们可以通过参数配置文件控制某些特征值的取值和函数形式，如Score(w, D), PScore(w,