黄玉兰提纲工作总结.pptxVIP

工作总结---黄玉兰提纲工作汇总有意义串研究工作汇总有哪些信誉好的足球投注网站日志分析系统smark拼音汉字系统调研有意义串相关工作词聚类调研工作汇总--有哪些信誉好的足球投注网站日志分析系统smark(1)任务：根据所给的有哪些信誉好的足球投注网站日志进行数据分析，提供有用信息。提供数据中所能反映的商机以网页的形式提供服务。工作汇总--有哪些信誉好的足球投注网站日志分析系统smark(2) 已完成的工作：重复串的TopN排序。有哪些信誉好的足球投注网站词的TopN排序。查询词的统计信息，如时间分布，地域分布等。查询词分类，用户分类。加入检索功能。网页展示界面。工作汇总--有哪些信誉好的足球投注网站日志分析系统smark(3)Smark系统数据展示界面Smark系统功能选择界面工作汇总--拼音汉字转换系统调研(1)任务：调研拼音到汉字的转换方法对快速输入法提出自己的设计想法工作汇总--拼音汉字系统调研(2) 工作进展：对音字转化的现状有了基本了解整理了音字转换系统的组成提出改进之处工作汇总--有意义串相关工作熟悉师姐的程序，处理不同数据商业网页数据、专利数据等根据不同数据改进程序写有意义串方面的专利 面向互联网的有意串挖掘专利文献的领域术语抽取方法以及专利有哪些信誉好的足球投注网站辅助系统改进发现有意义串的方法基于伪相关反馈的领域词典生成算法基于窗口的有意义串挖掘方法有意义串挖掘软件GoldMiner重写有意义串挖掘程序加入检索功能以及界面展示功能工作汇总--词聚类调研目标： 给定一个新出现的有意义串，可以找跟它相近的词，通过这些词推测这个有意义串的意思和用法。完成情况：整理10多篇关于聚类的文章实验效果不是很好，有待改进提纲工作汇总有意义串研究有意义串研究背景改进方法工作计划背景--有意义串定义定义： 包含具体语义，并且能够做为一个灵活独立的语言单元在不同语境中使用的字符串特点： 结构上：结构较稳定，具有一定的凝固性。 语义上：表意完整单一、所指明确。 语用上：使用环境灵活多样。 统计上：在大规模真实文本中有一定流通度。专利语料小说语料BBS标题语料背景--有意义串应用索引词优化社会热点挖掘文本表示语料建设专业术语提取背景--现有的方法切分方法 组合是利用词汇的共同属性，如MI、MI和RIDF、MI和Context Dependence等。组合方法 基于压缩的切分方法等。背景--邻接类别(1)左邻接类别：在串左边出现的字或词的种类数量。右邻接类别：在串右边出现的字或词的种类数量。邻接类别：左邻接类别和右邻接类别的较小值。背景--邻接类别(2) 招聘版主 申请版主须知 各位版主请看 请教版主一个启动的问题 请教版主关于还原卡的问题 左邻接类别 = 4 右邻接类别 = 5 邻接类别 = min{4，5} = 4背景--位置成词概率位置成词概率（Position-Word Probability）： 汉字c的位置成词概率PWP(c,pos)计算如下：背景—提取流程有意义串研究背景改进方法工作计划改进方法基于伪相关反馈的领域词典生成算法基于窗口的有意义串挖掘方法基于伪相关反馈的领域词典生成算法(1)主要思想：把领域词典生成的过程视为一个信息检索的过程假设初始检索出来的前若干个结果与领域相关，将结果加到词典中，重新检索 。分词更新成词概率表查找重复串上下文邻接分析成词概率分析更新词典语料有意义串词典成词概率表基于伪相关反馈的领域词典生成算法(2)基于窗口的有意义串挖掘方法方法 1. 从整个语料集上查找有意义串。 2. 把整个语料集分成若干个子语料（如小说语料按 章节份），从子语料中查找有意义串。 3. 把上两步的结果合并起来。效果 1. 提高精度 ，找到只在局部出现而全局信息不够高 的重复串。(小说语料实验效果并不是特别明显) 2. 提高速度有意义串研究背景改进方法工作计划工作计划提高有意义串挖掘算法的效率将有意义串加入到不同应用中有意义串分析、展示系统工作计划（1） -- 提高有意义串挖掘算法的效率精度 前N个词的准确应经很高。 (BBS标题10M语料的前500个词的准确率为95%) 后面的词的准确率越来越低。希望用统计的方法提高这部分的准确率。速度 现处理有意义串的速度还不高。 处理速度主要跟生成的重复串的数目有关。 工作计划（2） --将有意义串加入到不同应用中领域词典 如专利领域，开发专利词典。在专利检索过程中，辅助专利分析师或普通的专利检索者。文本分类 将有意义串挖掘应用到文本分类中。先找出文档集合中的有意义串，再根据有意义串对文档进行分类。文本聚类或者话题聚类 可以应用到短文本的分析中。安全应用 用一个词进行聚类，找出词形或者用法与其相近的词。如“法轮功”与“法车仑功”属于词形相近的词。热点发现 在以句子（或段落）为单位的窗口中，两个有意义串经常共现，则两个有意串很可能构成一个热点话题。如“山西煤矿”和“矿难”就组成了一个社会热点话题。工作计划（3） --有意义串分析、展