文本挖掘作业一说明.ppt

文本挖掘作业一说明 费跃 2015-03-23 提纲 作业说明 Lemur工具介绍 评价机制 提交方式 微博检索作业说明 本次实验，我们来完成一个简单的英文微博有哪些信誉好的足球投注网站系统， 给定Twitter数据集和60个查询，返回和查询最相关的1000条英文微博. 输入文件 Twitter 数据 Content.corpus: 微博文本集，格式为[tid \t text] Title.corpus: 微博中的url信息，由url对应的title字段得到)，格式为[tid \t text] Otherinfo.corpus: 微博的其他信息，包含时间，用户名，hashtag, @, url) 查询文件 mb2012.topic: 查询信息，共60个查询，格式为[qid \t text] Lemur检索工具 Lemur是一个帮助研究语言模型和信息检索的工具包。借助Lemur的强大功能，可以比较便捷的完成作业一的检索系统。 下载地址：/projects/lemur/files/lemur/lemur-toolkit-4.12/ Lemur安装 Windows安装： 下载lemur-4.12-win64-install.exe 安装到任一目录 添加文件夹到环境变量 打开cmd, 输入BuildIndex, 跳出Parameters for BuildIndex Lemur安装 Linux安装： 下载lemur-4.12.tar.gz 解压文件到 /usr/local/src 文件夹 新建文件夹 mkdir /usr/local/lemur 进入解压后的文件夹 cd /usr/local/src/lemur4.12 make clean ./configure --prefix=/usr/local/lemur make make install 修改 /etc/profile 文件末尾添加：export PATH=$PATH:/usr/local/lemur/bin source /etc/profile 安装成功 shell中输入BuildIndex,跳出Parameters for BuildIndex Lemur检索步骤 预处理 TREC格式 对数据集建索引 BuildIndex 检索 RetEval Corpus预处理 简单的脚本，将文件转换为trec格式： DOC DOCNOdocument ID/DOCNO TEXT Index this text of document /TEXT /DOC Corpus建索引 建立索引命令 $BuildIndex/IndriBuildIndex parameter file 参数文件格式 parameters dataFiles./corpus/sample.corpus.list/dataFiles //数据文件位置 docFormattrec/docFormat //文件格式 index./index/sample/index //索引位置 indexTypekey/indexType //索引类型 memory1024MB/memory //使用内存 stemmerPorter/stemmer //还原词干算法 countStopWordsTrue/countStopWords //计算文档长度是否考虑停用词 stopWords./stopword.txt/stopWords //停用词文件 /parameters Query预处理 Query需要先转换为TREC格式 $ParseToFile parameter_file query_file ParseToFile命令，将查询格式与文档保持一致。 去除停用词 还原词干 参数文件 parameter docFormattrec/docFormat outputFile./query/sample.query.parse/outputFile stemmerPorter/stemmer stopWords./stopword.txt/stopWords /parameter 检索 检索命令 $RetEval/IndriRunQuery Parameter_file 参数文件格式 parameters ind