网络文本挖掘方法介绍--网络文本挖掘研究系列专题之一.pdfVIP

Table_Top 证券研究报告_量化投资专题 证券研究报告_XX 报告 2012 年04 月10 日 2011 年6 月14 日 网络文本挖掘方法介绍 ——网络文本挖掘研究系列专题之一 夏潇阳 分析师 执业编号：S0260512030005 Table_Summary 文本信息的重要性 现代金融分析中，数据无疑具有极端重要的位臵，但是随着研究需求的提高和深入，对于数据的要求越来越高， 而更多的“非数据信息”也逐渐体现其重要性，比如宏观经济数据一致预期、公告信息挖掘和研究报告挖掘。 网络文本挖掘及其方法 文本挖掘是以半结构（网页）或者无结构（如纯文本）的自然语言文本为对象的数据挖掘，因此又被称为文本数 据挖掘。网络文本挖掘的主要步骤如下：首先，从网络上下载文本，我们分析的主要文本包括纯文本、PDF 文本 和HTML 网页等。其次，对于PDF 文本，我们需要将其转换为纯文本；而对于HTML 网页，我们需要提取其中 的正文信息和其它有用信息（如标题、网址和日期等）。第三，我们对正文信息进行文本“脱水”处理，所谓“脱 水”，是指去除文本中的无用信息。第四，我们对脱水后的文本进行模式识别，找出我们需要的信息。最后，我 们用金融工程方法对提取出来的信息进行量化分析。 文本下载和文本提取 文本下载可分为文件下载和网页下载两类，文件下载较为简单，Windows 用户可使用开源的wget 工具进行下载， 可用于下载纯文本和PDF 格式文件。网页下载又分为静态网页下载和动态网页下载两种，静态网页用查看源文 件方法看到的源代码与用户看到的最终界面是一致的，而动态网页用查看源文件方法看到的源代码和用户看到的 最终界面是不一致的。 读取了HTML 网页源代码后，我们需要提取其中的正文信息和其它有用信息：首先缩小范围，找到有用信息所在 区域，接着找到标题、网址和日期等信息所在位臵的特征，然后记录这些信息，最后找到正文以及相应段落所在 位臵的特征，并提取正文。 提取PDF 文本时，我们使用wget 下载PDF 文件，然后使用工具将PDF 文件转换为TXT 文件，接着对TXT 文 件进行细节上的处理，并判断转换是否成功，最后打开TXT 文件，读入MATLAB，并输出。 文本脱水和模式识别 将PDF 转换为纯文本的时候，无法提取PDF 文件中的格式和排版，因此，提取后的文本不可避免的存在一部分 无用信息。文本脱水是指去除文本中的无用信息，文本脱水步骤中的细节很多，其主要想法是，首先尽可能不删 除有用信息，然后尽可能删除无用信息。 模式识别和文本脱水所用的方法类似，都需要对文本进行模式匹配，区别在于，文本脱水是删除符合特定模式的 文本，而模式识别是找出符合特定模式的文本。 Table_FooterContact 广发证券公司或其关联机构可能会持有报告中所涉及的公司所发行的证券并进行交易，亦可能为这些公司提供或争取提供承销等服 务。本报告中所有观点仅供参考，并请务必阅读正文之后的免责声明。 Table_Header2 量化投资专题 目录索引 一、文本信息的重要性3 二、网络文本挖掘及其方法3