TextAnalysis系统及算法设计文档.docVIP

TextAnalysis系统及算法设计 author wanghao 项目名称： 基于情感字典的文本分析系统 系统环境： 双核Intel(R) Core(Tm) i3 CPU M 380 @ 2.53GHz 2G 内存 Windows 7操作系统 Microsoft Visual Studio 2010 TinyXml插件、ICTCLAS分词工具、MySql库文件等 系统架构图 文件结构 配置文件 为了使得系统具有更好的移植性，系统采用了配置文件的方法。在系统目录下有configure.xml文件，程序通过tinyXml插件来读取对应情感字典文件的位置、权重，以及mysql数据库的用户名、密码信息。在程序中具体的对应函数是processConfigure。 情感字典 情感字典的原材料来自于知网HowNet，以及台湾大学NTUSD情感字典词库。处理之后得到如下所示的情感字典。 先将字典的路径和权值信息写入configure.xml文件中。读取配置文件，得到信息后。对每个文件按照行的方式读取，然后与其对应权值存入hashMap中，以便之后的查找。在程序中的具体对应函数式processDictionary。 数据库 使用典型的mysql数据连接方式，包括初始化、查询、获取每一行数据、关闭数据库等。对应函数main以及initMysql ICTCLAS分词 输入为每一行的数据，使用分词API进行分词，得到每个词语结构，包括它们的词性等具体信息。对应函数sentenceAnalysis。 9．情感分析 输入为ICTCLAS分词后的词语结构信息，对每个词语的词性进行判断。 如果不存在词性，则跳过这次循环。用来跳过一些语气助词等无意义的信息。 由于每个句子都有几个子句，而每个子句都是一个独立的主谓宾结构，所以系统将子句通过标点符号来分隔。最后将所以子句的总情感权值相加得到总句的情感权值。 在对字典的预处理阶段，系统对不同程度的词语赋予了不同的权值。为了提高处理程序的效率，系统只分析对体现语言情感有较大作用的词性（包括形容词、副词、动词、名词、数词）。 对于副词，需要特殊处理。首先副词是加强语气的作用，如“非常好”，“非常糟糕”。此时句子的情感权值就需要用到副词乘以原来的权值。另外，如“非常非常的不好”，这是就需要用副词来乘以副词了。对应函数sentenceAnalysis。 对于字典中词语权值的说明。对于否定词语，系统设置为-1，即与原来的权值相反，这样也满足双重或多重否定的要求。对于不同的程度词语，对应的分为6个层次，分别赋予不同的权值，以表示不同语气的情感权值的强弱。对于褒义词和贬义词，系统简单的赋予1和-1的权值。对应函数sentenceAnalysis。 10.测试数据及结果 系统简单的使用了提供的数据库文件作为测试数据，结果基本满足需求。