基于改进SVM的文本混沌性分类优化技术实现.docVIP

基于改进SVM的文本混沌性分类优化技术实现 　　摘 要： 当前的文本分类方法无法较好地处理海量文本以及文本特征空间数据，不能打破计算机处理性能和内存的约束，实现文本混沌性分类。而云计算平台可向用户提供需要的运算能力和存储空间。提出一种优化SVM的云计算环境下文本混沌性分类方法，设计Hadoop开源云计算系统，通过该系统中的Map Reduce模型对分类过程进行处理，提高分类的效率。采用优化SVM分类方法将混沌文本分类二次规划过程中的不等式限制变换成等式限制，提高海量文本混沌性分类精度。实验结果表明，所设计分类方法具有更高的处理效率，可以对海量文本数据进行准确的分类。 　　关键词： 云计算； 文本分类； 混沌分类； 优化SVM 　　中图分类号： TN911?34； TP301 文献标识码： A 文章编号： 1004?373X（2016）20?0039?05 　　Abstract： The current text categorization methods are unable to deal with massive amounts of text and text feature space data better， and cant break the constraints of computer processing performance and memory and realize the chaotic text classification. The cloud computing platform can provide the computing capacity and storage space for users， so an optimized SVM based text chaos classification method effective in cloud computing environment is put forward. Hadoop open source cloud computing system was designed. The classification process is dealt with by Map Reduce model of the system to improve the classification efficiency. The optimized SVM classification method is used to convert the inequality constraints in the quadratic programming process of text chaos categorization into the equation constraints， so as to improve classification precision of massive chaotic texts. The experimental result shows that the classification method has higher treatment efficiency， and can classify the massive text data accurately. 　　Keywords： cloud computing； text classification； chaos classification； optimized SVM 　　0 引 言 　　随着互联网技术的快速发展，互联网中的文本数量巨增，对这些海量文本进行有效分类，从中采集有价值信息，成为相关人员分析的重点问题[1?3]。当前的文本分类方法无法较好地处理海量文本以及文本特征空间数据，不能打破计算机处理性能和内存的约束、实现文本混沌性分类。而云计算平台可向用户提供需要的运算能力和存储空间。云计算环境下的文本混沌性分类方法成为分析的热点[4?6]。 　　传统的文本分类方法存在一定的缺陷，文献[7]提出基于Map Reduce的分布式潜在语义有哪些信誉好的足球投注网站方法，采用并行化K?means算法将文档矩阵划分成不同分块，再采用潜在语义有哪些信誉好的足球投注网站方法对不同分块进行文本分类，该方法的运算量大，需要消耗大量的资源。文献[8]依据统计模型完成文本分类，但需要假设训练数据和检测数据具有相同的分布规律，但当文本数据量瞬间增加或降低时，会导致分类的文本数据丢失。文献[9]通过聚类采集可信方法以及主动学习塑造分类器的方法，从待分类文本数据汇总过滤可信正例，将剩下的文本当成可信反例，实现文本的有效分类。该方法分类精度高，但容易受到文本混沌性的干扰，存在一定的局限