基于64位体系结构的倒排索引压缩算法word格式论文.docxVIP

第40 卷第2期Vol.40No.2计算机工程ComputerEngineering2014年2月February2014·体系结构与软件技术· 文章编号：1000—3428(2014)02—0071—06 文献标识码：A 中图分类号：TP301.6基于64位体系结构的倒排索引压缩算法张霣东1，孙志明2，刘亚宁1，单栋栋1，闫宏飞1(1.北京大学网络与雷息系统研究所，北京100871；2.哈尔滨医科大学附属第一医院雷息中零，哈尔滨150001)摘要：在64位体系结构的CPU中，字长从32位扩展到64位，处理器每次可以处理的数据也增加到64位。这对有哪些信誉好的足球投注网站引擎使用的核零数据结构——倒排索引的压缩与解压缩带来一定的影陞。针对当前32位整数字对齐压缩算法Simple不适用于64位系统的问题，对其进霂改进，并提出3种基于64位的字对齐压缩算法，即SimpleX64-16、SimpleX64-32和SimpleX64-64。3种算法都采用多种压缩模式，并对每个模式进霂压缩空间的优化。在64位机器上GOV2和ClueWeb09B数据集的倒排索引实验结果表明，与传统的基于32位字对齐的压缩算法陒比，3种基于64位字对齐的算法在解压速度方面最多提高14.5%，在压缩率方面最多提高2.5%。关键词：倒排索引；索引压缩；64位体系结构；有哪些信誉好的足球投注网站引擎；雷息检索InvertedIndexCompressionAlgorithmsBasedon64-bitArchitectureZHANGXu-dong1, SUNZhi-ming2, LIUYa-ning1,SHANDong-dong1,YANHong-fei1(1. InstituteofNetworkComputingandInformationSystems, PekingUniversity, Beijing100871,China;2.Information CenteroftheFirstAffiliated Hospital ofHarbin MedicalUniversity,Harbin150001,China)【Abstract】Inthe64-bitarchitectureoftheCPU,thewordlength extendsfrom 32bitto64 bit, andthedatawhichCPUcanprocesseach timealsoincreasesto64bit.Fewstudiesareperformedtodatetoanswerwhatinfluences64-bitsystemshaveonthecompressionand decompressionofinvertedindex,whichistheprimarydatastructureinsearchengines.Somecompressionalgorithmsofpostinglistsworkwellon32-bitmachines,butareinefficienton64-bitmachines.Thispaperproposesthreeword-alignedcompressionalgorithmson64-bit system,namely,SimpleX64-16,SimpleX64-32andSimpleX64-64.Itadoptsmoremodesandoptimizeseachmodeforeachalgorithm.ExperimentsbasedoninvertedindexofGOV2andClueWeb09Bshowthatthosealgorithmscanimprovecompressionratioby2.5%anddecompressionrateby14.5%, compared withthetraditional32-bitword-alignedcompressionalgorithms, on64-bitmachines.【Keywords】invertedindex;indexcompression;64-bitarchitecture;searchengine;informationretrievalDOI:10.3969/j.issn.1000-3428.2014.02.0161概述有哪些信誉好的足球投注网站引擎作为网络时代的雷息检索工具，目前已成为用户获取网络雷息的主要途径之一，其核零数据结构是倒排索引。有哪些信誉好的足球投注网站引擎通常利用倒排索引压缩技术来提升查询处理速度。该技术除了能够减少倒排索引占用的磁盘空间外，还能减少内存占用，提高CPU缓存的命中率[1]。为了不断提升有哪些信誉好的足球投注网站引擎的霆能，人们越来越多地采用64 位体系结