基于Hadoop的农技推广数据处理的研究.pdfVIP

基于HadOop的农技推广数据处理研究 郭雷风，王文生，谢能付 (中国农业科学院农业信息研究所，北京市100081) 摘要；本论文针对农技推广过程中的海量数据处理问题，提出了云计算的解决办法。介绍了云计 算在其他领域的应用情况．然后利用开源的Had00p框架，以中国农业推广网为平台，选取了各地 连线栏目，对其中所包含的科技推广信息按照点击量进行重新排序，为农业领域的大规模数据处 理提供了一种解决思路。最后，对云计算在农业领域的其他应用进行展望． 关键字：农技推广；数据处理：云计算；Had00p； 中图法分类号：TPl82 文献标识码：A 文章编号： Data Extension Researchon Processir培ofAgriculturalTechnology on Based Had00p CmO L崩-fj跚g，WANGW-en·sheng)(ⅢNeIlgIfu hfo咖ation hIstim皖Chinese i0008l’ (Ag糸ulmral Aca曲呵ofA鲥cuIturalSciences，Beijing on da主a in m醛s exI啪sion，tbis Ke岫：F0cu如gprobl删略of p，Dcessinga黟jcu删t妇ology the ofcloIld abfiefin删uctionabout onotIIcr paper coIlcept compucinggiVing pre∞nt its印pHcatioIls Ex呦si∞W曲si谚’弱a nle fields．n既tal(ing‘℃tli越A班cultumlpla响咖，tbispap％戚ngop蛐 jn硒rmatiDnwhichincludediIl血c‘‘GeDiLi锄Jie” sotlr∞HadDop船H诎。肛sor眭ⅪtheRchnology c0Iu眦s tome‘℃LickNum．’． acc∞ding Abstract：A班culnl】m蛐0109y助【teIIsion；DataProo酷sing；a叫dCo唧嘶g：Had00p 农业技术推广，是指通过试验、示范、培训、指导以及咨询服务等，把农业技术普及应用于 农业生产产前、产中、产后全过程的活动。近年来，中央高度重视基层农技推广体系改革和建设， 农业部启动了“农业科技入户工程”、“基层农技推广体系改革与建设示范县”等一系列项目。各 种农技网站不断完善和发展，中国农业推广网、中国农技推广网等国家级农技推广网站以及地方 农技推广网站界面友好，功能强大，信息丰富，加快了农技推广信息的传播，为广大农技推广员、 农资经销商和种植大户带了便利。但是，随着信息技术的发展，农技推广过程中产生了大量的数 据，如中国农业推广网的科技信息将近百万条，中国农技推广网月访问量达到了上万人次左右。 面对农技推广服务过程产生的异构、多维、动态的海量数据，传统计算技术在解决海量数据存储 和处理方面不仅会耗费巨大的计算开销，而且其性能也明显下降。 Hadoop是一种开源的分布式并行数据处理技术，在国内外的互联网企业已经广泛应用。 建了14P的存储；中国移动公