大数据关键技术和在农业中的可能应用.docVIP

成绩 中国农业大学 课程论文 （2014-2015学年秋季学期） 大数据关键技术和在农业上的可能应用 大数据就是大交易数据、大交互数据和大数据处理的总称。大数据带来了信息技术的变化，表现在数据处理方法由原来的收集、精选变为生成、粗筛，数据模型因大量的数据变得简单，利用集群的计算模式和高效并发的存储方式。 大数据的基本处理流程如下， 采集。利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作，特点和挑战是并发系数高； 导入/预处理。将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。特点和挑战是导入数据量大。 统计/分析。统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。 （4）挖掘。基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求，特点和挑战是算法复 杂，并且计算涉及的数据量和计算量都大。 大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。 一 大数据关键技术 1.云计算 如果说云计算改变了IT,那么大数据则改变了业务。通过大数据的业务需求，为云计算的落地找到了实际应用。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 2.采集技术 与传统数据采集相比，大数据技术在数据采集方面采用了一些新的方法。1）系统日志采集方法。很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。2）网络数据采集方法：对非结构化数据的采集。网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正自动对于企业生产经营数据或学科研究数据等必威体育官网网址性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。