DB37_T 3432-2018农业大数据 数据处理基本要求.pdf

ICS 35. 240L 70DB37山 東东省地方标准DB 37/T3432—2018农业大数据数据处理基本要求Agricultural big dataBasic requirements for data processing2018-10-18发布2018-11-18实施山东省质量技术监督局发布 DB37/T 3432—2018目次前言1I1范围2规范性引用文件3缩略语4术语和定义5概述.6数据采集7数据传输8数据预处理，9数据存储.10数据分析，11可视化展现附录A（资料性附录）农业大数据采集领域附录B（资料性附录）农业大数据分析场景示例 DB37/T 3432——2018前言本标准按照GB/T1.12009给出的规则起草，本标准由山东省农业厅提出并归口。本标准起草单位：山东省农业信息中心、1山东省标准化研究院。本标准主要起草人：郑男、任万明、赵硕、王钧、毛向明、韩雪梅、张媛、郭守辉、逢锦山、史丛丛，刘晓宇， DB37/T 3432—2018农业大数据数据处理基本要求1范围本标准规定了农业大数据处理基本要求，包括数据采集、传输、预处理、存储、分析和可视化展现等环节要求本标准适用于山东省农业领域大数据的处理、分析及应用。规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件凡是不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。DB37/T3431—2018农业大数据标准体系3缩略语下列缩略语适用于本文件，PB：拍字节(Petabyte)4术语和定义DB37/T3431一2018界定的本语和定义适用于本文件5概述农业大数据处理是通过数据采集、传输、预处理、存储、分析、可视化展现等一系列操作，从农业大数据中获取价值信息的过程。农业大数据处理环节包括但不限于：a)数据采集：通过人工或自动方式对农业各领域数据进行采集，农业大数据的采集领域参见附示A;b)数据传输：对采集的数据按约定方式进行安全传输c)数据预处理：按照预处理操作流程将数据处理为易于存储和分析的规范格式：d)数据存储：对数据进行存储和管理，实现对各种数据的有效组织：e)数据分析：对存储数据计算和分析，获取有价值信息和知识：f)可视化展现：将数据分析结果以直观方式显示给用户，并与用户实现交互。6数据采集农业大数据采集要求包括但不限于： DB37/T 3432—2018a)应明确数据采集的目的和用途b)应依据数据采集需求确定数据采集范国、选取数据采集方式、约定数据采集周期c)应规范数据采集操作流程；应跟踪和记录数据采集过程：e)应从数据完整性、准确性、一致性等方面控制数据采集质量。7数据传输农业大数据传输要求包括但不限于：a)应根据需求选取数据传输方式：b)应明确数据传输周期，按照约定频次传输数据：c)应满足数据完整性、准确性等可靠性传输要求：应满足数据传输安全性要求。数据预处理农业大数据预处理要求包括但不限于：应制定数据清洗规则，对缺失数据、格式错误数据、逆辑错误数据等脏数据进行清洗：b)应将不同来源、格式等数据进行集成：c)应在数据完整性基础上将数据集归约表示：d)应将数据格式转换成适用于数据存储和分析的形式e)应及时对预处理后的数据质量进行评估。9数据存储农业大数据存储要求包括但不限于：a)对象存储、过程数据存储、结构数据存储等不同类型的数据存储应满足相对应的存储要求：应满足大数据存储技术的高可靠、高可用、可扩展以及高性能等要求：c)应满足PB数量级以上的数据存储要求：d)应满足数据一致性、完整性和可用性等存储质量要求：应制定数据存储安全性措施和策略。10数据分析农业大数据分析要求包括但不限于：数据分析目的应符合国家法律法规要求：b)应满足分析数据完整性、唯一性和有效性等质量要求：应根据分析场景构建高可靠、高有效的分析模型：d)应根据分析模型选取数据分析方法，常用的数据分析方法包括聚类、分类、关联分析、深度学习等：应从数据分析结果的可用性、准确性等方面进行质量评价。农业大数据分析场景示例，参见附求B。2 DB37/T 3432—201811可视化展现农业大数据可视化展现要求包括但不限于：a)应根据需求对敏感、涉密数据进行脱敏脱密操作：b)应满足交互式可视化分析要求：c)应满足可视化展现形式多样化要求：d)应满足数据实时动态展现要求：e)应满足数据间关联性突出展现要求：f)应满足展现内容的清晰、直观、形象等要求。3 DB37/T 3432—2018附录A（资科性附录）农业大数据采集领域农业大数据采集领域见表A.1。表A.1农业大数据采集领域序号环节领域-生产大田种植、设施农业、畜禽养殖、水产养殖等.经营农业农村电子商务、体闲农业、民宿策游、农产品期货交易，以及农产品市场追踪和电子监控等.管理农