大数据分析用于安全智能.pdfVIP

惠普IT 管理学院 大数据分析用于安全智能 云安全联盟大数据工作组 翻译：李毅 1.0 介绍 图1 大数据的区别点 大数据这个名词代表的是超越了传统数据处理技术能力的大型可扩展信息管理与 分析技术。大数据在三个方面有别于传统技术：数据量（Volume ），数据生成和转换 的速度（velocity ）以及结构化和非结构化数据的类型（Variety ）。 人类目前每天创造2.5quintillion （1 后面18 个零）字节的数据。数据生成的速度 增长迅速，导致当今世界上90% 的数据是在过去两年中生成的。信息生成加速带来了 对可以用于大规模数据集分析的新技术的需求。而美国联邦政府最近用于支持大数据 研究的2 亿美元基金凸显了大数据专题合作研究的紧迫性。 本文阐述了大数据通过提供能够使用大量结构化和非结构的数据的工具与机遇从 而如何改变了安全分析。本文按以下的方式组织：  第二节强调传统分析与大数据分析的区别并简单探讨用于大数据分析的工具。  第三节回顾大数据分析对安全的影响  第四节提供在安全场景中的大数据使用案例  第五节描述了一个用于防病毒勘测数据实验的平台  第六节提出一系列有关大数据在安全分析中的角色的开放问题 2.0 大数据分析 大数据分析-分析并挖掘大数据的流程-能够生成空前规模和特异性的运营与业务 知识。大数据分析工具的的一个主要驱动力是分析并利用业务所采集的趋势数据的需 求。 在存储、处理以及大数据分析中的技术优势包括：（a ）最近几年内迅速降低的存 储和计算能力的成本；（b）用于弹性计算与存储的数据中心和云计算的灵活性和成本 效益；（c ）诸如Hadoop 的新框架开发，它允许客户借助于分布式系统的优势以灵活 的并行处理手段来存储巨量的数据。这些优势构成了大数据分析与传统分析的许多不 同之处（图2 ）。 图2. 技术要素推动大数据的应用 1. 在最近几年存储成本显著地降低。因此，当传统数据仓库以一个特定的时间间隔保 持数据时，大数据应用无限期地保持数据来理解长期的历史趋势。 2. 诸如Hadoop 生态系统和NoSQL 数据库的大数据工具提供了能够提升复杂查询和分 析处理速度的技术 3. ETL （抽取、转换和装载）在传统的数据仓库中是死板的，因为用户需要提前定义 schema 。由此导致在一个数据仓库在部署后可能很难包含一个新的schema 。使用 大数据工具，用户不必被迫使用预先定义的格式。他们可以用丰富的格式加载机构 化和非结构化数据并且选择最好的格式使用数据。 大数据技术能够分成两类：批处理-分析静态数据和流处理-分析动态的数据（图3 ）。 实时处理并不是总是需要贮存在内存里，新的交互式分析通过类似Drill 和Dremel 提供的 数据分析新范式处理大规模数据集；然而，图1 也代表了这些技术的一般趋势。 图3. 批处理和流处理 Hadoop 是最流行的批处理技术之一。Hadoop 框架为开发者提供了用于存储大文件的 HDFS （Hadoop 分布式文件系统）和MapReduce 编程模型（图4 ），它为频繁发生的可以 被分布及并行处理的大规模数据问题而量身定制。 图4. MapReduce 示意图 很多工具可以帮助分析师在Hadoop 之上创建复杂查询并运行机器学习算法。这些工具包 括Pig （一个平台及一个用于复杂查询的脚本语言）、Hive （一个SQL 友好的查询语言） 以及Mahout 和RHadop （用于Hadoop 的数据发掘和机器学习算法）。诸如Spark 之类的 新框架设计用于提升反复重用数据工作集的数据挖掘和机器学习算法的效率，进而提升高 级数据分析算法的效率。 还有很多数据库专门设计用于高效存储和查询大数据，包括Cassandra、CouchDB、 Greenplum 数据库、HBase、MongoDB 及Vertica 。 流处理没有一个类似于Hadoop 的占统治地位的技术，但它是一个在持续成长的研究和开 发领域（Cugola Margara 2012 ）。流处理的其中一个模型是复杂事件处理（Luckham 2002 ），它把信息流视为需要聚合及结合事件（模