大数据流过滤技术及应用-huihoo.pdfVIP

大数据流过滤技术及应用 谭建龙 中国科学院信息工程研究所 大数据流过滤技术 大数据流过滤技术 大数据的特点 产生高速 实时分析而非批量式分析；数据持续产生高速， （Velocity ） 并要求实时处理  电信运营数据:中国联通上网记录每秒83万条，每月1万亿条（300TB ）。  天文数据:美国大口径望远镜每两周对太空观测一遍，每天产生16TB数据，5年 总数据量将达到15PB。  企业运行数据:2000年全球新产生的数据量为1000PB到2000PB ，到2010年仅 仅全球企业一年新存储的数据量就超过了7000PB。 大数据的特点 信息价值 大量的不相关信息，可用信息在数据总量中的 （Value ） 比例低，但其潜在价值巨大 市场空间: 2012年政府、互联网、电信、金融各个行业都存在大数据应用 需求，潜在市场空间非常可观，四个行业将占据一半市场份额。 数据成为资产：数据像货币和黄金一样，是21世界的原油；全球未来5年将 以58%的增速，2017年市场达到500亿美元。 大数据Velocity 引发安全问题 大数据的出现使得数据需要在数千台服务器上进行大规模并行处理 ，任何服务 器之间都需要建立连接 ，提高了对数据中心的网络性能的要求。 软件定义网络(SDN)能够高效地把网络数据流处理从控制数据流的逻辑和规则 中分离出来 ，从而进行按需数据交换。 SDN自身设计中安全性问题考虑不够 ，当前基于SDN实现的网管和安全功能主 要集中在接入控制、流量转发和负载均衡等方面 ，而在安全性机制设计、异常检测 和恶意攻击防护等方面比较欠缺。 传统网络 SDN的虚拟化网络 SDN+DPI的应用感知的虚拟化网络 大数据的传输带来的安全问题 大数据时代 ，数据中心内部、数据中心之间文件量将是海量的 ，而数据中心内部 以及数据中心之间进行文件的传输将会越来越频繁 ，文件传输的稳定性、安全性、 可控性则会带来挑战。 传输层安全协议的目的是为了保护传输层安全 ，并在传输层上提供实现必威体育官网网址、认 证和完整性的方法 ，其中的安全技术主要包括防火墙技术、公开密钥加密技术、数 据加密技术、数字签名、数字时间戳技术、身份认证和安全协议。 大数据Value 引发的安全问题 一方面 ，大数据导致主机及数据资源更加集中 ，为攻击者发起攻击 提供了更多机会。攻击者利用大数据发起僵尸网络攻击，可能会同时 控制上百万台傀儡机并发起攻击，产生更大的危害。 另一方面，攻击者可以最大限度地收集利用更多的有用信息 ，大数 据分析技术使攻击更加精准。 2013年3月 ，欧洲反垃圾邮件组织Spamhaus 遭受到最大流量达到每秒300 GBit 的DDoS攻击 ， 平均以约每秒75GBit ，成为史上最大的DDoS攻 击。 2010年1月 ，PushDo僵尸网络透过传递SSL 由亡羊补牢式的事中、事后处理 封包而对全球315个知名的网站展开DDos攻击。 2009年7月 ， 25家韩国政府机构、银行和媒 体的网站遭DDos攻击而瘫痪。 据Arbor Networks的统计 ，2008年僵尸网 络的拒绝服务攻击超过了每秒40GB的限度。 事前自动评估预测、应急处理转变 大数据Value 引发的安全问题 云计算多租户安全 Hadoop技术被攻击利用 云允许多租户 ，多个不同的用户共 Hadoop为黑客实施攻击提供便利。 享同一云计算基础设施 ，攻击者能合法 另一方面技术本身存在安全隐患。缺乏 利用大数据技术 ，窃取用户密钥或实施 常见的安全控制措施，如无书面的安 攻击。 全、合规、加密、政策支持和风险管