大数据安全培训.pptVIP

人每天从起床到晚上睡觉都会产生数据 * 我想，我们最直观的感觉上对于前面两种定义的最深刻的印象就是“大，海量” 字面上顾名思义，“大数据”也自然需要很大。 但是大数据仅仅是大么？——不是的，比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值 下面我们先来分析一下一些大数据的场景特性，然后再试图引出具体的大数据特征和内涵。 * 我们可以看到上面图中很多大数据应用的场景特征 ——海量，某社交网络（左上角） ——异构，各种采集设备收集的杂乱数据（右上） ——劣质，很多场景中数据都含有很多杂质 ——高维，很多场景下数据的维数非常高，有维数灾难，典型的有科学计算，如宇航，生物信息学等。（右下） 中间的两幅图， ——上面的那幅描述了 海量和高维 的结合 ——下面那幅则是北京交通道路的刻画。 面对那么这么多的场景，我们从中总结一下，大数据的特征。主要有“四个V”。 * 虽然没有非常严格的定义，但是国际上大家已经对大数据的特征形成了一个普遍的认识——4V特征。 我自己把这4V特征分别凝练为四个字，“大”，“杂”，“低”，“快” * 下面我们通过一个例子，“大漠淘金”来形象化说明。 ——大，海量沙漠，无边无际 ——杂，很多杂质，什么都有 ——低，金子太少，密度很低 ——快，必须要快，满了沙丘就移动了，之前的勘测时效。时效性 * * * * * 大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT 领域新一代的技术与架构。 * * * * 主要应用有图片、视频、音频、人脸识别的涉黄、涉赌、涉暴、涉恐等检测 * * * * * * * * 空间大数据 目录 一、大数据的涵义与研究意义 二、与空间信息和位置相关的大数据 三、空间大数据的应用 四、空间大数据的存储 五、总结 一、大数据的涵义与研究意义 大数据：大型复杂数据集的聚合，这些数据集的规模和复杂程度常超出目前数据库管理软件和传统数据处理技术在可接受时间下的获取、管理、检索、分析、挖掘和可视化能力。 一、大数据的涵义与研究意义 大数据的特点： １）Volume（体量大）：大量TB级以上已有的数据等待处理； ２）Velocity（速度快）：需要响应以s甚至ms计的流数据不断产生； ３）Variety（模态多样）：数据来源和类型繁多文本、图片、视频等结构化和非结构化数据并存； ４）Veracity（真伪难辨）：由于数据的噪音、缺失、不一致性、歧义等引起的数据不确定性； ５）Value（价值）：大数据使得人们以前所未有的维度量化和理解世界，蕴含了巨大的价值，大数据的终极目标在于从数据中挖掘价值。 大数据的核心：预测 一、大数据的涵义与研究意义 研究大数据的意义：科学进步 图灵奖获得者吉姆?格雷提出：大数据是科学研究的第四范式，是从计算密集型科研发展到以大数据为基础的数据密集型科研方法。 科学研究方法的发展 真正的革命并不发生在分析数据的机器，而在于数据本身和我们如何运用数据。 一、大数据的涵义与研究意义 研究大数据的意义：社会变革 2009至今美国政府全面开放了40万联邦政府原始数据集。大数据已成为美国国家创新战略、国家安全战略、国家IT产业发展战略以及国家信息网络战略的交叉领域、核心领域。 21世纪数据的价值有可能等同于20世纪的石油，大数据研究使得人们降低了对因果关系的渴求，而关注相关关系。只需要知道是什么，而不需知道为什么。这将使得理解现实和做决定的基础也将受到根本性挑战。 社会 价值 一、大数据的涵义与研究意义 研究大数据的意义：经济增长 二、与空间信息和位置相关的大数据 指直接或间接关联着相对于地球的某个地点的数据， 包括自然地理数据 和社会经济数据。 空间媒体数据 地理数据 轨迹数据 包含位置的数字化的文字、图形、图像、视频影像等媒体数据，主要来源于移动社交网络、微博等新型互联网应用 指通过GNSS等测量手段以及网络签到等方法获得的用户活动数据，可以被用来反映用户的位置和用户的社会偏好。 位置大数据的分类 二、与空间信息和位置相关的大数据 地理数据 内容：土地覆盖类型数据、地貌数据、土壤数据、水文数据、植被数据、居民地数据、河流数据、行政境界及社会经济方面的数据等。 特点：数据体量大、较为规则化、变化较慢。 二、与空间信息和位置相关的大数据 轨迹数据 内容：个人轨迹数据、群体轨迹数据、车辆轨迹数据等 特点：数据体量大、信息碎片化、准确性较低、半结构化 出租车轨迹数据示例 二、与空间信息和位置相关的大数据 社会交流、个性化信息推送、