西安电子科技大学大数据分析及应用方向常见问题解答.docVIP

西安电子科技大学学院 大数据概念？或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集（data set）相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等；这样的用途正是大型数据集盛行的原因 大数据几乎无法使用大多数的数据库管理系统处理，而必须使用“在数十、数百甚至数千台服务器上同时平行运行的软件”。大数据的定义取决于持有数据组的机构之能力，以及其平常用来处理分析数据的软件之能力。大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。包括了大科学、RFID、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网有哪些信誉好的足球投注网站引擎索引、通信记录明细、军事侦查、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等。数据大特点？ +1C特点： Volume（海量）：通过各种智能设备产生了大量的数据，PB级别可谓是常态，笔者接触的一些客户每天处理的数据量都在几十GB、几百GB左右，估计国内大型互联网企业每天的数据量已经接近TB级别。 Velocity（高速）：大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。 Variety（多样）：大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。 Value（价值）：大数据由于大量信息，其中的信息并不具有很高的价值，但是将其进行统计分析以及计算和比较，可以从中发现大量隐藏的有价值的信息利用这些，可以很大程度上提高 共计 数据体量巨大。从TB级别，跃升到PB级别（1T=1024G;1P=1024T)。 数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。 价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。 哪里会产生数据？ 最大的野生最常见的大数据源之一。 时间数据与位置数据的价值也是大数据的主要数据源。 RFID数据，，。这些都是大数据的数据源，都今后的研究方向。单位：等 ：根据用户，设计更符合用户需求的产品 ：通过分析车辆位置速度以及交通情况，给出更好的出行路线等 运动：分析运动员的动作和习惯，的训练计划及战术指导来临和生活些 大数据会给整个社会带来从生活到思维上革命性的变化 企业和政府的管理人员在进行决策的时候，会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化； 人们所接受的服务，将以数字化和个性化的方式呈现，借助3D打印技术和生物基因工程，零售业和医疗业亦将实现数字化和个性化的服务； 以小规模实验、定性或半定量分析为主要手段的科学分支，如社会学、心理学、管理学等，将会向大规模定量化数据分析转型； 将会出现数据运营商和数据市场，以数据和数据产品为对象，通过加工和交易数据获取商业价值 生活中的广告不再是铺天盖地的到来，广告商会根据用户的不同需求给不同人不同的广告从而达到更准确更有针对性的推送，人们也不再会被许多不需要的广告所打扰。的 大数据技术发展和广泛应用，传统的策略和决策信息方案将受到严重冲击据帮助精确判断捕捉瞬息万变的市场信息 大数据时代的人才需求 当前全球已大数据时代 各大公司都有自己的海量用户数据资料，而这些资料都需要大数据人才对其进行挖掘和探索，发现其中的价值，为公司提出的信息，推动公司发展。各行业急“大数据”型才，数据技术新社会形势的时代宠儿才岗位及要求 （1）大数据分析师 运用算法来解决分析问题，并且从事数据挖掘工作，负责业务数据收集整理分析，对多种数据源进行深度挖掘、深度分析和建模；对各类需求数据进行挖掘、统计建模分析，并提交有效的分析报告，为公司运营决策提供数据支持。 （2）大数据系统研发工程师 负责分布式系统中间件的开发和改进、参与大数据平台管控系统的研发工作、包括大规模非结构化数据业务模型构建、大数据存储等设计问题、根据客户大数据处理应用和服务要求，编写需求分析报告及技术解决方案。 （3）大数据应用开发工程师 负责搭建大数据应用平台、开发分析应用程序。收集、了解行业大数据动态。参与公司级大数据产品和应用规划、大数据技术研究、平台架构设计、应用场景设计，协调指导其他部门应用大数据技术。 （4）数据可视化工程师 具备良好的沟通能力与团队