大数据的问题与挑战.docVIP

　　大数据的问题与挑战 摘 要 中国 1/vie 　　大数据在社会政治、经济、文化等人类生活的各方面产生了深远影响，可谓是“得数据者得天下”。然而大数据技术还是不成熟的，面临许多问题，解决这些技术上的难题对我们而言无疑是巨大的挑战。文章主要介绍了大数据面临的问题以及解决问题需要应对的挑战，为大数据的发展起到了一定的推动作用。 　　【关键词】大数据 问题 挑战 　　如今，我们正处在一个数据爆炸性增长的“大数据”时代，收集海量的各种类型的数据，并快速获取影响未来的信息的能力，这正是大数据技术的魅力所在。大数据从产生至今，一直在不断的发展进步，整个社会对大数据技术的关注程度非常高。大数据技术对人类社会具有巨大的价值，在社会经济、政治、文化等人类生活的各方面产生了深远影响。但是目前大数据技术还是不成熟的，技术发展面临许多问题，解决这些技术上的难题对我们而言无疑是巨大的挑战。 　　1 大数据所面临的问题 　　1.1 数据存储难题 　　爆发式的数据增长不仅让数据量大大增加，数据的类型也在变得更加复杂。不同类型的数据如何有效的存储在同一个系统内。这对存储系统的结构和性能提出了新的问题。当今，数据中心使用的传统引导驱动器不仅故障率高，而且具有较高的维修和更换成本。这使得数据的存储成本居高不下。仅仅提高硬件的性能不能满足复杂数据对存储系统的要求。如何提高存储系统的性价比，令数据存储更加便利更加有效，为以后的数据处理分析做好基础工作，是大数据技术的一大问题。 　　1.2 数据分析结果未合理利用 　　运用大数据的预测判断来影响人类的潜在行为，虽说在很大程度上可以帮助政府企业做出更好的决策决定，更好的管理社会。但从某些方面来说，这是对自由意志的一种亵渎，是对公平公正的一种损害，同时也轻视了决策过程中个人深思熟虑的重要性。 　　1.2.1 数据分析影响人们的选择 　　大数据的预测通过对用户数据的深度分析，可以了解获知用户的行为喜好，个人习惯，潜在行为等。企业通过这种分析预测，对用户加以引导以实现自己的目的，这在一定程度上违背了人类的自由意志，人们的行为变成了一种人为地操控。企业利用发达的数据挖掘技术正日益精准地揣摩着消费者心态，并运用各种手段对我们进行“循循善诱”。例如，我们在上网购物时，输入自己想买的商品，很多商家都弹出了相关的推荐商品，更可怕的是，有的企业利用人们的有哪些信誉好的足球投注网站记录和地理位置，在我们浏览网页时植入符合我们需求的精准广告。这无疑在很大程度上影响了人们的选择，左右了人们的决定。 　　1.2.2 数据分析影响政府决策 　　政府对数据的分析利用与企业相比，有过之而无不及，政府需要通过分析收集上来的数据，制定政策，法律法规。问题随之而来，用时如果得当，大数据分析应用，会是政府合理决策过程中的有力武器；倘若运用不当，它就可能会变成政府统治约束民众的工具，轻则伤害公民的利益，重则损害公民的人身安全。 　　1.3 分析处理能力不足 　　从庞杂无章的数据中获取有价值的信息，无疑是一项非常具有挑战性的工作，人类社会很早就开始利用数据，使用数据，但是从来没有像今天这样，需要面对如此庞大复杂的数据。分析利用数据，首先需要技术上的支持。在进行大数据分析之前，还需对数据先进行预处理，包括处理无效值和缺失值、删除重复值等，对大数据来说，这些都是海量数据的“噪声数据”，利用传统的数据分析软件来清理这些“噪声”，处理分析数据，难度较大。除此之外，还需要快速把大数据中的核心数据提取出来，要想高效快速的准确分析这些核心数据，就需要建立高级的分析模型，只有对核心数据进行准确分析，发现数据中的趋势和隐藏的信息，使大数据真正发挥作用。大数据处理分析需要软硬件结合，这对软件、硬件的性能和人才知识水平的都提出了更高的要求。这也是人们不得不面对的一个大问题。 　　2 大数据所面临的挑战 　　大数据给我们带了许多不得不面对的问题，如何解决这些问题，对我们而言是一个个巨大的挑战，突破这些挑战将会把大数据技术推上一个新的高度，?o人类社会带来的效益不可估量。本节针对上文提出的诸多问题，介绍了相应的解决方法，并总结解决过程中遇到的挑战。 　　2.1 数据储存 　　巨量数据存储所耗费的成本，会给企业造成巨大的负担，甚至令许多企业望而却步。数据量的爆发式增长，对存储技术提出了巨大的挑战，急需设计新型数据库与性能更高的存储硬件。 　　2.1.1 开发高效率、低成本的大数据存储系统 　　重复数据删除技术已经进入到存储市场，而且该技术还可以处理更多更复杂的数据类型，这都可以为大数据的存储应用带来更多的价值，提升了存储效率。在数据量不断增长的信息化的大环境下，通过减少后端存储的消耗，哪怕仅仅是降低几个百分点，都能够获得非常明显的投资回报。删除冗余信息，提高存储效率，创新