大数据发展背景下数据库技术的研究.docVIP

大数据发展背景下数据库技术的研究 　　摘要：在全球进入大数据时代的背景下，数据挖掘技术和数据云计算技术成为了互联网的热点话题，由于大数据涉及海量的数据量，其巨大的数据规模无法朝廷手工的获取、处理和管理，而需要运用数据库技术，以网络云计算为基础，对海量异构数据之中提取有价值和意义的数据模型，使其数据库内的信息更为实效、真实，并将这些数据库中的信息用于社会各个领域，发挥出最大的数据价值。 　　关键词：大数据；数据库技术；信息 　　在大数据发展的时代背景下，人们对于数据信息的收集和存储有了更为先进的飞跃，在数据信息总量呈几何倍数增长的态势下，数据信息来源并收集于各种传感移动设备和无线网络设备，这些数据信息的庞大已经远远超出人力所能组织、处理和分析的能力，与个别独立的小型数据而言，大数据之下的数据库技术具有更为综合的性能，可以将各种信息和数据关系，进行整合分析，构建多个独立数据库的巨型集合，并生成对海量数据进行处理应用的数据计算模型。 　　一、大数据的界定及特性 　　大数据发展背景下，它不再仅仅代表数据规模，更具有了一种划时代的意义和价值，它意味着对传统计算信息技术的挑战，是对大数据进行分析、处理的新技术和方法，是指在数据庞大到无法承受的状态下，用计算机软件工具进行信息数据捕捉、组织和分析处理的数据集合。大数据决策可以推动数据信息管理准则的重新定位，并在大数据分析和预测性分析不断发展的条件下，大数据会对各领域的管理决策产生颠覆性的影响。同时，大数据还可以推动新技术和新应用的开发，在大数据新技术不断被开发的基础上，数据信息的能量将会以不可预知的速度增大。 　　大数据的特性主要指以下几个方面的内容：（1）Volume。即大数据的庞大体量，一些个人计算机的容量已经到了TB量级，大型企业的容量更是接近了EB量级。（2）Variety。即大数据的类型。大数据总体而言有结构化数据和非结构化数据两大类，在新时代下，各种非结构化数据呈现迅速增长的态势，如：网络日志、视频、地理位置信息等。（3）Value。即大数据的价值密度。通常而言，数据总量与数据的价值密度呈反比关系。（4）Velocity。即大数据的处理速度。在未来迅猛发展的信息时代，对数据的信息处理速度将决定企业的效率和质量。 　　二、大数据发展背景下的数据库技术 　　1 键值存储技术 　　在传统的结构化数据之中，通常采用二维表数据模型，对结构化数据进行存储和分配，以实现不同二维表之间的链接和操作，然而，这种传统的数据库处理技术难以满足人类对数据库高并发读写的需求，也无法满足海量数据存储和访问的需求，使数据库具有较低的扩展性和可用性。 　　在大数据发展的背景下，产生新型的数据库――非关系型数据库，它通过键值与存储相对应，不同的元组可以拥有各自独立的字段，如果有增添键值的情况，则可以不再受到固定结构的禁锢，这种键值对存储的方式也称为KV存储方式，它借助于键值对的方式对大数据进行索引、组织和存储，可以有效地减少读写磁盘的次数，有更好的读写性能。 　　KV存储技术可以用于写操作和读操作，对数据进行简单查询和复杂查询，还可以对过期的数据进行定时的合并操作加以处理。 　　2 BigTable非关系型数据库 　　由于人类对非结构性数据的需求不断增加，由此也催生出了云数据库，它可以满足人们对非结构性数据的需求，可以支持多种数据模型，其中，BigTable非关系型数据库显示出一种多维的排序状态，它不是密集形式而是疏散状态的永久性的模型，利用行键、“列键”以及“时间戳”实现对图索引，它不存在各表之间的链接式操作，整个系统是采用一个“行键”索引的访问方式，来实现对大数据的组织和处理。 　　三、大数据发展背景下数据库技术的应用安全 　　1 巩固网络外部环境，确保数据安全支撑 　　大数据时代背景下，数据信息是一种重要的资产，要以数据库技术为手段，对网络外部环境进行安全建构，要在操作系统层进行漏洞管理和安全维护，并主要通过以下几项技术性内容加以实现： 　　1.1 科学合理地匹配网络资源。在大数据发展的趋势下，网络资源的科学合理匹配是安全运行和维护的前提，要利用网络资源管理程序，对其进行科学的调度和管理，使各种网络资源在良好、安全的运行状态下进行操作。 　　1.2 全面完善防火墙技术。在大数据处理和组织的过程中，要全面构筑和完善数据库系统的防火墙技术，它是网络安全的第一道屏障，可以确保数据库内部数据不受侵犯，对于未知的、非法的访问可以加以有效的拦截，在对数据库访问用户进行权限设定的前提下，对数据库访问并管理的区域进行有效的划分，通过防火墙过滤技术，对安全数据信息放行安全通道，而对于非法数据则予以拦截，从而避免数据库遭受外部的攻击和意外的损害。 　　1.3 全面运行入侵检测技术。