无人机探测信息处理系统数据查询优化的研究.docVIP

无人机探测信息处理系统数据查询优化的研究 　　摘 要 大数据查询经常出现系统响应时间过长、系统资源占用过多等一系列问题，是无人机探测信息处理系统处理性能的瓶颈。系统采用了一系列查询优化技术：合理设计表结构、内存优化、索引技术、分区技术等，从而实现数据查询的高效性、稳定性。 　　【关键词】Oracle 无人机信息处理系统 查询优化 　　1 概述 　　无人机在民用和勘探、应急等方面的应用越来越多，探测信息处理系统需要实时处理、存储海量探测数据，这对系统数据查询的高效性、稳定性、操作性提出了较高的要求。因此，如何减小系统访问响应时间、提高数据查询效率是提高系统整体性能的关键。本文基于Oracle数据库，介绍了无人机探测信息处理系统中的数据查询优化策略。 　　2 无人机探测信息处理系统 　　无人机探测信息处理系统在执行探测任务过程中，实时或准实时地综合处理信息素材，负责信息的生成，共享分发，在任务执行过程中为整个探测系统提供支援信息，是无人机探测任务系统的分析处理中心。 　　无人机探测信息处理系统接收探测分系统各类素材。对素材进行综合处理，按照探测方向、探测航线等综合条件，完成合批、信号查新和识别，生成并维护特定区域内的信号背景数据库；对多种探测手段获取的已测向信号进行综合多点交叉定位，获取定位结果；综合处理各类目标、态势结果，进行属性综合，形成探测信号清单，完成信息上报，最终输出综合信息产品。见图1。 　　无人机探测信息处理系统需要解决在低配置环境下的高性能存储访问、大容量数据存储等问题，具体如下： 　　（1）高性能数据存储。探测信息处理系统需要实时处理、存储80条/秒数据。 　　（2）数据比对。系统在接收探测信号时、需要与背景数据库中历史数据进行查新验证、识别等数据比对。 　　（3）大数据量查询。每次探测任务的数据量为300000条数据，在信息产品生成需要进行大数据量的查询访问。 　　无人机探测信息处理系统的部分数据库表设计如图2所示。 　　3 数据库查询优化 　　如果想要设计一个性能良好的Oracle数据库方案，首先要对Oracle数据库表结构进行合理的设计，如果数据库本身设计就不是很合理，那么对Oracle数据库的查询优化就会大打折扣，因此，Oracle数据库的查询优化应该从合理设计数据库结构开始，数据库设计分为逻辑设计和物理设计两个阶段。在设计时应遵循基于第三范式的基本表进行设计，同时也要基于基本表进行扩展设计。 　　对系统硬件的升级也是提高查询速度的一种很重要的方法，比如更换或升级服务器的版本，但文中的数据库以Oracle为例，主要采取以下措施来提高查询速度：使用索引、分区、Oracle内存结构优化等手段对数据库的逻辑结构进行优化。 　　3.1 Oracle数据库内存结构优化 　　调整Oracle内存参数，包括增加共享池（shared Pool）的命中率，减少系统响应时间，增加数据缓冲区（Library Cache）和字典缓冲区（Dictionary Cache） 的命中率，调整重做日志缓冲区（Log buffer）的大小，减少系统等待时间。优化后，数据库的STATSPACK REPORT如表 1所示： 　　根据库缓冲区命中率公式： 　　最终得到优化后的库缓冲区命中率为：0.93968。 　　3.2 索引技术 　　索引用于加快数据定位速度。通过使用索引，可以大大降低I/O次数，从而提高SQL语句的访问性能。因此，索引通常建立在经常进行查询操作而不经常进行增加、删除、修改操作的列上。Oracle中常用的索引为：B*树索引和位图索引。无人机探测信息处理系统表中采用了B*树索引，因为FIXFREPARM表中SignalType列经常被用于查询条件，所以在SignalType上创建索引： 　　在执行FIXFREPARM查询语句：SELECT ID， FREQUENCY， MODULATIONTYPE from FIXFREPARM where signaltype=：v_signaltype时，在创建索引前后的执行效率如表2所示。 　　3.3 分区技术 　　分区最早在Oracle8.0中引入，这个过程是将一个表或索引物理地分解为多个更小、更可管理的部分。目前Oracle中有4种表分区的方法：区间分区、散列分区、间隔分区、引用分区 。表中采用区间分区如下所示： 　　分区技术的优势： 　　（1）减少数据损坏的可能性，提高了数据安全性。 　　（2）各表分区可以独立备份和恢复，极大地简化了常规的数据管理任务，增强了数据库的可管理性。 　　（3）控制分区在硬盘上的分布，做到灵活分配磁盘空间，以均衡磁盘I/O，改善数据库的性能。 　　（4）表分区在构建TB级数据量的系统或对可用