通用数据处理平台研究与设计.docVIP

通用数据处理平台研究与设计 　　摘要：本文通过对各类关系数据库软件的分析总结，以研发通用统计数据处理平台为例，已在灵活性、效率、离线、带宽占用、负荷均衡等方面取得突破，用该平台定义的表，行与列可以对换，行或列可以随意增减、组合，表内和表间审核关系、计算等可以分级定义，且对硬件要求不高，能集数据采集、处理、存储、查询和分析集为一体，做到运行稳定、高效，客户端程序安装后可自动升级，适用于大多数行业。 　　关键词：通用 数据平台 研发 　　中图分类号：TP873 文献标识码：A 文章编号：1007-9416（2012）09-0144-02 　　1、引言 　　自接触以数据库为后台的数据处理软件以来，见证、经历并使用了统计上所有的专业程序、普查程序，通过对金碟、新中大、清华同方等ERP软件和各类库存软件、数据采集软件的分析和使用，明白了统计系统使用的数据处理软件最具代表性，也最复杂。几年前集中精力潜心研究并编写通用数据平台，现将自己的研发经历，分别从系统架构、数据库定位、语言选择，以及在灵活性、效率、离线、带宽占用、负荷均衡等取得突破的几个方面一一概述，为研发通用数据处理平台提供参考。 　　2、研发的背景 　　多年来对全部统计软件及相关行业软件进行了认真的分析和研究，我的感受是：统计系统所需要的软件比其他行业（部门）要复杂得多，不但表种变化频繁，表的行或列也经常增减，不但表中行列之间有逻辑关系、审核关系，也有计算公式，还有限定格式。表间也同样有这些关系和要求。不同行政级别的审核关系不尽相同，当有的数据大于零时则另一个数据必须大于零或小于某个数值，或者有的数据必须为空。极值的限定差别也很大。有的数据需要逐级汇总，是1+1=2的关系。有的数据又不是1+1=2的关系；数据的录入、汇总、查看不仅有级别限制，还有行政区域限制，情况极为复杂。市场上针对固定表式开发的软件水平已经很高，技术也相当成熟，但涉足统计行业的网络软件，成熟的不多，而且灵活程度不够，或者说只适应当前工作需要，不适合统计改革和发展的要求。 　　3、统计报表的特点 　　指标众多、变化频繁、标准没有完全统一；表内表间关系复杂、表样变化快；处理流程各不相同；结果因人而易，需求各有特点；数据量大，时效性强。 　　4、研发的意义 　　统计数据工作平台建设是我国统计事业的“四大工程”之一，它对于提高统计工作效率，降低运行成本，指导宏观经济调控，规范市场秩序，规划城乡建设，促进国民经济和社会的持续发展，具有十分重要的战略意义。 　　5、实现目标 　　能满足各专业的需求，指标可以任意调整、变化，报表行列可以随意增减、组合，表内和表间审核关系可以根据需要变化，能够适用统计行业发展要求，能完成国家的全面调查、抽样调查、典型调查和临时性调查，适用于定期和不定期报表、一次性和临时性报表，对硬件要求不高，有严格的权限限制，集数据采集、处理、存储、查询、分析于一体，终端简洁，可以自动升级、离线工作，稳定、高效、安全、可靠的全功能软件。 　　6、设计的基本原则 　　系统的权限、指标、字典、中间指标、计算结果、计算公式、汇总公式、审核公式、表间关系、审核关系、报表打印等关系式均不在程序中编写，全部设计在系统之外，用数据表保存，通过程序调用，以适应统计工作改革发展的需要。 　　7、数据平台的整体设计 　　7.1 系统架构 　　统计数据工作平台应该采用多层混合结构，报表的定义通过CS在终端完成，公式的定义通过多层架构在终端完成；后台数据库采用SQL Server2005，服务端承担数据的存储、报表格式的转换、公式的分发；前台采用C Sharp（C#）在微软.net Framework 2.0框架基础上开发，通过中间层访问后台数据库，前台程序与后台程序自动握手，当后台更新程序、制度和公式等内容时自动下载，并提示安装，没有新内容时调用本地资源，实现离线工作；前台程序完成数据的录入、计算、处理、审核及汇总，以分摊服务器的工作压力，编辑数据时只传输更新部分内容，以减少网络流量。 　　7.2 系统灵活性设计 　　（1）各报表的每个单元格在后台数据库即是一条记录，以报告期、行政区划及表号等关键标志存储到后台数据库，且唯一，于是数据在前台展示的位置可以灵活变动；（2）在数据处理时，通过存储过程将后台独立的数据记录还原成前台的二维关系表，交给前台处理，以提高效率，处理完成后再删除临时二维表，单元格数据还原成唯一记录。（3）上级定义的报表、公式下级必须无条件使用，各级可以对上级报表指标、公式进行增加补充，但增加补充的指标和公式只适用本级及下级。（4）计算公式和审核公式和表关联。指标的唯一码和表中的相对位置（位置代码）是公式的关联标志，所以指标在表中的展示顺序也就可以灵活处理了。（5）图形展示功能。借助EXCEL插件，所见数据和E