浅议统计部门在数据处理平台设计中应考虑问题.doc

浅议统计部门在数据处理平台设计中应考虑问题摘要：回顾历来统计部门使用过的数据采集、处理软件系统，真是种类繁多，重复开发的也不在少数。这是有其客观历史原因的：统计报表制度还没有理顺；缺乏自顶向下设计的勇气和决心；统计各专业的业务差异很大；缺乏经费。经过这么多年的发展，而今终于时机成熟，国家局决定在全国推广一套表。本文根据我市统计人员近年来使用数据处理软件的感受，结合一套表的特点对数据处理平台提出了几点建议，希望起到抛砖引玉的作用。 关键词：数据处理平台；一套表 中图分类号：TP31 文献标识码：A 文章编号：1001-828X（2012）07-0-01 数据处理平台在本文中含义较为宽泛，不仅包含数据处理系统，也包含数据采集系统。在国家统计局推广全国一套表之前，统计系统应该说还没有真正意义上的数据处理平台，各专业开发自己领域的数据采集处理系统，良莠不齐，更换频繁，基层除了要处理繁忙的统计任务，还要花精力学习不同的软件操作，叫苦不迭。部分发达省份因此推出具有地方特色的平台化产品，它只涵盖少数重要的专业，虽然减轻了基层的一部分负担，但省级还需导出数据上报给国家局的各专业数据处理系统。 一、由统计部门制定数据处理平台的标准化业务规范 对统计部门来说，这听起来好像是件非常困难的事情，但必须这么做！看看以前为各专业开发的数据处理软件就知道是多么的“琳琅满目”，软件开发公司根据他们自身的特点设计出各式各样的软件，审核公式语法迥异，数据录入界面变化很大，汇总表设计方式完全不同等等。 数据处理平台，就是抛弃大部分的各种专业数据处理软件，把它们整合为统一的软件系统。对于基层用户来说，只要掌握一种软件的操作方式，就能应用到大部分的专业数据处理上。放手让公司开发，只要满足需求，好像也没什么问题。实际上不然，原因有二：第一、统一平台是全国范围内推广，涉及几乎所有的专业，换个新平台的成本非常高，不像以前可以轻松换个专业处理软件。第二、数据处理平台不是一个紧密不可分割的整体，它分为数据采集和数据处理两大子系统，由于平台规模庞大，在全国范围运行，不仅包含统计机构，还包含数量巨大的上报单位，因此数据采集和数据处理两系统不可能由同一个公司开发。为了打破垄断，光数据采集系统可能也要由不同公司竞争开发，各省统计机构自行选择哪个公司的产品。另外，在数据开发环节，地方统计机构都有自己非常个性的数据处理需求，对于统一的数据处理系统是不可能满足所有需求的。由于存在多个系统的情况，必然存在数据交换。 经过这么多年的实践，各级统计部门对数据处理软件都能提出一定的要求，无非是需要专门的机构对这些要求进行收集、整理，形成可以指导软件公司进行开发的规范。国家统计局的计算中心可以成立专门的小组负责此事，他们也可以聘请专业的咨询公司来协助。 (一)统一的指标描述方法 指标是统计数据处理软件中最小的单位。指标的信息有：指标代码、指标名称、指标数据类型、使用场合等。指标代码可以没有，表示此指标还没有标准化，只根据其名称描述。举个例子，比如对于“资产总计”这样常用的指标，如果它的内涵和外延是明确的，就可以用一个永久的代码(如G001)赋予它，这样，在任何地方看到这个G001指标，我们就知道它表示“资产总计”。它的好处是，从不同软件中导出的标准格式数据可以自动地导入到其他软件中，如果里面的指标都是标准化的。 我们还可以规定，所有的财务表、基本单位表内的有效数据都必须是预先定义的指标。即先定义指标，再定义表格。指标可以是全局通用的，也可以是只局限于某些专业使用。 (二)标准的数据交换格式 规范数据交换的格式非常重要，通过数据采集系统获得原始数据后，需要把这些数据转给数据处理系统，也可能某地方机构把这些数据导入到第三方开发的数据处理系统中，或者专业同志希望把本专业的数据转换成FoxPro或者Excel进行简单的分析。上面所有这些活动都涉及数据交换，如果双方没有约定格式，接收方就无法识别发送方的数据。 分析现有的数据交换格式，概括为两类。一类是常用格式，即这类格式是某第三方软件产品的格式，往往是大众普遍熟悉的。如FoxPro、Excel或者文本格式的CSV文件。另一类是私有格式，即每个产品都有其用于数据导入、导出的私有格式，如A公司的数据采集系统使用格式A，B公司使用格式B，他们不能识别对方。常用格式仅满足简单的数据交换，因为他们不包含也不理解指标的相关信息；私有格式通常是一种高效的格式，但无法同其他系统共享，只能用于系统内的备份还原或数据上报。 作为统计大系统，有贯彻全国的统一平台，还有未纳入平台的部分数据处理系统，围绕统一平台的各种二次开发的数据处理系统，他们之间都需要一种称为“行业标准”的数据交换格式，简称行业标准格式，这正是我们所缺的。行业