基于数据仓库的证券研究信息平台.docVIP

基于数据仓库的证券研究信息平台 摘要: 本文以作者参加的一个实际系统为背景，针对我国券商证券研究的现状，对证券公司研究信息平台的实现目标、整体构架、软件体系结构、数据结构和功能结构进行了探索，提出了系统的设计思路 关键词：证券，数据仓库(DW)，联机分析处理(OLAP)，数据挖掘(DM),软件总线 一.引言 计算机及信息技术的发展日新月异，证券公司的研究人员所面对的不再是简单的数据，而是大量的不同层次的信息。比如目前我国大多数证券公司借助巨灵报刊检索系统、经纬证券咨讯系统、Wise系统、路透新闻及一些付费的专业网站中的信息和资料进行研究工作。面对如此庞大的信息量，研究人员遇到的问题往往不是缺乏信息，而是不知如何寻找信息、整合和利用信息。另外，随着中国证券市场的逐步成熟，证券公司对各种定性研究与定量研究都提出了更高的要求，但是目前的资源并不能满足这种要求。主要问题在于重复的信息多和缺乏一些加工过的数据和模型。为了提高研究人员的研究质量，建立一个以数据仓库为核心的研究信息平台，使研究人员可以根据自己的需要查询和分析数据、建立数据模型和进行数据挖掘势在必行。本文针对我国目前的综合类券商研究中心的研究工作，对证券研究信息平台的目标、整体构架、软件体系结构和功能模块的设计进行探讨。 二．系统目标 1．本系统应建立成一个证券公司综合性研究信息库，信息来源包括证券公司内部的相关数据、从专业的信息服务商购买的数据和从相关网站下载的数据等；数据格式包括：文本文件、Word文档、PDF文件、HTML文件和关系型数据库等，从内容上来说可划分为： 宏观经济信息：有关宏观经济运行、宏观经济政策信息； 证券业信息：有关证券业发展趋势、监管模式的变化、证券公司发展战略、证券公司经营状态等方面的信息； 行业与上市公司信息：有关行业的经济发展信息、上市公司基本信息和财务信息； 证券市场信息：有关股票、债券、投资基金的发行、交易、方面的信息； 政策法规信息：全国人大、国务院、中国证券监督管理委员会、中国人民银行等国家机关及监管当局所颁布的金融证券类法规。 国际证券市场信息：美国、日本、欧洲股市的上市、交易、指数等信息。 证券公司进行股票承销的数据、下属营业部的股票交易数据等 2．为研究人员工作建立方便的的数据库查询系统 信息平台首先需要综合现有的各类数据，在它们的基础上进行再加工，使数据适合进行复杂查询。同时为将来新的数据来源，新的应用和新的分析系统提供方便的接口。分析人员能够通过系统所提供的查询工具查询到所需的数据。 3．为研究人员提供一套完善的数据分析和挖掘工具。 复杂查询的实现可以大大拓宽研究人员的思路。在解决了数据的来源问题后，为了满足研究人员更深层的分析需求，例如资产定价、证券的风险评估、证券走势的预测等，系统应提供一系列的专业数据分析工具来支持他们的研究。 4．为研究人员提供一个个性化的平台。 证券研究员需要为公司决策者提供专业意见，系统整体设计要根据研究员的研究方向来构造，例如系统框架中要包括公司各项业务决策、风险度量与监控、行业与上市公司等。系统开发时应充分考虑到不同研究方向所需查询和分析工具的不同。 5．实现研究成果的管理、评估和共享，充分发挥研究成果的作用。 将研究人员的研究成果也融入到系统中。这样使到成果本身能够作为一种信息，为将来的再利用、后人的深化研究、甚至分析人员评估机制的引入都打下良好的数据基础。 6． 系统用户主要是证券公司研发中心的研究人员，兼顾其他部们(如投资银行部、投资自营部、投资理财部)的研究人员使用。 三.系统的整体设计 为了使整个系统能够满足将来各种各样的数据分析需求，在建设中借鉴数据仓库、三层结构以及软件总线的思路。系统整体构架如下： 1．综合数据库 源数据种类繁杂，而且各数据源是异构的。有大型的数据库系统，有个人数据库产品或电子表格，甚至于文本文件。为了保证数据仓库中数据的完备性，必须将分析需要的数据进行整合。综合数据库是由原始数据经过初步的整理后得到的，除了组织形式可能有不同以外，基本保留了原始数据的本来面目，并没有增加新的信息。 2．数据采集系统 由于系统的源数据将不断地进行更新，因此，需要开发一个统一的数据采集系统，把分散在各数据源中的数据按照预定的方式录入到综合数据库。具体来说，就是开发一个数据录入可视化程序生成器，功能是 输入事先定义好的数据库结构和属性间的语义关系； 自动生成一个数据管理程序，该程序具有下列功能： 通过一个美观、操作简单的数据录入界面录入数据； 可以对数据进行条件检索； 对数据进行修改和管理。 3．ETL(Extract Transport Load)模块