“大数据”时代决策支持系统新发展.docVIP

“大数据”时代决策支持系统新发展 　　【 摘 要 】 本文在对决策支持系统发展现状及瓶颈进行总结的基础上，分析“大数据”带来的变革及对决策支持系统的积极影响，从系统定位、决策模式、数据处理、信息检索、系统安全等五个方面对“大数据”时代决策支持系统发展趋势进行了展望。 　　【 关键词 】 大数据；决策支持系统；信息检索；非结构化数据 　　1 引言 　　继云计算、物联网成为引领信息化升级热点之后，“大数据”（Big Data）以及与“大数据”相关的研究、产品及应用渐渐步入了人们的视野。决策支持系统（Decision Support System， DSS）结构化、非结构化混合的基础数据特征与“大数据”特征高度吻合。“大数据”技术的深化研究和应用，必将为企业决策支持系统建设和应用带来新的发展动力和更为广阔的发展空间。 　　2 决策支持系统及发展瓶颈 　　决策支持系统是指建立在数据库、模型库、知识库、方法库基础上，以人机交互方式辅助决策者进行半结构化决策的计算机应用系统。 　　决策支持系统概念自20世纪70年代提出到现在四十年来，虽然在零售、金融、医疗、军事等行业和领域均有一些单项应用案例，但在企业中并未大范围普及，主要原因是存在一些技术上的瓶颈。 　　2.1 数值计算语言与数据库语言存在异构障碍 　　目前，计算机语言的支持能力还相当有限， 数值计算语言（ 如Fortran、Pascal、C 等） 不支持对数据库的操作， 数据库语言（如FoxPro、Oracle、Sybase 等） 的数值计算能力又很薄弱，而决策支持系统既要进行数值计算又要进行数据库操作。这个问题一直是决策支持系统发展的技术障碍， 成为决策支持系统发展缓慢的主要原因。 　　2.2 多样化数据在转换与处理上存在困难 　　在运用决策支持系统的数据库、方法库、模型库、知识库进行辅助决策之前，首先需要对来自不同数据源的数据进行转换与清理（ETL）。面对决策支持系统多样化的数据来源，数据清理过程存在数据属性难以统一、规范，冗余数据、错误数据和异常数据难以快速辨识并消除等困难。 　　2.3 传统数据库技术对存储能力及存储方式有限制 　　目前成熟的经典数据库技术结构化数据查询语言（SQL），在设计的一开始是没有考虑非结构化数据的，也就是说以前计算机人员讨论数据的时候，数据的范围限定在结构化数据范畴以内。除此之外，传统的数据库部署不能处理TB级的数据，也不能很好地支持高级别的数据分析。 　　2.4 缺乏数据专家和领域专家复合型人才 　　领域专家为决策支持系统提供知识和经验，数据专家则可进行基于数据逻辑与关联关系的分析与判断。兼具数据专家和领域专家技能的复合型人才的缺乏，使决策支持系统的效用大打折扣，也是决策支持系统的应用发展缓慢的一个重要原因。 　　3 “大数据”及其带来的主要变革 　　目前，业界将“大数据”的特点归纳为四个“V”：一是数据体量巨大（Volume）；二是数据类型繁多（Variety）；三是价值密度低（Value）；四是实时处理要求高（Velocity）。 　　进入“大数据”时代，从数据特点、技术产品与应用等方面都面临着新的变革。 　　3.1 数据呈现出体量大、类型多、电子化的特点 　　一是数据量级从TB级到PB级、ZB级；二是数据类型从结构化数据，拓展到文本、音频、视频、图片、地理位置、Web页面、微博、及时通讯等其他半结构化与非结构化的数据；三是电子数据占比迅速提高。根据中国互联网络信息中心（CNNIC）统计数据显示，截至2012年12月中国网络购物用户规模达2.42亿人，网络购物使用率提升至42.9%。 　　3.2 数据行业新技术、新产品不断涌现 　　数据”存储、分析与管理开源软件Hadoop[1]得到持续应用和发展。多家“大数据”行业巨头，针对大数据的发展在2011年—2012年间亦推出了创新技术和产品，包括易安信公司的DCA、IBM的BigInsights与Streams、甲骨文的Exadata与Exalogic等新产品。 　　3.3 企业应用“大数据”技术进行深层次价值挖掘 　　从国际上看，亚马逊（Amazon）、谷歌（Google）和脸谱（Facebook）走到了“大数据”应用的前列，已开始使用“大数据”的分析结果进行客户管理和市场营销。在国内，马云利用阿里巴巴“大数据”中询盘指数和成交指数的强相关性成功预测2008年金融危机、利用及时更新的淘宝“CPI”预测通货膨胀。 　　4 “大数据”时代决策支持系统发展趋势 　　“大数据”时代的数据技术革为决策支持系统带来了发展机遇，决策支持系统在系统定位、决策模式、数据处理、信息检索、系统安全等方面形成了新的发展趋势。 　　4.1 单项决策支持系统向企业