大数据助力城市规划与发展设计方案.docxVIP

清远市民卡大数据助力城市规划与发展设计方案2017-6文档过程记录表时间修正内容校对人版本号备注2017-6初稿XXX1.0目录1 引言11.1编写目的11.2大数据的来源11.3前景和应用11.3.1前景11.3.2 目前可以落地到大数据平台的应用21.3.3 未来可以落地到大数据平台的应用22 总体设计32.1子系统设计32.1.1 子系统说明32.2子系统架构设计32.2.1 大数据处理系统架构设计总体设计方案 总体流程数据导入流程物理结构系统数据结构设计 系统容错机制72.2.2 单点登录系统架构设计什么是SSO系统？为什么要有单点登录系统？集群与分布式架构，如下图所示102.2.3 大数据查询系统架构设计 软件层次架构设计图. 软件层次架构说明121 引言 1.1编写目的本文档的目的是阐述构建大数据平台的概要设计，本概要设计说明书编写的目的在于全面说明大数据平台第一阶段中的设计考虑，包括程序系统的基本处理流程、程序系统的组织结构、模块划分和功能分配，为程序的详细设计提供基础。本说明书的预期读者为系统设计人员、软件开发人员和项目评审人员。1.2大数据的来源目前的大数据来源主要以公交的应用为基础，由市民卡合用商家消费刷市民卡支付业务，清远自来水公司合作开发的刷卡缴水费，清远旅游景点的旅游一卡通套票，市民卡网上商城及、市民卡线下刷卡支付，基于微信公众号的B2C电商平台等构成。未来将接入政府各个部门的个人数据信息共享和其他企业获取的出行、消费等信息。1.3前景和应用1.3.1前景以“便民、利民、惠民”为服务宗旨，全力提升清远市公共服务的能力和效率，切实为清远市民带来生活便利，实现一卡在手，畅行清远，实现衣食住行全覆盖。拥有强大的数据源，基于市民卡应用的大数据运营，建立大数据共享平台，为智能交通、旅游、医疗、智慧城市及政府决策提供有力的大数据支撑。1.3.2 目前可以落地到大数据平台的应用（1）公交数据分析：公交线路刷卡次数、刷卡金额分析；公交车刷卡次数、刷卡金额分析，通过数据实时分析一方面可以控制公交车的发车班次和时间，减少空车率，疏导客流缓解城市道路压力；另一方面也可以进行线路优化。（2）合作商户数据分析：充值和消费人群的分布范围和总数。（3）活跃卡分析：通过公交刷卡数据分析每个地区的刷卡人数和金额，分析刷卡年龄段占比，分析活跃卡上升或下降比率以及原因。（4）购物商城数据分析：分析市民在市民卡商城购买商品行为的数据；通过算法，推送热点商品；根据客户浏览过的商品，推送相关商品，精准营销。（5）营业厅分布：将营业厅办理业务的各个时段内数据进行统计分析，分析客户办理业务集中时间、办理业务次数，根据数据判断，增加营业厅数量提供服务质量，减少营业厅数量节约资源。（6）改变人工调查不准确而且费时费力的服务评价机制，用“互联网+”建立用户实时反馈评价机制、乘客满意度调查，有效提升城市公交系统的服务质量。1.3.3 未来可以落地到大数据平台的应用（1）在公交车上安装GPS定位装置，通过定位，帮助不在公交车站的用户提供公交车实时位置信息，方便市民利用手机随时随地看公交车在哪儿，还有几分钟到，决定是马上出门还是喝杯咖啡再走。给用户提供实时公交信息，帮助用户避免因信息不全面而无法做出最优出行决策。（2）通过记录每位用户在行驶过程中的实时数据例如行驶车速，所在位置等信息并进行数据汇总分析，而后计算出最佳线路，让用户能够避开拥堵。（3）跟社保局对接接口实现联网，获取市民相关社保卡数据，利用经济学、人口学、数量统计、精算科学等理论，通过建立不同的经济模型，进行政策模拟和进行数据挖掘分析。数据挖掘预测举例，根据收支各类参数预测收支结余情况，通过出生、死亡情况及参保信息，绘制参保人员各年龄的分布及趋势等等。2 总体设计遵循的技术标准 平台基于Ubuntu16操作系统；基于大数据核心技术Hadoop2.7；采用大规模数据处理而设计的快速通用的计算引擎Spark2.1；采用Scala2.2语言结合Spark开发大数据分析算法采用SequoiaDB构建大数据仓库；采用ZooKeeper /item/%E5%88%86%E5%B8%83%E5%BC%8F%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F分布式应用程序协调服务管理大数据集群服务；采用Tomcat作为Web服务器；采用Nginx作为Tomcat集群和均衡负载器；采用Redis作为数据缓存处理技术；本系统软件基于 J2EE 规范进行开发；本系统软件采用 Spring 架构； 采用 Eclipse和IntelliJ IDEA作为应用开发技术平台；采用《清远市民卡编码规范》作为项目开发代码规范；Web 客户支持 Microsoft IE8.0 及以上版本；JAVA SUN JDK 1