软件服务外包大赛需求分析文档(大数据处理).pdfVIP

2014年（第二届）中国大学生软件服务外包大赛

需

求

分

析

项目名称：数据整合分析报表平台

项目类别：

□移动平台应用开发

□数字媒体设计

□物联网应用

√大数据处理

□云计算服务

□信息安全

1

2014年（第二届）中国大学生软件服务外包大赛

项目需求分析

一、项目背景

利用计算机系统，对某公司现有业务系统进行数据整合，打通数

据孤岛形成完整统一数据链条，得到企业级的数据蓝图，做到业务行

为有“的”放矢。从零散化多头管理模式转变到精细化智能化管理，

实现公司管理从实现公司管理从人管人管到可控可度量的制度化管理模式的转变。从而

实现盈利目标可预测，风险点可量化，产品盈利可视化,经营目标可

控化的科学经营模式。

二、项目概述

项目以数据仓库范式原理和维度模型理论为依据，基于hadoop

云集群的实时数据处理系统，该系统集成X公司10个业务系统，完

成数据集成数据仓库构建，基于网络处理实时数据触发传导,专有脏

数据清洗转化，管理报表指标数据支撑，管理控制系统数据支持。该

产品能支持日增量GT级别以上的巨型数据流量实时处理。

三、项目需求

（一）功能需求

1.数据处理平台架构选型要求使用hadoop分布式平台或

云集群平台；

2.数据仓库构建要求数据接口层使用近3NF范式，数据集

市要求使用维度模型且要求最少体现星型模型和雪花模型；

3.数据仓库需具备数据清洗流程和脏数据自动识别处理

2

2014年（第二届）中国大学生软件服务外包大赛

能力；

4.具备集成源业务系统可拓展能力且集成业务系统应在

10个左右；

5.应具备完善的报表展示,支撑业务管理，数据平台处理

完成后得到的产物应能通过管理软件体现过程管理和业务行

为指导。

（二）性能需求

1.数据仓库要求处理流程实时化，即系统拥有秒级捕获增

量数据，自动触发传导数据处理流程能力；

2.处理1T数据量整过数据处理过程应少于3小时，整

个数据处理过程从数据产生到最终数据处理结果生成不应超

过5小时且能支撑GT级别的数据量的数据压力；

3.生成报表系统各报表运行生成时间应小于5分钟；

4.各终端数据处理系统得到数据处理平台的响应时间要

求低于5小时。

（三）运行环境需求

1.软件环境

操作系统及版本：

SunSolaris10

服务器软件及版本：

SunV890小型机

支撑软件及版本列表：

hadoop分布式协议/云集群

数据库环境：

3

2014年（第二届）中国大学生软件服务外包大赛

oracle11.0.0.1g

2.硬件环境

CPU：8*1.8GHz双核CPU

内存：320GBofDRAM

外存：4*146TGHDD磁盘阵列2*FCHB