大数据平台技术架构解决方案.docxVIP

大数据平台技术架构解决方案

大数据平台从分析层到展现决策层，大数据平台拥有完善的解决方案。让普通用户、数据分析专家、IT集成商、数据挖掘人员都能够利用大数据平台，实现

大数据分析

一、大数据应用架构

一枝式大数据架构

基于分布式内存迭代计算框架Spark，全面支持七大应用平台。目前国内涵盖数据存储、数据可视化、数据挖掘最完整产品方案c(数且在导台]f 且 J[ 分捍台 丁

( 分辞台 J[ 开室主台 Jl开辈辈台寸广1

仑仓仑-一

| SQLJDBC/ODBC 11 内存计算服务|

仓仑仑

交互式查询=实时流处理批处理 〉

仑仑仑

Hadoop生态系统/关系型数据库 d万黑

分布式存储-hadoop，spark集群

存储云 内存数据库支撑的高性能查询数据库

计算云

支持TB，PB及数据的大数据服给品铲

分布式集群与内存计算技术

圈噩噩噩噩噩国睡幽矗

国际标准hadoop大数据内存计算技术

[ SPM l

同品ma Reuce RDD F

同

品

i.1

i

.1

.………BiI.:l…I

.......120

ω

E90

zggo

z

?Hadoop

.Spark

、父二F

、父二

7:;元l主;三

数据挖掘应用领域

数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等

·臆蝇富Scorlng.噩

...捆翁饵躏迪

1

1 11

·市蝠嚣曲厦圃噩

·严画集严穗预测幢噩

.回.，..幢噩

·翩翩入J撞失

醺窑Scoring帽E

..嚣保障黯市幢噩

·阳sk幡噩

.揭发黯帷幢噩

·酶计 噩

.垒..幅美榻噩

.商晶帽锢噩

·收入撞..田

·同搞调回噩跚跚幅画

·贸瞰拖欠曾噩锢噩

.锢用押价幅盟

·阜跚跚.噩

·扭保iiI(Warran

·商·彷忻

LTV(Lif.nme内已革方案

二、大数据应用平台

xxx-算法模型

模型

适用范围

逻辑回归

用来拟合事件发生概率的模型，可以用来处理分类问题。

SVM

一般用于人脸识别、语音识别、医疗诊断、文本分类和故障诊断。

朴素贝叶斯

预测类成员关系的可能性，如给定样本属于一个特定类的概率。

决策树

决策树是用二叉树形图来表示处理逻辑的一种工具。可以直观、清晰地表达加工的逻辑要求。特别适合于判断因素比较少、逻辑组合关系不复杂的情况。·银行贷款风险

线性回归

用来拟合一个变量与其他解释变量之间的线性关系。最终呈现回归方程以及模型检验的结果。

岭回归

岭回归是一种专用于其线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法。

Lass。

可以在参数估计的同时实现变量的选择，较好的解决回归分析中的多重共线性问题，并且能够很好的解释结果。

KMeans

根据数据本身结构特征对数据点进行分类的方法

。

等二。元万案

R等其他算法

其他各类算法以及定制算法，包括R语言算法等

特点一

。叫@。…@@…AV。…@理ii@;妇IIU::ISVJ，I镇:i蜡性

。叫@

。…@

@…AV

。…@

22统的关系蜘(mysql…}

列式数据库(Hbase等)

…R语言、其他算法模型等等

非结构化数据(Hdfs、文件系统)大数

据(Hbase、Hive等)

c -

〉可扩展性强

》自定义模型，扩充组件

)iJDBC

)iWebServices

)iRestfulapi

之，手5万冕

特点二

.....，.‘..叶....

.....，

.‘..叶....

.

.-

.....，..

.....，..

P

.咕.-...

.._j.

_

?c

...;.1.....

PB

咽 :

叫，嗣主斗

叫

Q-

-JUH旦旦

，，-- ..

〉基于内存计算平台

〉内存计算

〉运算速度快

〉将模型结果写入共享库

〉将建模结果与其它人共享

);.-BS结构，一站式建模、评估、部署 之L芫万军

特点三

执行数据挖掘时，方法论非常重要.因为准确的方法论能够提高作业速度，能系统地减少各种进展状况，所以选择正确的方法论是很重要的.C阳SP-DM方法论是全球认可的数据挖掘的标准执行方法论.

功能镇块

蚊虫国源

级罐罐型

撞型评估

阶翩

① ·决定工作目的

商业理解·状况评价

② ·初步收集戮露

披露理解·披露技术

③ ·敖黛设定

敛嚣准备·蚊虫逃得

肉，

·披握绝怒目的平{fr

.树立项目计划

·戴据探索

·枪捡敛锺质.

·鼓据清洗/笠J1X./综合

.适用的孩黛形式

〉基于内存计算