使用手册文案.pdfVIP

TRANSWARP

一、概念介绍2

1.1Cube、维度、度量2

1.2OLAP3

1.3数据集市4

1.4RDD和DAG4

二、Holodesk的介绍5

三、Holodesk相关参数检查8

3.1fastdiskdir8

3.2localdir9

四、Holodesk建表语法9

4.1创建Holodesk空表10

4.2创建Holodesk非空表11

五、Holodesk表的常见优化方法12

5.1小文件入库优化12

5.2Holodesk表组织成桶13

5.2.1分桶字段的选择14

5.2.2创建分桶的方式15

5.3Index和Cube19

5.3.1Index19

5.3.2Cube20

5.3.3Index和Cube的使用场景介绍21

5.4MapJoin23

六、优化案例25

6.1对任务并发处理的测试25

6.2对Cube的测试27

6.3按照字存放记录30

6.2对MapJoin测试30

七、Holodesk表名问题36

7.1Metastore和Zookeeper36

7.2内表和外表38

7.2.1内表38

7.2.2外表39

TRANSWARP

一、概念介绍

1.1Cube、维度、度量

Dube（简称Cube），即数据立方体，用以表示具有多数列信息的数据集。如

Figure1.1所示，Cube实际上是对抽象数据模型的空间式的解释，每个Cube都由维度

（Dimension）和度量（Measure）两类集合构成。Cube中的每个单元内容对应着特定维度

值下的度量值。

Figure1.1对Cube的图形示意

维度是对限制条件的统称，即用户希望用以分析数据的字段，这些字段反应事实记录

的特性，具有提供描述性信息或者指定如何汇总事实数据的能力。注意不要被Cube这个

名称误导，维度可以允许大于三维。仅包含维度信息的表称为维度表。

度量是基于维度的标准下对用于计算的数值字段的统称，即只有数值字段才有可能属

于度量，是所有可以汇总的数字数据。包含度量值的表称为事实表，事实表以一个或多个

维度字段为外键，或者理解为索以和维度表相衔接。

例一个主要用于保存销售记录的数据库Sales_Info。

其中，有三张维度表Dim_Product、Dim_Customer和Dim_Orders，包含的字段分别如

下：

2TRANSWARP

TRANSWARP

•Dim_Product：product_id，product_name，manufacturer，production_date

•Dim_Customer：customer_id，customer_name，regionDim_Orders：

•order_id，expiry_date，price

事实表Fact_Sale_Volume包含的字段如下：

•Fact_Sale_Volume：product_id，customer_id，order_id，amount，profit。

其中只有amount和prof