Hadoop 3大数据部署与数据分析实战 课件 03-04-Hive表类型和区别.pptxVIP

三、数据分析

3.4Hive表类型和区别

Hive存储格式

（1）TEXTFILE（默认）——数据不压缩，解析压力大。

（2）SequenceFile——HadoopAPI提供的一种二进制文件。

（3）RCFile——面向列的数据格式

（4）ORCFile——优化的RCFile，降低数据存储空间和加速查询速度。

（5）Parquet——存储嵌套式数据，比如Protocalbuffer、Thrift、json等

（6）Avro——支持大批量数据交换的应用。

（7）自定义

Hive文本文件数据编码

Hive支持逗号分隔值（CSV）或者制表符分隔值（TSV）是两种常用的文本文件格式。

CREATETABLEemployees(

nameSTRING,

salaryFLOAT,

subordinatesARRAYSTRING,

deductionsMAPSTRING,FLOAT,

addressSTRUCTstreet:STRING,city:STRING

)

ROWFORMATDELIMITED

FIELDSTERMINATEDBY‘\001’#列分割符

COLLECTIONITEMSTERMINATEDBY‘\002’#集合元素分隔符

MAPKEYSTERMINATEDBY‘\003’#Map键值分隔符

LINESTERMINATEDBY‘\n’#行结束符

STOREDASTEXTFILE;

Hive的表类型——内部表

内部表（托管表）createtable()….

与数据库中的Table在概念上是类似

每一个Table在Hive中都有一个相应的目录存储数据。/user/hive/warehouse

所有的Table数据（不包括ExternalTable）都保存在这个目录中

删除表时，元数据与数据都会被删除

Hive的表类型——外部表

外部表createexternaltable()…

指向已经在HDFS中存在的数据。

它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异

外部表只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个外部表时，仅删除该链接

内部表和外部表的区别

--内部表，删除的时候会删除元数据和表数据

createtablestu1(namestring,agestring)….;

loaddatainpath/input/data’intotablestu1;

--外部表，删除的时候元数据会删除，但是原始数据不会删

createexternaltablestu2(namestring,agestring)….;

loaddatainpath/input/data’intotablestu2;

Hive的表类型——分区表

分区表

Hive可以对数据按照某列或者某些列进行分区管理

在Hive中，表中的一个Partition对应于表下的一个目录，所有的Partition的数据都存储在对应的目录中。

CREATETABLEemp_part(empnoINT,enameSTRING,jobSTRING,mgrINT,hiredateSTRING,sal

INT,commINT)PARTITIONEDBY(deptnoINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY,;

Hive的表类型——桶表

桶是比分区更细粒度的数据范围划分。桶表是对数据进行哈希取值，然后放到不同文件中存储。

桶表可以获得更高的查询处理效率。

需要设置环境变量：sethive.enforce.bucketing=true;

CREATETABLEemp_bucket(empnoINT,enameSTRING,jobSTRING,mgrINT,hiredateSTRING,sal,INT,commINT,deptnoINT)

CLUSTEREDBY(job)INTO4BUCKETSROWFORMATDELIMITEDFIELDSTERMINATEDBY,;

Hive的表类型——视图

视图

视图是一种虚表，是一个逻辑概念；可以跨越多张表。

视图建立在已有表的基础上,视图赖以建立的这些表称为基表

视图可以简化复杂的查询，但不能提高查询的效率。

createviewmyviewasselectdept.dname,e