数据仓库技术及应用 项目3 基于DML的学员信息系统操作.ppt

任务2学员手机信息数据的插入（2）创建手机品牌销量查询表，表名tbl_brand_count，用于存储每种品牌手机的总销量，表的结构如下图所示：建表语句如下：createtabletbl_brand_count(fld_Brand_Namestring,fld_sale_countint);任务2学员手机信息数据的插入（3）创建手机颜色销量查询表，表名为tbl_color_count，用于存储每种颜色手机销售总量，表的结构如下图所示：建表语句如下所示：Createtabletbl_color_count(fld_phone_colorstring,fld_sale_countint);任务2学员手机信息数据的插入（4）创建手机屏幕尺寸销量查询表，表名为tbl_size_count，用于存储每种屏幕尺寸的手机销售总量，表的结构如下图所示；建表语句如下所示：createtabletbl_size_count(fld_phone_sizestring,fld_sale_countint);任务2学员手机信息数据的插入（5）使用load命令，将part-r-00000，part-r-00001，part-r-00002三个文件的数据导入到原始表中；loaddatainpath'/data/*'intotabletbl_phone_data;（6）完成手机品牌销量查询，并将查询结果插入tbl_brand_count表。insertoverwritetabletbl_brand_countselectfld_Brand_Name,count(1)asfld_sale_countfromtbl_phone_data_1groupbyfld_Brand_Name;（7）完成手机颜色销量查询，并将查询结果插入tbl_color_count表。insertoverwritetabletbl_color_countselectfld_phone_color,count(1)asfld_sale_countfromtbl_phone_data_1groupbyfld_phone_color;（8）完成手机屏幕尺寸销量查询，并将查询结果插入tbl_size_count表。insertoverwritetabletbl_size_countselectfld_phone_size,count(1)asfld_sale_countfromtbl_phone_data_1groupbyfld_phone_size;思考：往Hive表中插入数据，使用load和insert有什么区别？任务2拓展任务3学员信息数据的更新和删除【任务描述】Hive作为分布式数据仓库，其主要功能是进行离线数据分析，很少进行数据更新。但是在个别应用场景下，因为业务的需要可能需要对Hive表的数据进行更新（update）或删除（delete）操作。Hive自0.14版本开始支持update、delete、以及普通数据插入（insert…values）操作，但是需要通过配置文件的配置才能支持。本次任务要求完成修改配置文件让Hive支持更新、删除等操作，并实现职工数据的插入、更新和删除操作。【任务分析】本次任务要求修改Hive的配置文件，使得Hive支持数据update、delete以及insert…values操作。创建测试表和数据，并实现测试数据的插入。创建学员数据表并实现数据更新和删除操作。任务3学员信息数据的更新和删除在某些应用场景下，因为业务的需要，希望Hive能够支持数据的更新和删除等操作，如果想让Hive支持update、delete或insert…values操作，Hive必须首先需要具有ACID语义事务的特征，并支持事务。如果一个Hive表要实现update和delete功能，该表就必须支持ACID，而支持ACID，就必须满足以下条件：1.表的存储格式必须是ORC（STOREDASORC）；2.表必须进行分桶（CLUSTEREDBY(col_name,col_name,...)INTOnum_bucketsBUCKETS）；3.Tableproperty中参数transactional必须设定为True（tblproperties('transactional'='true')）；4.必须修改Hive的配置文件hive-site.xml，以支持事务操作。对于远程模式安装的Hive，Client端和Server端分别进行如