数据仓库技术及应用 项目5 网上商城购物数据统计和优化.ppt

任务2网购数据索引前后的效率对比*4.对创建好的日期数据索引更新alterindexuseraction_indexonuseractionrebuild;查看日期数据索引的数据是否更新成功selectvisit_datafromuseraction_tablelimit5;任务2网购数据索引前后的效率对比实施*5.对比查询日期数据前五条数据的使用时间普通方式查询：selectvisit_datafromuseractionlimit5;使用日期数据索引方式查询：selectvisit_datafromuseraction_tablelimit5;两者之间的对比图：任务2网购数据索引前后的效率对比6.删除日期数据索引dropindexuseraction_indexonuseraction;查看索引是否存在*本项目主要是对网商数据数据量特别大的时候的优化处理。根据具体的业务需求创建视图或者索引。项目一是按照时间的方式创建视图，从而减少查询时候的数据量过大，导致效率低的问题；项目二是通过选取具体的字段作为索引，从而减少查询数据量达到提高效率。项目小结*任务1视图实现统计30万条网购数据1.何为视图视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口，与基本表不同，它是一个虚表。在数据库中，存放的只是视图的定义，而不存放视图包含的数据项，这些项目仍然存放在原来的基本表结构中。视图可以被定义为多个表的连接，也可以被定义为只有部分列可见，也可为部分行可见。视图只有定义，没有相应的物理结构：在Hive中，只有在metastore中有和HDFS的映射关系，而在HDFS中找不到对应的文件夹。*任务1视图实现统计30万条网购数据2.视图的作用和特点视图的作用：1）可以简化数据查询语句2）可以使用用户能从多角度看待同一数据3）通过引入视图可以提高数据的安全性4）视图提供了一定程度的逻辑独立性*视图的特点：通过引入视图机制，用户可以将注意力集中在其关心的数据上（而非全部数据），这样就大大提高了用户效率与用户满意度，而且如果这些数据来源于多个基本表结构，或者数据不仅来自于基本表结构，还有一部分数据来源于其他视图，并且有哪些信誉好的足球投注网站条件又比较复杂时，需要编写的查询语句就会比较烦琐，此时定义视图就可以使数据的查询语句变得简单可行。定义视图可以将表与表之间的复杂的操作连接和有哪些信誉好的足球投注网站条件对用户不可见，用户只需要简单地对一个视图进行查询即可，故增加了数据的安全性，但不能提高查询效率。当查询变得长或复杂的时候，通过使用视图将这个查询语句分割成多个小的、更可控的片段来降低复杂度。同在编程语言中使用函数或者软件设计中使用分层设计的思想是一致的。任务1视图实现统计30万条网购数据*3.视图创建视图就相当于表的一个延伸，对hive表的各种操作，在视图上都有。创建视图，是基于表来创建得到视图。1）语法介绍CREATEVIEW[IFNOTEXISTS]view_name[(column_name[COMMENTcolumn_comment],...)][COMMENTtable_comment]ASSELECT...CREATEVIEW+视图名称+ASSELECT（查询的内容），是创建视图常用方式。其他参数可以省略，根据需要添加。任务1视图实现统计30万条网购数据

2）创建视图的准备工作例如：创建films表，分为电影名称、上映日期、票房三个字段，数据格式以“，”分割，数据存储路径为“/user/film”：createexternaltablefilms(namestring,datesstring,princeint)rowformatdelimitedfieldsterminatedby','location'/user/film';导入数据，将数据上传到HDFS“/user/film”下：hadoopfs-put/data/dataset/film_log3.log/user/film/查看films表数据的结果：查看films表数据的结果：任务1视图实现统计30万条网购数据

3）创建视图将films表中2014年所有信息创建成视图films_date：createviewfilms_dateasselect*fromfilmswheredateslike'2014%';查询创建后的视图：任务1视图实现统计30万条网购数据*视