数据分析系统阶段总结解析.docx

波动系统阶段总结1 背景波动系统最开始开发给ad-tech内部使用，到提供给客服、销售同学使用，再到数据传达至代理商，经历了几次大的变化，现在正式交接运营，由运营同学维护，所以有此阶段总结。2 需求从我接手后，波动系统经历了如下需求：优化页面加载时间，将每日cdielog加载改为多线程方式；在各页面添加导出全部代理商，全部客户信息，top行业，查询词，pid导出；在客户分析页面添加上涨下跌top20，top100代理商数据，同时添加导出全部功能；波动系统加载时间入绿皮；增加波动系统权限管理功能，所有用户必须经过认证和授权之后才能访问；添加每小时导出波动系统总消耗数据，与张黎的每日消耗数据对比；增加波动消耗报警短信和邮件功能，每日定时发短信和邮件给代理商；两次重新获取并恢复用户操作日志；系统交接运营，调整线下脚本和线上代码，分离数据获取和数据制作流程；消耗报警短信改为长短信，并上线；2.1 线下数据层变更由于波动系统提交运营，线下数据层被拆分成了两个部分：数据获取和数据制作，数据获取由张黎负责，波动系统只负责数据制作。目录结构也发生了变化：目录功能Conf线下数据层的配置文件：ca.confDataCdielog及其它数据文件的存储目录Result从线上数据算出来的PV数据，按天存储Log线上程序输出，邮件、短信和消耗总表数据Script线下数据层的数据制作脚本所在目录Op_script线下数据层的数据获取脚本所在目录Temp目前temp目录只用来存储配置线下短信白名单的文件脚本和配置文件说明：文件功能Conf/ca.conf定义数据处理过程中的公共变量和函数Conf/specialUser用户角色配置文件，角色编码含义参考后文Conf/csmap配置客服与销售的对应关系Conf/keyword.txt报警短信中的屏蔽词列表Conf/mail_receiver公司内部的波动邮件收件人列表Conf/ldap配置用户是否需要经过passport验证，线下设为FALSEConf/sms配置是否给代理商发送报警短信和邮件，线下设为FALSETemp/sms_recv当上一个文件设为不发送短信时，可以在此文件中设置白名单Op_script/op_daily_get_data.sh获取天级别数据，张黎负责Op_script/ op_hourly_get_data.sh获取小时级别数据，张黎负责Op_script/biTran.sh获取adm BI系统中的客户消耗数据，由于原始数据产生时间的问题，被单独设置了一个crontab任务Op_script/useroperation.sh获取客户操作日志，由于原始数据产生时间的问题，被单独设置了一个crontab任务Script/day.sh按天处理数据Script/hour.sh按小时处理数据Script/cdieEveryhour.sh处理cd日志，去掉测试账号，删除无用的列Script/cdie_middle.sh删除无用的列，并计算点击记录的业务类型Script/free_account.sh去掉测试账号Script/pv.sh处理lead ie日志，生成线上可用的pv数据Script/linkunit.sh处理lead ie日志，生成线上可用的pv数据，链接单元用Script/acid2indu3.sh从leadserver.dat中获取客户id到客户行业的映射表Script/useroperation.sh用户操作日志处理，生成一份各个操作的次数统计文件和一份操作详细文件Script/cdieEveryday.sh与按小时处理cd日志脚本类似，多了一个去除不及业绩点击的流程Script/getValid.sh去除不及业绩的点击记录Script/brandCustomer.sh处理品牌客户信息，主要看是否替换前一天的品牌客户列表，防止错误发生张黎的脚本主要负责把数据放到指定的位置，数据处理的脚本从指定位置去处理这些数据。注意crontab的设置，目前有4个，一个按天，一个按小时，其中都是，先调用张黎的脚本，再调用数据处理脚本，另外两个是因为数据获取的时间比较特殊（如果时间没到获取的数据将不是必威体育精装版的），所以单独抽出来执行。3 开发从系统开发的角度，我把上面的需求分为两类，一是模块开发，包括权限控制和消耗报警两个大的需求；一是二次开发，除了模块开发以外的其他需求都是二次开发，二次开发主要是在张金的架构基础上进行局部的修改和添加，比如将单线程改为多线程，从已有导出top10接口得到导出全部数据接口，在已有页面添加新的数据表格，重新获取操作日志等，这一部分我会略写，只介绍里边需要注意的点，此次总结主要介绍模块开发。3.1 权限控制3.1.1 架构下面的架构图从两个方向看，横向是用户登录时所发生的权