尚硅谷大数据项目之实时项目4（预警需求）.pdfVIP

尚硅谷大数据技术之项目 ————————————————————————————— 尚硅谷大数据项目之实时分析系统 --预警需求 (作者：尚硅谷大数据研发部) 版本：V 1.6 第 1 章 需求分析 1.1 简介 实时预警，是一种经常出现在实时计算中的业务类型。根据日志数据中系统报错异常， 或者用户行为异常的检测，产生对应预警日志。预警日志通过图形化界面的展示，可以提醒 监控方，需要及时核查问题，并采取应对措施。 1.2 需求说明 需求：同一设备，5 分钟内三次及以上用不同账号登录并领取优惠劵，并且在登录到领 劵过程中没有浏览商品。达到以上要求则产生一条预警日志。 同一设备，每分钟只记录一次预警。 1.3 预警日志格式 mid 设备 id uids 领取优惠券登录过的 uid itemIds 优惠券涉及的商品 id events 发生过的行为 ts 发生预警的时间戳 1 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 尚硅谷大数据技术之项目 ————————————————————————————— 第 2 章 整体流程设计 2.1 框架流程 2.2 开发思路 1）从kafka 中消费数据，根据条件进行过滤筛选，生成预警日志； 2 ）预警日志保存到ElasticSearch 中； 3 ）利用Kibana 快速搭建可视化图形界面。 第 3 章 实时计算模块 3.1 筛选条件分析 同一设备 （分组） 5 分钟内 （窗口） 三次不同账号登录 （用户） 领取优惠券 （行为） 2 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 尚硅谷大数据技术之项目 ————————————————————————————— 没有浏览商品 （行为） 同一设备每分钟只记录一次预警 （去重） 3.2 数据处理流程图 3.3 代码开发 3.3.1 事件日志样例类 – EventInfo case class EventInfo(mid:String, uid:String, appid:String, area:String, os:String, ch:String, `type`:String, evid:String, pgid:String, npgid:String, itemid:String, var logDate:String, var logHour:String, var ts:Long) 3 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 尚硅谷大数据技术之项目 ————————————————————————————— 3.3.2 预警日志样例类 –CouponAlertInfo case class CouponAlertInfo(mid:String,