电信运营系统数据挖掘研究.docVIP

电信运营系统数据挖掘研究 　　摘要:电信企业为了在日趋激烈的市场竞争中取得优势,需要建立自己的数据仓库,利用数据挖掘技术对现有的客户数据进行分析研究。洞察力营销(Insight Driven Marketing,IDM)是一个应用数据和技术,帮助企业构建更个性化、更高利润的市场营销活动的过程。福州市电信公司作为IDM项目的试点单位,建立了一套IDM客户洞察系统,以满足项目的数据挖掘需求。? 　　项目以福州5万商客为目标对象进行了数据挖掘的研究,通过IDM客户洞察系统对数据进行采集处理,挖掘分析,最终形成9个战略分群。? 　　关键词:数据挖掘;ETL;宽表;分群;K-means算法? 　　中图分类号:TP 　　文献标识码:A 　　文章编号:1672-3198(2010)15-0318-03 　　 　　1 绪论? 　　课题来源于中国电信集团公司“洞察力营销福州试点项目”。为了更好地应用洞察力营销方法,中国电信集团公司聘请美国埃森哲咨询公司对IDM方法给予技术咨询,??供方案进行试点。福州公司作为其中的一个主要试点单位,需要建立一个数据分析挖掘系统,将各类分散在营业支撑系统(Business Supporting System,BSS)、计费系统、省中心计费系统、智能网系统、10000号系统、112系统等多个系统的数据快速采集起来,建立统一的客户视图来满足数据挖掘的需要,实现对数据的分析挖掘,将电信客户进行分群,进行针对性营销。? 　　根据埃森哲公司提供的客户洞察方案,试点期间以福州商业客户为对象进行客户分群,同时完成系统的建设。? 　　2 客户洞察系统设计? 　　2.1 客户洞察系统的需求分析 　　2.1.1 数据源分析? 　　通过福州本地网内各个系统分析发现,对于福州电信来说,需要从BSS系统、计费系统、省中心计费系统、智能网系统、10000号系统、112系统等多个来源获得。但这些系统有的又相对独立,数据分散性造成共享缺少统一的标准,所涉及到的同样的客户信息可能存在不同的系统中,有些客户信息只在一个系统中,需要将这些客户信息进行归纳提取出来,再将这些提取出来的数据按照逻辑关系进行关联和存储。 　　2.1.2 系统需求分析? 　　根据业务部门要求,系统需要满足以下几点。? 　　(1)系统应提供良好的安全性和可靠性策略。? 　　(2)系统能与各类外部系统建立接口,每日和每月定期获取接口数据。? 　　(3)系统数据流处理能力必须满足在一周内完成数据从接口到中间处理数据转换和存储。? 　　(4)系统应能满足并发大数据量处理的要求,具有快速的并发用户查询速度,并发控制稳定可靠,支持多线程或多进程。? 　　(5)系统必须提供对外查询接口和界面。? 　　(6)考虑数据冗余,和各类索引的建立,存储空间应满足2年半的数据存储。? 　　2.2 平台架构设计? 　　根据福州局IDM客户洞察系统一期的建设要求,并结合以上构建数据挖掘系统所需的几个主要功能模块,对系统平台架构进行设计,如图1所示,系统分为三大部分:数据源、分析系统/平台、报告和挖掘分析系统。 　　图1 IDM客户洞察系统架构 　　2.3 功能模块设计? 　　IDM客户洞察系统作为一个完整的系统,主要包括的功能有:数据源的采集、数据的ETL过程及统一客户视图建立、宽表生成、客户分群、分群结果分析、结果数据输出营销、营销效果评估、系统管理、对外接口等。因此经过研究分析,系统分成四个大的功能模块,各模块的主要功能如下。? 　　(1)接口程序模块:属于数据采集层,负责将外系统的数据源导入试点数据库。? 　　(2)数据处理模块:属于数据分析层,负责将试点数据进行ETL的清洗、过滤、整合、归并、生成宽表。? 　　(3)客户分群模块:属于数据分析层,利用数据挖掘工具对宽表数据进行客户分群。? 　　(4)结果分析、特征刻画模块:属于数据展示层,进行分群数据相关信息的提取,对分群后数据的分析刻画展示。? 　　2.4 数据仓库结构设计 　　2.4.1 统一客户视图设计? 　　由于客户的变量在各系统间不能实现自动关联,需要通过对这些数据类型整理,并按照一定的数据规则将这种关联建立起来,将这些数据类型变量信息统一挂靠到每个客户下面,对数据库处理而言,就需要一个客户ID,代表系统中唯一的标识,将反映客户信息的变量都索引表现出来。这种客户ID将客户所有的相关信息,通过挂靠的众多变量反映出来,就可以在系统中展现每一个客户完整情况,将它定义为统一客户视图。? 　　凡是客户的并且与运营商接触的历史记录都可以通过客户ID为索引主键进行存储和展示,一旦查找到客户ID就可以将客户的电话号码以及使用的相关电信产品等信息都可以展示出来。 　　2.4.2 宽表