网络店铺信息自动提取.pdfVIP

福 201 24 建电脑 1年第2期 网络店铺信息自动提取 郑思婷1，杨炬会2，王周敬1 (1．厦门大学自动化系福建厦门3610052．厦门理工学院商学系福建厦门361024) 【摘 要】：以国内C2C行业最具代表性的交易平台一一淘宝网为例，设计了针对网络店铺的信息自动 提取流程。并利用Python语言实现了对网络店铺信息的自动采集和结构化输出。 【关键词】：信息提取；网络店铺；正则表达式；Pylon 0．引言 随着电子商务的蓬勃发展．网络购物日渐兴旺。网 网店 络店铺(以下简称网店)页面中所包含的店铺信息、商 品信息．以及服务信息也不断积累，形成了巨大的信息 匹配提取 资源库。信息提取(information extraction)一利用计算机 图1：网店信息提取流程 自动从网店页面中收集有用信息．是利用该信息资源 库的必由之路．是商业智能和管理研究的数据源头。 网络爬虫抓取是通用技术。有多种成熟的实现．本 为方便从海量的网店页面中快速、准确地获取信 文不再赘述。下文将结合淘宝网店页面规范。重点介绍 息．本文设计了流水线式提取流程。并用Python语言网店信息提取特有的技术细节一信息过滤和匹配提 实现了自动提取工具。 取。 1、网店页面的特点 2．2HTML文件的信息过滤 网店页面具有半结构化特征。 通用的信息提取技术有很多【3】．但针对网店信息提 一方面。网店页面包罗万象。网店页面本身是大量 取的目标和网店页面的特点．我们选用HTML标记和 文本、图片或其它多媒体字符流的集合。因此无法通过 关键信息的正则表达式过滤方法。 结构化查询语句来处理网页信息In。同时。网店页面中 正则表达式通过分析各种信息元素所特有的呈现 还包含大量广告、导航等与商业主题不相关的信息嘲， 方式，构造字符串模式．在文本中检索或替换符合该模 这些信息会干扰理解网店页面中所包含的商业意义。 式的文本．它是从非结构化文本中提取有用信息的利 另一方面，网店页面有一些规律可用于信息提取。 器闱。淘宝网使用独立的CSS文件将页面渲染格式剥 网店页面和其它Web网页一样．都用HTML书写而 离出来，而用HTML主文件存放店铺信息、商品信息和 成。遵从W3C规范。其次，C2C网店平台要求网店套用服务评价信息。所以．我们可以用正则表达式将HTML 平台模板．网店页面要遵循平台提供者(如淘宝、拍拍 主文件中的格式控制、HTML标记等无关信息过滤掉。 等)规定的框架规则．这些规则也可为信息提取提供启 现代的程序设计语言。大都配备了正则表达处理模块。 发线索。 这里选用灵活的动态语言Python作为实现工具[51。 2、网店信息自动提取的设计与实现 HTML文件过滤的关键程序如下： 基于网店页面的半结构化特征．本文设计了一个 ① forlineinread．readlines0： 网店信息自动提取流程，先过滤掉无关信息，然后利用 ②line=re．sub(，r】+，，7,line) 特定标记匹配有用的网店信息。 ⑧line=re．sub(Q#．+；，’,line) 2．1网店信息提取流程 ④ line=re．sub(设．+；7，7，’line) 我们设计的网店信息自动提取流程如图1所示。 ⑤line