基于视觉热区的网页内容抽取方法.pdfVIP

第２９卷第６期　　　 计算机应用与软件 Ｖｏｌ２９Ｎｏ．６ ２０１２年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１２ 基于视觉热区的网页内容抽取方法 邵　俊 （盐城工学院实验教学部　江苏盐城２２４００３） 摘　要　　对网页抽取进行研究，提出一种新的网页正文信息提取方法，它利用网页布局特征与网页视觉热区来确定网页正文信 息。首先选取网页的一部分区域作为网页视觉热区，通过文档对象模型得到候选正文信息块，在此基础上，给出候选正文信息块重 要度函数确定网页正文信息。实验结果表明，该方法具有良好的性能。 关键词　　布局特征　视觉热区　文档对象模型　候选正文信息块　重要度函数 中图分类号　ＴＰ３９１．４１　　　　文献标识码　Ａ ＷＥＢＰＡＧＥＳＣＯＮＴＥＮＴＥＸＴＲＡＣＴＩＯＮＢＡＳＥＤＯＮＶＩＳＵＡＬＨＯＴＺＯＮＥ ＳｈａｏＪｕｎ （ＤｅｐａｒｔｍｅｎｔｏｆＥｘｐｅｒｉｍｅｎｔＴｅａｃｈｉｎｇ，ＹａｎｃｈｅｎｇＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｙａｎｃｈｅｎｇ２２４００３，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｓｔｕｄｙｉｓｍａｄｅｏｎｗｅｂｐａｇｅｓｅｘｔｒａｃｔｉｏｎａｎｄａｎｅｗｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄｆｏｒｗｅｂｐａｇｅｓｃｏｎｔｅｎｔｉｓｓｕｇｇｅｓｔｅｄ．Ｌａｙｏｕｔｆｅａｔｕｒｅｓａｎｄ ｖｉｓｕａｌｈｏｔｚｏｎｅａｒｅｕｓｅｄｂｙｉｔｔｏｄｅｔｅｒｍｉｎｅｗｅｂｐａｇｅｓｃｏｎｔｅｎｔ．Ｉｎｔｈｅｐａｐｅｒ，ｆｉｒｓｔａｐａｒｔｏｆｗｅｂｐａｇｅ’ｓｒｅｇｉｏｎｉｓｓｅｌｅｃｔｅｄａｓｗｅｂｐａｇｅｖｉｓｕａｌ ｈｏｔｚｏｎｅ，ｔｈｅｃａｎｄｉｄａｔｅｃｏｎｔｅｎｔｂｌｏｃｋｓａｒｅｔｈｅｎｏｂｔａｉｎｅｄｂｙｄｏｃｕｍｅｎｔｓｏｂｊｅｃｔｍｏｄｅｌ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｔｈｅｓｉｇｎｉｆｉｃａｎｃｅｆｕｎｃｔｉｏｎｏｆｔｈｅｃａｎｄｉｄａｔｅ ｃｏｎｔｅｎｔｂｌｏｃｋｓｉｓｄｅｄｕｃｅｄｔｏｅｘｔｒａｃｔｉｎｇｃｏｎｔｅｎｔｆｏｒｗｅｂｐａｇｅｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｉｎｄｉｃａｔｅｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｈａｓｇｏｏｄｐｅｒｆｏｒｍａｎｃｅ． Ｋｅｙｗｏｒｄｓ　　Ｌａｙｏｕｔｆｅａｔｕｒｅｓ　Ｖｉｓｕａｌｈｏｔｚｏｎｅ　Ｄｏｃｕｍｅｎｔｏｂｊｅｃｔｍｏｄｅｌ　Ｃａｎｄｉｄａｔｅｃｏｎｔｅｎｔｂｌｏｃｋｓ　Ｓｉｇｎｉｆｉｃａｎｃｅｆｕｎｃｔｉｏｎ ［５］计算出每个标签的位置信息，对页面进行分割，从该文可知 ０　引　言 标签位置信息是网页视觉的一个重要特征。文献［６，７］均充分 利用网页的布局特征作为主题信息块抽取的重要依据，这种从 随着Ｉｎｔｅｒｎｅｔ的快速发展，网络上丰富的信息在给互联网用 网页布局角度出发，对 Ｈｔｍｌ标签进行分析的思想值得本文 户带来便利的同时，也给用户带来困惑。用户即使通过有哪些信誉好的足球投注网站引 借鉴。 擎，想在海量的信息库中快速准确找到自己需要的信息也不是 网页设计者在设计网页时一般把重要内容放在网页中心位 一件容易的事情。原因在于网页除了正文内容外还掺杂了很多 置附近的区域，即网页视觉热区，次要与无关内容一般远离网页 用户不需要的噪声数据，如导航链接、广告链接、版权信息以及 视觉热区，这也符合网页用户的阅读习惯。因此本文在文献 与网页主题相关不大的推荐链接等。这些噪声数据的存在，影 ［３，４］的基础上，充分借鉴文献［５－７］的思想，利用网页的布局 响了用户对主题内容的判断。因此，如何从包含大量噪音内容 特征和网页视觉热区来提取网页