網頁之visionblock的重要性預測與分析.pptVIP

網頁之Vision Block的重要性預測與分析 指導教授: 蔡宗翰 專題生: 951415 謝隘同 951425 黃星雅 Headline 動機 目標與概述 系統架構 系統流程介紹 成果展示 結論 動機 手機的普及率不斷攀升，然而網頁瀏覽的效率卻受到了硬體的限制 如何提升網頁載入的速率 在我們瀏覽網頁時會發現有許多廣告和不必要的圖片充斥在網頁之中 如何分析出網頁中的廣告和圖片以及瀏覽的人所認為的重要資訊 Headline 動機 目標與概述 系統架構 系統流程介紹 成果展示 結論 目標概述 從網頁中去除廣告、圖片以及其它雜訊 使用Vision-Based Page Segmentation (VIPS)的演算法 藉由Html格式的tag (img)切割成數個block 對Block進行重要性的標註 將標註的結果與Feature進行SVM分類 人工行為轉為自動化方式，進行網頁預測，取出網頁中的廣告、圖片以及及他資訊 Headline 動機 目標與概述 系統架構 系統流程介紹 成果展示 結論 系統架構 網頁標註: 網路上抓取著名網站，我們現在抓的是新聞類的網站，像是Yahoo、CNN VIPS分析會產生一個樹狀結構圖，我們便是對這數個網站進行以6為深度的VIPS分析 標著者對樹中的樹葉結點進行標註，重要性分為1~4，1表示最為重要，四為最不重要 儲存VIPS分析後Html網頁的資訊 系統架構 訓練模組: 將標著者標註的重要性視為比對的標準答案 取網頁中資訊，如字體大小、關鍵字、位置…等Feature，並做混合測試做為SVM訓練的模組 字體大小如標題，通常字體較大 關鍵字如most popular 系統架構 利用模組預測網頁Block重要性 為了計算網頁預測的準確度，我們預先標註要測試的網頁並做為標準答案 取出該網頁的Feature以及標註的重要性，使用訓練模組預測結果 Headline 動機 目標與概述 系統架構 系統流程介紹 成果展示 結論 系統流程介紹 Headline 動機 目標與概述 系統架構 系統流程介紹 成果展示 結論 目前實驗數據 (1,2) (2,3) (3,4) (1,2) (3,4) (1,2,3) (2,3,4) Level1 0.27 0.28 0.27 0.27 0.28 0.73 0.27 Level2 0.02 0.28 0.53 0.02 0.28 0.73 0.84 Level3 0.58 0.58 0.53 0.86 0.86 0.73 0.84 Level4 0.79 0.79 0.79 0.86 0.86 0.79 0.84 Total 0.31 0.45 0.56 0.38 0.51 0.75 0.79 Headline 動機 目標與概述 系統架構 系統流程介紹 成果展示 結論 結論 這套系統未來移植到手機上，移除廣告圖片，來提升網頁載入的速率，確實可以提升網頁瀏覽的效率 目前最讓我們困惑的就是Feature的選用，當我們在標註時，發現網頁的結構上差異性很大，如果Feature沒調整好，預測的準確度會非常低 備註1: 此為MSNBC新聞去預測WN新聞的數據 備註2: 我們取VIPS樹狀結構圖的深度為6 備註3: (1,2)為預測Level1或是Level2都是正確的 備註4: 由SVM預測出結果，為人工計算準確度 * 備註1: 此為MSNBC新聞去預測WN新聞的數據 備註2: 我們取VIPS樹狀結構圖的深度為6 備註3: (1,2)為預測Level1或是Level2都是正確的 備註4: 由SVM預測出結果，為人工計算準確度 *