一个以中英文双语语料库为主的文件探勘与语意相关性测量方法之建构.pptVIP

Text Clustering: A Case StudyA Multilingual Text Mining Approach Based On Self-Organizing Maps Background ?一、多國語文文件探勘技術之相關研究 主要重點在研究『文件探勘』 (Text Mining)技術在中文/英文混合語料庫上的進階應用；本研究的目的在於提出一種Self-Organizing Maps類神經網路機器學習的方法，來偵測收集中文/英文混合的文件集合中內容相關的文件。本研究工作主要的原創性與貢獻包括: 首創中文/英文等多國語文文件探勘技術研究的理論模型 開發以Self-Organizing Maps類神經網路為主的文件探勘模型，使成為一個語言上中性(neutral)的演算法 突破了資料探勘理論應用於跨語文資訊處理上的困難度 可提供作進一步的文件語意相關性分析的計算以及更多語言學上的理論研究 Advanced Issues ?二、文件探勘技術應用於下一代網際網路建構之研究 本研究應用以Self-Organizing Maps類神經網路為主的『文件探勘』技術於支援Semantic Web(語意網)部分工程之建構，以處理Semantic Web上Knowledge Representation的問題包括: 網頁資訊目錄與階層結構(web directories and hierarchies)的自動建構 自動文件分類 Ontology的建構工程 在此應用領域上，本研究也使用了不同的文件探勘的演算法與運算平台，包括Self-Organizing Maps (SOM)與Support Vector Machines (SVM)為主的文件探勘技術。 Related Concepts of Text Mining(文件探勘) --Data mining , Information Retrieval ( IR ) --Machine learning , Automatically organize --Text Categorization --unstructured / semi-structured data Why Multilingual Text Mining? --monolingual vs. multilingual --parallel corpora --language-independent algorithm Introduction Corpora Selection Feature Selection Translation SOM Discovery Algorithm Words Cluster Map Documents Cluster Map Semantic Analysis preprocessing training Analysis System Architecture 翻開民國六十五年元月的光華創刊號，發現最早期的「光華畫報雜誌」，的確只是重大建設、觀光勝地、風土民情的「圖片集錦」簿冊，文宜味十足，並且只對海外發行。然而很快地，它開始有了改變，有時是漸進式地日見豐實，有時則是大幅度的改頭換面，終於成為第一本能反映社會現況，探詢先人智慧寶藏、介紹東西文化交流的獨特刊物。 民國 光華 雜誌 [ x , x , x , x , x ,…,x ] [ x , x , x , x , x ,…,x ] [ x , x , x , x , x ,…,x ] [ x , x , x , x , x ,…,x ] . . . Vector-Space-Model documents index files document vectors Preprocessing stage Unsupervised learning Automatic cluster generation High-dimensionality ? two-dimensionality Intuitive neighborhood relations Self-Organizing Maps (SOM) N samples M neurons C clusters SOM Abstraction Illustration p q D(p,q) = ( 1 + 2 ) || G(Np)-G(Nq) || -1 Similarity between two words /