平行及分散式计算处理超大量感测器资料.pdf

平行及分散式計算處理超大量感測器資料-以 SELENE(Kaguya)之光譜感測器為例 The Application on Parallel and Distributed Computing for Massive Sensor Data – A Case Study on SELENE(Kaguya) of Spectral Sensor * ** *** * 衷嵐焜 辜文元 中村良介 Sarawut 黃碧慧 **** Ninsawat Lan-Kun Chung Wen-Yuan Ku Ryousuke Nakamura Pi-Hui Huang 摘 要 資料源源不斷湧入，這是感測器資料的特色之一，面對不斷成長的資料，應 該採用哪種的策略來儲存及分析這些資料， 這是一個很重要的課題。傳統關連式 資料庫是否有足夠能力面對此巨大的資料洪流，或者應該搭上這波 NoSQL 浪潮， 使用平行及分散式計算處理架構來解決持續不斷成長的感測器資料，是本研究想 要探討的課題。 Hadoop是近年興起的平行及分散式計算的軟體 架構，由於它實作 了Google的 Bigtable ，因此受到許多商業網站的歡迎，並應用於超大量的資料管 理作業 。本研究以日本SELENE月球探測工程衛星上之 Spectral Profiler(SP)感測器 所蒐集超過 410億筆資料為例，利用 Hadoop MapReduce 與HBase 資料庫進行超 大量資料之匯入、儲存與查詢作業。經實驗顯示，資料匯入作業從原本日方估算 使用關連式資料庫需要 四年時間，利用 HBase 大幅縮短成三週。在本研究中，使 用的 Hadoop叢集為三台個人電腦所組成之運算環境，除了驗證技術之可行性與效 率外，亦驗證了其經濟性。最後，儲存至HBase 之感測器資料將以 OGC SOS標準 發布，供全世界進行月球研究之專家取用。 關鍵字： 平行及分散式計算、感測器資料、 Hadoop Abstract This research focuses on the strategy of dealing with storing and querying sensor data particular in massive sensor data(for those peta byte or billions of records data set). Traditional relational database management system is hard to manage billions of records due to its natural characteristic of complicated relationship for table maintenance. Apache Hadoop is a software framework that supports data-intensive distributed * 逢甲大學地理資訊系統研究中心助理教授 Assistant Professor, GIS Research Center, Feng Chia University (Corresponding author) ** 逢甲大學地理資訊系統研究中心資訊架構師 Architect, GIS Research Center, Feng Chia University ***日本獨立行政法人產業技術總合研究所研究員 Researcher, National Institute of Advanced Industrial Science and Technology, Japan ****