基於Hadoop MapReduce與HBase之醫療資訊快速分析平台.pdfVIP

國立臺灣大學電機資訊學院 生醫電子與資訊學研究所 碩士論文 Graduate Institute of Biomedical Electronics and Bioinformatics College of Electrical Engineering and Computer Science National Taiwan University Master Thesis 基於Hadoop MapReduce 與HBase 之醫療資訊快速分析平台 The Efficient Analysis Platform of Medical Informatics Based on Hadoop MapReduce and HBase 黃元鴻 Yuan-Hung Huang 指導教授：歐陽彥正 博士 黃乾綱 博士 中華民國 100 年7月 July, 20 11 I 謝辭 充實的兩年研究生活，從非資訊相關科系踏入這個領域，直到終於完成這篇 論文，感謝一路上許多人隨時伸出援手，給我在各方面的協助和鼓勵 。感謝歐陽 彥正老師在研究上給我的支持，讓我有充分的 空間投入有興趣的研究主題，也在 遇到瓶頸的時候，給我正確的方向和鼓勵。感謝黃乾綱 老師，從一開始就帶我走 進這個領域，永遠不辭辛勞地給我特別輔導和支援 ，對於我提出的各種問題，總 是一而再、再而三的講到我聽懂為止，在研究上也總是能給我正確的方向，帶我 度過各種難關。感謝 李定達醫師給我的各種意見，讓我對各種疾病都有進一步的 認識，也讓我的研究內容更加完整。感謝黃鈺峰 學長在研究過程中給我的各種幫 忙和引導，讓我在機器架設和故障排除上更加順利。感謝楊孟翰學長和陳品良 學 長分享在健保資料庫領域的研究經驗，讓我對研究主題有更多的認識，也少走了 許多冤枉路。 感謝 410實驗室的每一位好夥伴， 無論是一起在健保資料庫領域中打滾的又 仁 、長偉，一起設計網站的志瑋，還有每一位實驗室成員們─秀菁 、廷因 、立晴、 志宏、翊鍾、諭承 、俊欽 、文藝、孟軒 ，有你們在，實驗室總是保持歡樂融洽的 氣氛 ，也讓我的碩士生涯更加充實。 最重要的是感謝 我的家人們，總是默默地在背後給我最大的支持和鼓勵，提 供我最好的環境和資源，讓我能沒有後顧之憂地完成我的學業。謝謝你們，僅將 這篇論文的成果以及完成的喜悅和你們分享。謝謝大家。 II 中文摘要 大型醫療資料庫的研究是近年來熱門的研究主題，但是在實務上常會面臨 分 析速度緩慢的問題，自 一般關聯式資料庫中擷取所需的資料往往需要很長的時間 ， 使得研究主題和規模受到限制 。在本篇論文中，我們透過資料庫架構上的重新設 計和資料重建 ，使用HBase 儲存健保資料分析時常用的關鍵資料，搭配 Hadoop MapReduce 對這些資料做分散式與平行化的分析，加快健保資料庫的分析速度 ； 最後將整個 分析流程整合成一套自動化的快速分析 平台，方便各種不同主題的研 究 。相容於雲端運算環境的設計使得未來的擴充相對容易 ，可以直接移植到商業 的雲端環境 ，也使得即時分析系統的開發變得可能。 為了達到這些目的，我們首先分析了相關文獻和熱門的研究方法 ，統整出需 要儲存的重要資訊， 並使用 HBase 將原始的健保資料庫重建成一個適合大規模快 速 分析的資料庫。透過新資料庫的設計，在分析上可以有效率的取得關鍵資訊， 減少在反覆查詢資料上所消耗的運算資源和時間。在分析的流程上，我們設計了 全自動化的分析流程，透過制式的疾病定義檔，系統可以自動在資料庫中挑選所 需的實驗組和對照組，並