异构集群上的宏基因组聚类优化-计算机科学.PDFVIP

第 44 卷第3 期 计算机科学 Vo1. 44 NO.3 COMPUTER SCIENCE 岛1ar.2017 2017 年 3 月 异构集群上的宏基因组聚类优化 1 韦建文1 许志耿1 王丙强2 Simon SEE ,3 林新华1 ， 3 (上海交通大学高性能计算中心 上海 200240)1 C 国家超算深圳中心 深圳 518055)2 CNVIDIA 公司 新加坡)3 摘 要 宏基因纽基因聚类是筛选致病基因的新型方法，其依赖于海量的坝，]序数据、有效的聚类算法以及高效的计算 机来实现。相关系数矩阵的计算是进行聚类前必须完成的操作，占总计算量的比重较大。以某基因库为例，包含 1300 个样本、每样本百万基因的数据，羊线程运行需要 27 年。充分发挥多核 CPU 的潜力，利用 GPU 加速卡强大的 计算能力，将程序扩展到多节点集群上运行，是重要而迫切的工作。在仔细分析算法的基础上，首先针对单 CPU 节点 和羊GPU 卡做了高效实现，获得了接近理想的加速比;然后利用缓存优化进一步提升性能;最后使用负载均衡方法在 MPI 线程间分发计算任务，实现了良好的扩展。相比未优化的单线程程序，16 节点 CPU 获得了 238.8 倍的加速，6 块 GPU 卡获得了 263.8 倍的加速。 关键词 基因聚类，异构计算，缓存优化，负载均衡 中图法分类号 TP391 文献标识码 A 001 10. 11896/j. issn. 1002-137叉 2017.03.005 Accelerating Gene Clustering on Heterogeneous Clusters 1 1 1 WEI Jian-wen XU Zhi-geng WANG Bing-qiani Simon SEE ,3 James L剧1 ， 3 (Center for High Perforrnance Computing ,Shanghai Jiao Tong University ,Shanghai 200Z40 ,China)1 (National Supercomputing Center in Shenzhen ,Shenzhen 5180日，China) 2 (NVIDIA Corporation ,Singapore)3 Abstract Metagenome clustering is a novel approach to detect flaw genes which relies on massive gene data ,effective clustering algorithrns and efficient implementation. In clustering , calculating correlation matrix is essential ,accounting most of computing time. To take a gene repo as an example ,which has 1300 samples and million genes ,it will take about 27 years to cluster them. Therefore , developing efficient implement