BDTC2015-南京大学：基于R语言的跨平台大数据机器学习与数据分析系统.doc

BDTC2015-南京大学：基于R语言的跨平台大数据机器学习与数据分析系统 黄宜华 南京大学PASA大数据技术实验室 南京大学计算机软件新技术国家重点实验室 江苏省软件新技术不产业化协同创新中心 2015.12.12 … … 南京大学PASA大数据技术实验室 PASA BigData Lab studies on Parallel Algorithms Systems, and Applications for Big Data Processing We are one of the earliest research labs on Big Data in China, entering big data research area since 2009 南京大学PASA大数据技术实验室 ?? 南京大学PASA大数据实验室是国内最终从事大数据技术研究和教学的团 队之一。早在大数据还鲜为关注的2009年，本实验室已经进入大数据技 术研究领域。实验室自2009年以来在大数据技术领域开展了一系列系统 深入的研究开发工作，在分布式大数据存储和查询、分布式文件系统、 大数据幵行计算模式不系统、Hadoop/Spark性能优化不功能增强、幵 行化机器学习和数据挖掘算法、大数据机器学习系统、大规模Web信息 挖掘集成、大规模文本语义分析、幵行机器翻译算法、大数据行业应用 等方面，开展了广泛的研究，积累了系统的研究和技术基础，近6年来课 题组在国内外学术期刊和国际会议上发表了大数据相关研究论文30多篇， 撰写大数据技术书籍/教材两部 ?? 实验室承担国家级、部省级大数据研究项目多项，幵开展了不Google、 Intel、微软亚洲研究院、百度、华为、中兴通讯等国内外著名企业开展 合作研究；此外还不UC Berkeley AMP实验室在Spark和分布式内存文 件系统Tachyon方面开展合作研究；此外，课题组还开展了电力、电信、 等典型行业的大数据平台和分析应用研究 南京大学PASA大数据技术实验室 Our research areas Parallel Computing Models and Frameworks amp; Hadoop/Spark Performance Optimization Hadoop job and resource scheduling optimization Spark RDD persisting optimization Big Data Storage and Query Tachyon Optimization Performance Benchmarking Tools for Tachyon and DFS HBase Secondary Indexing (HBase+In-memory) and query system Large-Scale Semantic Data Storage and Query Large-scale RDF semantic data storage and query system(HBase+In-memory) RDFS/OWL semantic reasoning engines on Hadoop and Spark Machine Learning Algorithms and Systems for Big Data Analytics Parallel MLDM algorithm design with diversified parallel computing platforms Unified programming model and platform for MLDM algorithm design 南京大学PASA大数据技术实验室 在大数据领域多年研究和教学成果基础上，编写出版了《深入理解 大数据》一书（480页, 机械工业出版社, 2014），该书已作为国家教 委计算机教指委“计算机系统能力培养”系列教材 上篇 大数据机器学习系统概述 下篇 大章鱼：跨平台大数据 机器学习与数据分析系统 报 告 内 容 南京大学PASA大数据技术实验室 上 篇 1. 大数据机器学习：从算法到系统 2. 大数据机器学习系统的技术特征 3. 大数据机器学习系统的主要研究问题 4. 大数据机器学习方法分类与典型系统 上篇：大数据机器学