HadoopinChina2011参会感言创新.PDFVIP

Hadoop in China 2011 参会感言 许利杰 2011 年12 月4 日星期日 【摘要】 1、身体最重要 2、MapReduce 已经沦为白菜技术 3、对比工业界，学术界表示压力很大 4 、未来 【身体最重要】 2011 年12 月2 日和2011 年12 月3 日在北京会议中心举行了特别盛大的“Hadoop in China 2011 ”大会，据说参会人有1000 左右。会议讨论主题涉及分布式文件系统、大数据 分布式处理、大数据分析、NoSQL、虚拟化和学术研究方面的内容。参会人可以分为学术大 牛、学术与技术大牛、技术大牛、学术大牛粉丝、技术大牛粉丝。我是学术大牛粉丝也是技 术大牛粉丝。 会议时间选的很无语，早上7:00 起床下楼发现已经开始飘雪，果断回去换了厚点的裤 子后，感觉能抗一点了。半个小时后才打上Taxi ，再半个小时候到了一个鸟不拉屎的地方（五 环），旁边就是高速公路。幸好订了会议餐，不然中午没地方吃饭，会议只提供一瓶冰冷矿 泉水，第一天还没给我发。一天下来又困又累，报告信息量大，还非常紧凑。最悲催的是下 午听完已经5:30，没的打，走了20 分钟坐上拥挤的地铁，又碰上周五下班高峰，回去啃了 点面包就睡了。加上最近牙还肿痛，感觉“身体是革命的本钱”是真理中的真理。 与《华尔街》里表现的“华尔街拼的不是智力而是体力”一样，IT 从业者（需要大量的 时间学习各种技术、编写和调试各种程序，更多时候拼得也是体力。因此身体健康强壮是根 本。 【keynote】 第一天的Keynote 包括 Lucene 和 Hadoop 的创始人Doug Cutting，主要介绍了Apache Hadoop 的项目历史、发展和未来。Doug Cutting 高高瘦瘦，中午吃饭时候还见到他用筷子的 样子，貌似很熟练。系统和数据库牛校威斯康星麦迪逊分校 （WISC ）的Miron Livny 教授对 比了Condor 和Hadoop 项目，以及Condor 的未来发展。08 年我才知道Condor 这个项目， 有点类似寻找外星人的网格计算，Condor 也设置工作流调度。这个项目97 年就已经是v5.62 版了，值得注意的是Google 的MapReduce 论文的related work 就提到了Condor 。可见在大 数据之前的集群计算里，这个来自高校的研究项目有多大影响力。第三个keynote 来自Google 的学术与技术大牛Grzegorz Malewicz，也是号称处理Google 20%计算的图计算引擎Pregel 的主要作者，这哥们在很多地方讲过，来中国好几次了吧，Pregel 没有仔细研究过，所以听 的晕晕乎乎。最后一个EMC 的哥们是来推销产品的吧。 第二天的Keynote 第一个是eBay 的Hadoop Leader，介绍了eBay 的Hadoop 使用情况、 集群和做的改进，自己维护了一个Hadoop 的代码分支，支持多租户和多Namenode，并介 绍了新的商品有哪些信誉好的足球投注网站引擎Cassini （构建在Hadoop/HBase 上）。第二个是Yahoo Research 巴塞罗 那研究院的Flavio Junqueira，介绍了分布式协作系统ZooKeeper 的基本概念、用途、历史和 发展，还鼓励志愿者加入开发。讲稿中引用了大量的论文，有很大的研究价值。然后中移动 的业务支撑经理代表运营商做了关于Hadoop 在处理用户数据方面的应用，以前的关系型数 据库的Group By 性能比较低，而且磁盘故障率较高。他们看中的是HDFS 的强大容错功能。 他们也在Hadoop 应用的各个方面（包括Namenode 问题、性能问题、调度方面）做了很多 优化，有自己的分支。最后的学术大牛俄亥俄州立大学的计算机系主任张晓东教授直接站在 哲学高度，尝试建立大数据处理的理论模型，定义了抽象的操作来表示数据的各种处理方式， 取得了一定的成果。报告高度很高、学术味很浓，工作意义也比较大，在今年的ICDE、ICDCS、 SoCC 等牛会上都有斩获，也让我更加理解PhD 中Ph 的意义。 【分会场情况】