认识大数据(一).docVIP

也谈大数据（一） 记录中的世界 2015年9月24日 孙波 今天去听了个讲座，关于大数据和云计算，主讲老师主要围绕大数据的一些基础和应用示例以及数据安全方面，有一点收获，有一点想法，很多老师没有提到的东西，还有些自己对大数据理解已经沉淀很久了，特此写下来。主要是关于大数据的认识。 一、大数据的概念 讲座上，老师讲的大数据概念，几乎和百度百科上的一样：大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。然而这样的“大数据”对我们又有什么价值呢？我觉得，我们所提到的大数据，必须是以能从中挖掘出一定价值的，能指导我们现实生活作为前提条件的。 我理解的大数据有两个层面： 1、广义的大数据概念。 广义的大数据，就是“人类通过信息化手段将现实世界记录为数据的集合”。或者说，其本质是在人类世界目前的所有信息化系统下，产生的数据集合，这些数据汇集成一个映射现实世界的虚拟信息世界。这个虚拟信息世界的所有数据，即广义大数据，也就是说，广义的大数据有且只有一个。 2、狭义的大数据概念 狭义的大数据概念，是指围绕某一对象，以及某一时间范围进行考察，该对象在该段时间内通过各种信息化途径产生的数据的集合，称之为“大数据”。这里引入“对象”的概念，是建立在我前面提出的“大数据必须是有价值的”这一基础上的，要让大数据产生价值，就要有目的性的去挖掘、分析、统计，并为某些对象提供服务，就好像肉对狗有价值，草对羊有价值，考察对象至关重要。 二、三个世界 为了进一步阐述我的大数据观点，这里我提出“三个世界”的观点，所谓三个世界，是指“客观世界”、“记录世界”、“认知世界” 1、客观世界 “客观世界”指的是唯物主义理论中的世界，它不以人类的认知为界限，不为人类的意识所改变。是一个客观现实，不管人类是否探索到，或者是否了解，是否理解。 2、记录世界 “记录世界”可以说是数字化的“客观世界”，是人类在生产、生活过程中对“客观世界”的发现和有意或者无意的信息记录。一定程度上是对“客观世界”的信息化映射。 3、认知世界 “认知世界”是指人类对客观世界的认知，从而产生了一个在人类文明中的“世界”，这个世界里包含了人类各个历史阶段各个层次的文明，从地心说到日心说，牛顿定律到相对论等等，也是指人类科学和社会意识形态中所理解的“世界”。“认知世界”是人类试图去探索“客观世界”，去理解“客观世界”的成果。通常“认知世界”是一部分人类专注于对“记录世界”的分析研究和归纳总结后产生的。 为了更好的说明这三个世界，我举一个例子。 描述1：孙波生活在地球上，地球上经常有火山喷发。 描述2：孙波每次打喷嚏都会写进日记。地球上每次火山喷发也都有人类记录。 描述3：若干年后，通过这些记录，人们有一个惊人的发现：孙波每打100个喷嚏，就正好会有一座火山喷发，于是科学家推导出这个理论：每当孙波打喷嚏的次数能被100整除，就会发生火山喷发。从此，每当孙波打90个喷嚏的时候，火山周围的村民就会搬迁或者躲到地下。 上面三个描述，描述1就是客观世界，描述2就是记录世界，描述3就是认知世界。虽然例子举得荒诞，但是人类文明就是在这样三个世界中轮转进步的，比如太阳历和月亮历的建立，看云、看日晕、看月晕识天气，等等那些古老的常识，就是通过对客观世界的观察记录，然后再在记录中分析总结，得出结论，人类对这些推导和理论，在一开始往往是知其然而不知其所以然的，新的研究会解答之前的疑问，却会带来新的问题。 事实上，人类科学文明就好比在剥一个由客观现实做成的洋葱，每剥开一层就是科学文明有一次进步，这个洋葱会越剥越小，但是永远剥不到核心，可以一直剥下去。 这个就像儿子问我的问题：“为什们蜻蜓低飞就是要下雨了？”，“因为下雨前气压低湿度大，飞虫翅膀湿了飞不高”；“为什么翅膀湿了就飞不高？”，“因为小水珠比较重！”；“为什么小水珠重？”，“因为水的密度比空气大！”；“为什么水的密度大就重？”，“因为万有引力，质量越大，引力越大！”，“什么是万有引力？”“……”。 其实，当年劳动人民看到低飞的蜻蜓就知道要下雨，根本不知道后面这么多为什么。而万有引力也不是问题的终点，至少目前的相对论指出：万有引力的根本是质量对时空的扭曲。而即便是大名鼎鼎的“相对论”，我儿子也能大胆的问上更多个“为什么？” 三、记录世界的重要性 很多时候，人类对客观世界进行了记录，然后要在很久之后才能发现其中的规律，产生新的认知理论。因此，记录世界是人类主观意识下，对客观世界的映射，而其中蕴藏的秘密，或许等待着我们去发现。 如实、客观、标准化的记录，并且该记录可以长期保存，准确还原，这样的记录具有最大的价值。 四、