透析：大数据与商业决策之间,究竟是何关系？.doc

2014-05-10 05:26 从今天只抓住数据的冰山一角，到未来的人机结合，大数据才刚开始 本文摘自阿里巴巴集团副总裁、数据委员会会长车品觉的新书《决战大数据》中的一章。本章着重探讨了大数据与商业决策之间的关系、乃至处理步骤。 今天，我们正处于决策成本产生巨变的爆发点，过去那些想尽办法都无法获取的数据，在今天唾手可得，而当有些表面上完全不相关的行业数据关联起来时，居然产生了新的商业价值。更重要的是，过去，我们更多地是带着问题去寻找能够验证自己观点的数据，而今天我们却可以使用数据去预测可能出现的问题。海量数据可以使人的智慧得到更大的发挥，并变得更加规模化。大数据的本质是人，数据研究的极点就是莫测的人性。我们一旦掌控了数据之后的数据，就会拥有制胜未来商业的无敌利器。 假定数据是脏的 在处理数据的时候，会像污水处理厂一样，每一步都问自己要如何处理这些污水。这种情况的出现，到底是因为数据源脏了，还是因为数据提炼过程做得不好？ 美国有一家初创公司，专注于与地理位置相关的数据收集、整理和查询服务。它将地理位置的相关指标，按照酒店和旅馆等属性划分为不同细类，对外提供基于位置信息的实时查询，为包括美国最大点评网 Yelp在内的多个知名应用提供底层数据服务。 这家公司最令人印象深刻的是，它对于所收集来的数据会提供一个数据质量评分，以反映数据的可信度和质量水平。它会对这些数据的源头以及对处理数据阶段所用的算法进行评分。也就是说，这家公司在提炼数据的每一个阶段都进行了数据化管理。 这家公司的做法让我们看到了一个趋势，也是一个非常重要的趋势。因为它首先已经接受了数据源肯定是脏的和数据源一定会被污染的事实。所以，它在处理数据的时候，会像污水处理厂一样，每一步都问自己要如何处理这些污水。这种情况的出现，到底是因为数据源脏了，还是因为数据提炼过程做得不好？这个过程我们一定要区分，而且这样的区分是可取的。这家公司是假定数据是“脏”的来做数据管理，而不是假定数据是稳定的。而且，假定数据是“脏”的来处理数据，在大数据时代将是一个非常重要的趋势。 事实上，我们今天在处理的大数据，依然只是冰山一角，而更大的数据都隐藏在我们的语言中，比如我们说的话和写的字。所以，将来我们要准确地从互动中抓取数据，也一定要依赖对自然语言的处理。现在，美国的很多数据研究人员都在瞄准非结构性数据，即语言处理这一领域。 学会慢慢淡化数据 数据是有优先值的，在数据中有些是特别核心的，有些即使缺失了也没有多大问题。所以，我们要学会真正坐下来盘点那些对公司最有价值、对用户最有价值的数据。 想要确定数据的优先值，就要先解决以下几个问题。一是数据的标准化。在大数据时代，我们需要一个标准化的东西供我们进行交流。二是我们到底如何对接和交换数据，如何在交换的时候保持数据的稳定性。比如自然语言，比如在无线和 PC不同场景下受到的影响，这些情况都会滋生出许多新问题。 第三个重要的问题是数据的存储，这将涉及数据的时效性这一问题。有人曾经提出过一个很有价值的观点，即现实中，网站最大的场景变化就是网站改版。因为重新设计网站，本身就影响数据，比如公司的详情页和首页，任何改变都在影响数据。如果在 1~3年后，你才说得出数据的这一改变是由于促销、用户行为或是改版引起的，那这一数据就已经没有任何价值了，这就是数据的时效性。 所以，美国出现了一个概念叫数据淡化（ Data Decay），意思很明显，数据会慢慢淡化。我们要更清楚地认识到，数据是有优先值的，在数据中有些是特别核心的，有些即使缺失了也没有多大问题。所以我们要学会真正坐下来盘点那些对公司最有价值、对用户最有价值的数据，这是一个非常重要的趋势。 数据的标签化管理 数据的属性标签是人类经验判断的数据，是数据后的数据。 数据的属性标签是人类经验判断的数据，是数据后的数据。例如，当你要为一件物品打上标签时，其实就已经动用了你的经验数据分析，并进行了归纳总结，结合当下的环境给出了判断。如果没有考虑环境的影响及准确性的评估，这种经验加上直觉的判断是不稳定且又难以解释的。但从数据收集的角度去看，数据的属性标签又是一个潜力极大的数据。 在数据属性的管理上，对于用户来说，每个人身上贴的标签都是多种多样的，但是对于企业来说，如何将这些标签归一，如何用一个点去将之串联，又如何把这些点连起来去描述这个用户，这才是核心问题。 比如说，你要去应聘一家公司， A公司对你的评价是“很可靠”， B公司对你的评价是“不可靠”，而 C公司准备雇用你，然后 C公司看到了 A公司和 B公司给你贴的两个标签：“可靠”和“不可靠”，它就会困惑。 这样的问题常常发生，那么，我们要怎么去做标签的管理呢？ 首先，我们要明确的是，“可靠”这个概念是没有标