由 dawei 世界上90%的数据都是过去几年里产生的，你可能已经熟知这个统计了。这是真的。我能找到的关于这个表述的最早的陈述之一可以追溯到2013年五月，但这个趋势一直显著地持续着。确实，过去三个世纪以来每两年世界上数据的总量便会提高到十倍——这个比率甚至使得发现处理器性能加倍的摩尔定律都相形见绌。
这样一个信息增长比率所带来的问题之一是现在这个时刻的数据总是比才过去不久的要出现得大得多。想想一下回顾一本描绘你人生前八年的一本相册，从出生到成年。假设你有你人生头两年的两张照片。假定在匹配现在这样一个信息增长比率下，你将会拥有印象深刻的2000张六岁到八岁的照片;20万张十岁到十二岁的;以及惊人的两亿张十六岁到十八岁的照片。也就是说在最后两年里每一秒种便会有不只三张照片产生。
“当你想寻求更长远的视角而开始回顾过去时，你会发现现在的东西太多而过去的东西又太少。”
当然，这并不是全球数据的一个完美的类比。一开始，世界上许多数据的增长都是因为更多的人参与创造出了更多的信息资源以及更庞大更细致的格式。但是关于均衡性的观点是有根据的。如果你打算回顾像上面一样的记录的话或者尝试着分析它，你将发觉离现在越近的东西越会变得毫无意义。记录这么多次有用的信息却更少，为什么会这样呢?
这就是现今如此多大数据被收集与分析所带来的问题。当你想寻求更长远的视角而开始回顾过去时，你会发现现在的东西太多而过去的东西又太少。目光短浅深深地植入在高估以历史为代价的短期趋势的强大的结构倾向中。为了理解这个的重要性，思考一下社会科学关于近因效应的发现，它描述了人们假设未来的事件将类似于最近的经历的倾向。这也是我们熟知的“可具有性”启发式的另一种说法：依据任何最容易想到的东西进行思考的倾向。这也是一种普遍的心理属性。如果在过去的几年里在你住的地方你已经见证了异常寒冷的夏天，比如，你可能被引导着说出夏天越来越冷了——或者你们当地的气候可能在变冷。实际上你不应该把你读到的任何东西读入数据。你需要运用更长远的眼光去了解关于气候变化趋势的有意义的东西。在短期内，你最好不要随意推测——但我们中有谁能够真的做到呢?
“短期的分析不只是无效的——它们经常是无用的甚至误导人的”
现实生活中多数复杂现象经常也是这样的：如股票市场、经济、公司兴衰、战阵与和平、人际关系以及王朝更迭。短期的分析不单单是无效的——它们经常是无用甚至误导人的。瞧瞧众多经济学家排着队宣布像2009年金融危机这样的事件是不可能发生的，直到它真的发生了。在那种程度上可以做到有效预测的那种概念本身就是问题的一部分。
值得一提的是在决定数据去留时新奇经常是主要的考虑因素。推陈出新：在这个数字趋势的世界上，搜索算法本质上偏向于新鲜事物，所谓的超链停用从最高法院决定到整个社会媒体服务业等各方面十分猖獗。对于当下的偏向从结构上在我们周边的所有科技中已经根深蒂固，尤其要归因于我们大约五年后丢弃我们大多数一度繁荣的机器的喜好。
该怎么做?这不只是一个更擅长保存旧数据的问题——尽管这不能说是个坏主意，考虑到我们对现在于过去的几十年而不是过去几年的保存多无能为力。更重要的是，决定哪些数据是在第一时间值得保存的——并且以知识的名义有意义地剔除信息意味着什么。