由 dawei 最近波士顿马拉松赛恐怖袭击的余波尚在，我偶然看到了FCW的一篇有趣的文章，它对政府机构中部署的最新技术和IT技术趋势进行了深入分析。在之前的博客文章中，我曾多次提到“大数据”的使用比以往更加普及了。大数据可以简单地定义成一种从大量的数据中集中整理出所需信息，并将其用于战略和战术行动的手段。实际上，看到大数据被用于帮助抓捕罪犯并不稀奇，原因很简单，在当今这个反恐时代，“防火墙之后”的事件几乎与实际犯罪现场发生的事件同样重要。
从根本上说，大家所看到的FBI调查只是大数据和数据分析实践的冰山一角，这只不过是万里长征的第一步。以下是这篇文章的几条要点。
在4月15日的波士顿马拉松赛中，两场爆炸造成了3人死亡和数十人受伤，这之后不到24小时FBI就编译了10TB的数据，希望通过大海捞针的方式找出嫌疑人的蛛丝马迹。
FBI主导的这一调查对海量的手机基站日志、短信、社交媒体数据、照片和视频监控录像进行了分析，希望快速找出嫌疑人。
调查使用了面部识别软件将照片和视频上的面孔与护照、签证、驾照和其它数据上的照片进行对比。
调查人员收集的10TB数据不过是沧海一粟（联邦政府通常处理的是PB级的数据），调查工作实际上进行了大量的数据削减，主要原因是数据量过大，数据介质类型庞杂，要处理的数据的整体复杂度过高，以及分析数据能够利用的时间很有限。
处理TB级数据或更多的视频、数字图像、文字信息和手机记录就已经十分复杂了。不难想象，如果再把社交媒体加入进来这会是一个多么漫无边际、深不见底的泥潭。我发现这篇文章中最有意思的一点是，调查公司借助一家名为Topsy的公司的服务对数十亿条tweet进行了筛选。Topsy保存有2010年7月以来的所有tweet，在恐怖分子调查中，这使调查人员能够对与波士顿相关的tweet进行大数据分析，而不必去分析上千亿条过去和现在的消息。Topsy的数据库分析软件使调查人员能够用关键词“bomb”（炸弹）搜索特定区域（包括波士顿以及邻近郊区）Twitter上的所有评述。
最终，这种细致搜索从两个嫌疑人的Twitter账户上检查出了包含“bomb”的内容。这种对公共记录的搜索很可能发现其它一些事实上不利于调查的线索，包括有些用户转发了提到炸弹的信息，或者参与了作为嫌疑人定罪证据的聊天等等。此外，Topsy的“地理位置推测”（ Geo-inferencing）技术也使调查人员能够对发出tweet信息的具体地点进行准确映射（考虑到仅有1%的Twitter用户在发tweet时使用了地理位置标签，这项推测技术相当了得）。据Topsy称，这些功能比标准的Twitter位置数据的准确度高20倍。
Emulex能够“掌控”大数据
在Emulex，我们认为解决大数据问题的核心在于企业网络的框架。这里有大量的服务器进行着平行处理来创造价值，这些服务器通过以太网和光纤通道协议相互通讯。因此，网络流量的延时和吞吐速度是快速实现大数据部署的关键问题。Emulex之所以能够解决这些延时问题，并获得全球众多企业的选用，是因为我们提供了能够最大限度地扩大数据集群的I/O解决方案，使大数据解决方案能够实现无缝部署。
不幸的是，在一些变态狂的影响下，我们的世界充满着动荡、恐惧，甚至是屠杀。但是同样让我们难以忘怀的是，我们的社会仍能在需要的时候展现出巨大的仁慈和爱心，正像波士顿的公民在这次恐怖袭击之后所展现出来的。尽管大数据为调查提供了重要帮助，但我们不要忘记最终还是一位公民提供的线索把调查人员引向了两名凶犯。归根结底，没有任何技术——无论其多么先进——能够取代人类的善良和不屈不挠的意志。