棱鏡門事件以來，NSA的全球監(jiān)控行為遭到各國(guó)政府和人民的譴責(zé)，但美國(guó)情報(bào)部門所展現(xiàn)的大數(shù)據(jù)和信息安全技術(shù)實(shí)力也成為各國(guó)政府甚至一流IT企業(yè)為之“艷羨”的對(duì)象。

NSA為代表的美國(guó)國(guó)家安全和情報(bào)機(jī)構(gòu)不但在信息安全技術(shù)上領(lǐng)先業(yè)界數(shù)年，而且在大數(shù)據(jù)采集、處理和分析技術(shù)上也讓大數(shù)據(jù)技術(shù)廠商們“驚艷”。事實(shí)上，NSA大數(shù)據(jù)項(xiàng)目的規(guī)模、可擴(kuò)展性、安全性在很多方面甚至超過了Google、亞馬遜和蘋果這樣的大型互聯(lián)網(wǎng)企業(yè)。

NSA旗下的風(fēng)險(xiǎn)投資公司In-Q-Tel迄今已經(jīng)投資了200多個(gè)云計(jì)算、大數(shù)據(jù)、搜索與分析創(chuàng)業(yè)項(xiàng)目，是美國(guó)大數(shù)據(jù)創(chuàng)業(yè)熱潮的最強(qiáng)力推手，因?yàn)楂@得In-Q-Tel的投資本身還意味著來自政府部門的訂單。

毫不夸張地說，NSA才是美國(guó)大數(shù)據(jù)創(chuàng)業(yè)熱潮背后的真正推手。

近日，前NSA工程師創(chuàng)建的數(shù)據(jù)庫(kù)創(chuàng)業(yè)公司Sqrrl的首席執(zhí)行官Ely Kahn在Structure Show視頻節(jié)目上解讀了大數(shù)據(jù)技術(shù)如何被應(yīng)用于國(guó)家安全。Sqrrl公司的產(chǎn)品基于開源NoSQL數(shù)據(jù)庫(kù)系統(tǒng)Accumulo，而Accumulo系統(tǒng)正是創(chuàng)辦Sqrrl的工程師在NSA時(shí)開發(fā)的。

Accumulo是PRISM棱鏡項(xiàng)目的核心

據(jù)Kahn的介紹，Accumulo數(shù)據(jù)庫(kù)系統(tǒng)是NSA企業(yè)架構(gòu)的核心。大多數(shù)NSA的關(guān)鍵分析應(yīng)用都運(yùn)行在Accumulo上。“我不能透露具體是哪些應(yīng)用，但人們?cè)谛侣勚锌吹降拇蠖鄶?shù)監(jiān)控和分析應(yīng)用的后臺(tái)都是Accumulo。”

Accumulo的性能如此強(qiáng)大，足以配得上對(duì)NSA大規(guī)模監(jiān)控行為的各種指責(zé)。從技術(shù)角度看，NSA已經(jīng)能夠識(shí)別網(wǎng)絡(luò)上的各種可疑行為和個(gè)人，但是NSA還有一個(gè)“更大的想法”，Kahn稱之為“生命分析的模式”：

這些都可以歸結(jié)為異常分析，也是我們目前的重點(diǎn)。如何建立一種模式來識(shí)別異常和正常？這需要基于對(duì)大量應(yīng)用案例的分析…

我們今天的很多工作主要是圍繞圖譜分析（Graph Analytics）進(jìn)行，建立大規(guī)模分布式的數(shù)據(jù)圖譜——圍繞一個(gè)具體的應(yīng)用實(shí)例建立正常模式的數(shù)據(jù)圖譜，然后參照這個(gè)圖譜查找異常模式。

云計(jì)算大數(shù)據(jù)集中，國(guó)防部已經(jīng)行動(dòng)起來

NSA采用的大數(shù)據(jù)處理和分析技術(shù)也適用于整個(gè)國(guó)防部，NSA的任務(wù)是建設(shè)一個(gè)能夠跨部門分享NSA資源的云計(jì)算和大數(shù)據(jù)基礎(chǔ)設(shè)施，Accumulo就是這個(gè)計(jì)劃的一部分，如今國(guó)防部希望將所有數(shù)據(jù)——從無人機(jī)視頻到醫(yī)療數(shù)據(jù)，都匯聚到一個(gè)單一的大數(shù)據(jù)分析系統(tǒng)中。

據(jù)Kahn介紹，NSA正在進(jìn)行中的一個(gè)重要項(xiàng)目代號(hào)“聯(lián)合信息環(huán)境”（Joint Information Environment），將在建立一個(gè)龐大的云計(jì)算大數(shù)據(jù)基礎(chǔ)設(shè)施，整合國(guó)防部的海量應(yīng)用實(shí)例——從網(wǎng)絡(luò)安全、戰(zhàn)場(chǎng)情報(bào)系統(tǒng)到醫(yī)療實(shí)例無所不包。

你可以不喜歡NSA，但NSA已經(jīng)無可爭(zhēng)議地在科技公司中確立了信息安全和大數(shù)據(jù)技術(shù)領(lǐng)導(dǎo)者的地位。