※ [本文轉錄自 IA 看板 #1Hk-8rr5 ]
作者: Blackrice (國際情勢) 看板: IA
標題: [資訊] 美國國安局如何海量監控使用者資料
時間: Sat Jun 15 11:40:30 2013
http://www.guancha.cn/HuaErJieRiBao/2013_06_14_151119.shtml
美國國安局如何實現海量使用者資料的監控？
僅僅在五年之前，諸如美國國家安全局（National Security Agency，NSA）這樣的政府
機構要想通過關鍵字的方式高效率地分析數百萬份電話、文本消息和線上聊天記錄，簡直
是不可能完成的任務。但是一系列新技術的應用讓NSA擁有相對充分的人力和財力做到這
一點。
哈佛商學院客座教授、資料分析專家湯姆・達文波特（Tom Davenport）指出：“這些新
技術為政府部門節省了巨額開支，同時還極大地提高了政府部門分析此類資料的能力。雖
然需要配套的資料中心支援才能完成資料分析任務，但這些技術的成本要遠比幾年前低得
多。”
NSA斥資十二億美元在猶他州打造大型資料中心將於今年秋季投入使用。目前尚不明確的
是，到底NSA在覆蓋全美的資料中心使用的是何種計算技術。但總體來說，這些技術被分
為三大類型：
全球消費者平均每月使用的網路、電子郵件和資料流程量圖
全球消費者平均每月使用的網路、電子郵件和資料流程量圖
資料庫系統
大多數使用SQL程式設計語言的傳統資料庫是把資料存儲在由行與列組成的表格中。然而
，當遇到存儲包括電子郵件或文本資訊等字串時，傳統資料庫就暴露了能力有限的弊端。
而且它們還無法處理圖片或視頻。
而於2009年年底開始出現的新型資料庫NoSQL（Not Only SQL，不僅僅是SQL）則突破了傳
統資料庫的能力限制，可以允許資料分析專家針對所有類型的資料創建資訊要求。這些新
型資料庫包括MongoDB、Cassandra和Simple DB等。
在説明公司分析超大型資料組方面，NoSQL資料庫體現出了非凡的能力。比如，美國保險
資料供應商Verisk Analytics Inc.的分析師就在針對數十億客戶資料不斷運行各種不同
的資料模式和分析方法，以從中發現虛假保險索賠記錄。Verisk 副總裁兼首席資訊官佩
里・羅泰拉（Perry Rotella）表示，使用IBM提供的傳統DB2資料庫“需要通宵達旦地工
作6個小時才能完成工作”。此後，分析師還得投入大量時間研究得出的資料結果，並提
出新的資訊要求，而這恐怕還得再熬一個晚上。他指出，分析師每次都需要花費幾周時間
才能創建出新的資料模型。Verisk最近剛剛開始使用更換後的NoSQL資料庫，分析師僅用
30秒就能完成相同類型要求的運行。
羅泰拉表示：“突然之間，你的模型建構告別了幾天才更行一次的傳統，變成了即時更新
狀態。通過使用NoSQL資料庫，你可以在一天內多次進行資料運行，這極大地縮短了獲得
資料結果的時間。這項功能簡直太強大了。”
機器學習
傳統分析要求分析師對資料有充分的瞭解，然後才能創建假設問題，進而針對資料庫提出
複雜的問題。以機器學習和自然語言處理為核心的程式設計技術則依靠電腦程式來發現資
料類型，甚至還可以根據上下文闡明模糊詞彙的意義。
達文波特指出：“你可以把機器學習程式植入多個資料之中，然後你就會看到該程式會給
你提供什麼樣的分析結果。通過使用自然語言處理技術，你還可以分辨出‘炸彈’這個詞
是百老匯舞臺劇的劇名，還是恐怖分子將會使用的武器。”
權威市場研究機構Gartner Inc.的分析師道格拉斯・萊尼（Douglas Laney）指出，機器
學習又被稱之為“認知分析”，它能夠讓分析師提出的問題不斷進行“自我修正”。比如
，在新資訊出現時，零售商就可以使用該技術來實 時自動更新計價演算法。這些新資訊
包括天氣、時間、甚至是消費者在其零售店裡的行為視頻。
Hadoop基礎架構
直到最近，還是只有造價昂貴的硬體設備才能夠運行特別複雜的電腦程式，比如超大型電
腦設備。現在Hadoop開源軟體分散式系統基礎架構已經能夠讓從資料庫提取資訊的過程進
行分佈實施。在這一過程中，不同的分析任務被分配給大量造價低廉的伺服器進行分析，
每個伺服器只負責分析其中的一部分內容，然後這些內容又會在任務結束後被匯總在一起
。達文波特表示：“這非常省錢，而且運行速度特別快。”
這種將複雜的問題分配給大量造價低廉的電腦處理的能力有助於人們獲得問題的及時回饋
，而且人們還會獲得大量的資料變數。比如，美國汽車資訊網站Edmunds.com可以幫助汽
車經銷商預測一輛車在他們自己的停車場裡停留的平均時間。這種預測能夠最大限度地縮
短一輛車售出的時長。Edmunds.com的首席資訊官菲力浦‧波特洛夫（Philip Potloff）
指出：“對於汽車經銷商來說，這可是衡量銷售業績最為重要的指標之一。”
本文願意開放自由轉載