DOIT2013中國(guó)存儲(chǔ)峰會(huì)報(bào)道 今日，以“數(shù)據(jù)造化 智見(jiàn)未來(lái)”為主題的2013中國(guó)存儲(chǔ)峰會(huì)在北京盛大開(kāi)幕。今年是DOIT正式成立十周年，也是中國(guó)存儲(chǔ)峰會(huì)連續(xù)舉辦第九年。分論壇作為中國(guó)存儲(chǔ)峰會(huì)的經(jīng)典環(huán)節(jié)，再次引來(lái)現(xiàn)場(chǎng)嘉賓的的熱烈參與。此次的大會(huì)分論壇包括：軟件定義與數(shù)據(jù)中心論壇、云存儲(chǔ)與數(shù)據(jù)保護(hù)論壇、大數(shù)據(jù)與行業(yè)應(yīng)用論壇、2013中國(guó)閃存高峰論壇。其中大數(shù)據(jù)論壇作為當(dāng)下的熱點(diǎn)話題，加之其接地氣的行業(yè)應(yīng)用分享，現(xiàn)場(chǎng)氣氛再次引爆。

大數(shù)據(jù)應(yīng)用中啤酒與尿布的故事，我們已經(jīng)耳熟能詳。然而各行各樣與大數(shù)據(jù)碰撞出來(lái)的精彩故事可是遠(yuǎn)遠(yuǎn)超過(guò)我們的想象。大數(shù)據(jù)技術(shù)專家崔建業(yè)就給現(xiàn)場(chǎng)觀眾帶來(lái)了一個(gè)如何從大數(shù)據(jù)中感知食品安全的故事。

以下是崔建業(yè)的精彩分享：

今天很榮幸代表我們食品安全研發(fā)部門做一個(gè)我們關(guān)于從大數(shù)據(jù)中感知食品安全探索過(guò)程分享。我匯報(bào)主要從以下四個(gè)方面展開(kāi)。

1、首先給大家簡(jiǎn)單介紹一下為我們從大數(shù)據(jù)中感知食品安全。

2、對(duì)我們?cè)破脚_(tái)組織架構(gòu)做一個(gè)介紹。

3、對(duì)我們?cè)破脚_(tái)遇到的技術(shù)進(jìn)行一個(gè)戰(zhàn)術(shù)。

4、簡(jiǎn)單的功能展示過(guò)程。

眾所周知目前是大數(shù)據(jù)的時(shí)代，信息爆炸過(guò)程當(dāng)中我們食品安全當(dāng)中大家不斷從互聯(lián)網(wǎng)，從電視上出現(xiàn)大家都有關(guān)注，這些方面都形成一個(gè)很大的數(shù)據(jù)資源，另外跟現(xiàn)在的hadoop技術(shù)等給我們提供從大數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)的積累，目前我們從這些資源和技術(shù)上來(lái)怎么樣為我們提供食品安全方面做出一些探索。

目前像2012年我們食品安全事件頻發(fā)，像蒙牛、可口可樂(lè)的事件等等，以前溯源更多，大家知道的saas事件、瘦肉精、染色饅頭等等，暴露出一個(gè)問(wèn)題我們目前基于互聯(lián)網(wǎng)的食品安全監(jiān)管存在一個(gè)空白的地方，如果我們有效利用網(wǎng)絡(luò)的資源來(lái)及時(shí)的發(fā)現(xiàn)這些信息，并且給監(jiān)管部門還有大眾用戶提供預(yù)警、信息展示的功能可能很大程度降低這樣的風(fēng)險(xiǎn)。

通過(guò)我們分析發(fā)現(xiàn)互聯(lián)網(wǎng)食品安全事件出現(xiàn)的時(shí)候會(huì)有以下幾個(gè)特征。首先是突發(fā)性，食品安全事件發(fā)展之后會(huì)迅速發(fā)展，短時(shí)間形成集群爆發(fā)，食品安全需要分布在地理位置。第三信息有海量信息數(shù)的特點(diǎn)。涌現(xiàn)海量信息數(shù)據(jù)的量這個(gè)增量過(guò)程是幾何爆炸式的增長(zhǎng)。還有動(dòng)態(tài)性，食品安全事件發(fā)生會(huì)帶來(lái)很多次生衍生的后果。三聚氰氨事件發(fā)生以后影響到了牛奶業(yè)和保健業(yè)。整個(gè)過(guò)程形成了虛擬社會(huì)，虛擬社會(huì)這些信息構(gòu)成整個(gè)公共數(shù)據(jù)源規(guī)模在日益擴(kuò)大。這個(gè)基礎(chǔ)上我們只要通過(guò)有效的辦法將互聯(lián)網(wǎng)的信息進(jìn)行有效采集、監(jiān)控以及分析就能夠?yàn)槲覀兯�要服�?wù)的行業(yè)提供這個(gè)最基礎(chǔ)的數(shù)據(jù)支撐，以及為以后的預(yù)警方案和食品檢測(cè)方案提供一個(gè)巨大的數(shù)據(jù)支持。

現(xiàn)在互聯(lián)網(wǎng)的數(shù)據(jù)很多，我們?cè)趺礃佑行У墨@取過(guò)來(lái)，比較老的客戶技術(shù)不先進(jìn)采用人工搜集方式，但是現(xiàn)在不可行了，互聯(lián)網(wǎng)站那么多，日益在增長(zhǎng)，人工搜集也很有問(wèn)題。人工搜集數(shù)據(jù)提供不了可視化的收集，人工收集不能獲取很全面的信息，也可能搜集信息不是你想要的，人工監(jiān)測(cè)互聯(lián)網(wǎng)的時(shí)代已經(jīng)過(guò)去了，我們要提供可靠高效的手段。世界范圍內(nèi)以及中國(guó)范圍內(nèi)都有一些探索。歐洲委員會(huì)聯(lián)合研發(fā)中心就是基于互聯(lián)網(wǎng)信息快速采集技術(shù)進(jìn)行及時(shí)的食品安全的預(yù)警。通過(guò)信息技術(shù)采集分析和處理海量數(shù)據(jù)互聯(lián)網(wǎng)相關(guān)數(shù)據(jù)情報(bào)基于這些信息建立龐大的數(shù)據(jù)庫(kù)，借助有效人工智能發(fā)覺(jué)算法，從鏈接關(guān)系找到恐怖的情報(bào)。像有一些公司通過(guò)熱點(diǎn)發(fā)現(xiàn)追蹤，敏感信息監(jiān)控這些功能，實(shí)現(xiàn)對(duì)敏感信息和熱點(diǎn)領(lǐng)域的監(jiān)控。我們這些年一直探索怎么樣從互聯(lián)網(wǎng)信息實(shí)現(xiàn)食品安全事件預(yù)警互聯(lián)網(wǎng)數(shù)據(jù)分析和采集系統(tǒng)。

正是基于以上原因這是我們做這個(gè)研究的根本，為什么做這些東西?就是為了解決相應(yīng)人工監(jiān)控的困難，以及怎么樣全方位有效時(shí)事監(jiān)控食品安全信息，我們研究食品安全信息監(jiān)控云平臺(tái)，給食品安全系統(tǒng)提供一個(gè)技術(shù)服務(wù)。

下面介紹我們整個(gè)云平臺(tái)核心組織架構(gòu)?分為四個(gè)層次�；�于底層硬件環(huán)境，構(gòu)建了一個(gè)分布式的基礎(chǔ)設(shè)施，這個(gè)基礎(chǔ)之上構(gòu)建分布式的計(jì)算框架層，提供信息處理層以及最上層用戶服務(wù)層，這是我們整個(gè)系統(tǒng)架構(gòu)的結(jié)構(gòu)層，通過(guò)我們服務(wù)器，盤陣，接觸網(wǎng)絡(luò)構(gòu)成我們網(wǎng)絡(luò)，為上層云計(jì)算分布系統(tǒng)，分存儲(chǔ)系統(tǒng)提供一個(gè)環(huán)境。我們通過(guò)分布式的處理技術(shù)實(shí)時(shí)框架構(gòu)成了我們分布式的計(jì)算框架。

再以上的計(jì)算框架、存儲(chǔ)網(wǎng)絡(luò)環(huán)境基礎(chǔ)之上完成我們數(shù)據(jù)處理，垃圾處理、最后為用戶信息展示，預(yù)警等服務(wù)。我們通過(guò)這些年積累總結(jié)了一下我們有幾類，新聞網(wǎng)絡(luò)，包括各大門戶網(wǎng)站，Web2.0來(lái)臨，用戶參與的微博等信息量很大，這個(gè)也是我們監(jiān)控范圍之內(nèi)，隨著微博技術(shù)發(fā)展用戶量增加我們現(xiàn)在微博信息出現(xiàn)一個(gè)海量增長(zhǎng)趨勢(shì)，這個(gè)過(guò)程我們就目前探索階段把新浪微博納入了我們監(jiān)控的范圍。另外考慮到一個(gè)關(guān)聯(lián)性我們現(xiàn)在對(duì)中文、也對(duì)英文信息和繁體中文信息進(jìn)行探索配置，這個(gè)過(guò)程當(dāng)中納入基本的范圍。

分布式云存儲(chǔ)方案，通過(guò)我們?nèi)�局文件系統(tǒng)組合起來(lái)協(xié)同協(xié)作，在虛擬化基礎(chǔ)上實(shí)現(xiàn)統(tǒng)一的資源池，用戶可以自助使用軟件，支持應(yīng)用在線存儲(chǔ)和訪問(wèn)，右側(cè)是我們整個(gè)云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)圖，這塊主要通過(guò)我們底層各個(gè)分路徑的存儲(chǔ)集群，這個(gè)基礎(chǔ)上我們開(kāi)發(fā)相應(yīng)存儲(chǔ)服務(wù)的接口，為上層云存儲(chǔ)系統(tǒng)以及云存儲(chǔ)平臺(tái)提供一個(gè)基礎(chǔ)架構(gòu)的支撐。

它主要有幾個(gè)特點(diǎn)：全局唯一利用空間，這塊使我們?cè)拼鎯?chǔ)設(shè)備對(duì)使用者透明，他不關(guān)心底層是什么，他使用就可以，因?yàn)槭窃破脚_(tái)，使用者不用擔(dān)心存儲(chǔ)設(shè)備在哪，我們給他一個(gè)授權(quán)他就可以在互聯(lián)網(wǎng)使用。

再有一個(gè)全局元數(shù)據(jù)管理，通過(guò)層次結(jié)構(gòu)和多備份形式保證我們?cè)瓟?shù)據(jù)安全可靠。

還有我們基于策略的數(shù)據(jù)管理，數(shù)據(jù)物理存儲(chǔ)、備份、緩存過(guò)程當(dāng)中可以通過(guò)基于策略的數(shù)據(jù)管理實(shí)現(xiàn)高效可靠的管理。

還有全局文件調(diào)度，對(duì)狀態(tài)監(jiān)控以及在此基礎(chǔ)上訪問(wèn)調(diào)度策略，當(dāng)各別分中心網(wǎng)絡(luò)出現(xiàn)異常的時(shí)候，用戶可以通過(guò)其他中心繼續(xù)訪問(wèn)和維護(hù)這些數(shù)據(jù)。

異構(gòu)存儲(chǔ)設(shè)備的兼容，這么多分中心他們?cè)O(shè)備不是單一形式，我們需要以云存儲(chǔ)系統(tǒng)兼容各種不同的設(shè)備，NAS、SAN、DNS等等，這是我們整個(gè)云存儲(chǔ)底層物理環(huán)境。

這是我們?cè)朴?jì)算的系統(tǒng)，我們數(shù)據(jù)中心的資源整合形成通過(guò)互聯(lián)網(wǎng)訪問(wèn)和使用共享的資源池，以服務(wù)方式供大量用戶按需可計(jì)量使用，通過(guò)我們計(jì)算機(jī)、控制節(jié)點(diǎn)，我們以這些硬件為基礎(chǔ)，通過(guò)我們上層計(jì)算模塊，網(wǎng)絡(luò)模塊，運(yùn)維、復(fù)制模塊形成大的云計(jì)算系統(tǒng)。它的特點(diǎn)有以下五個(gè)。

一、全局透明管理，可以為用戶屏蔽不同計(jì)算資源差異，用戶使用就可以。

二、按需分配，用戶可以根據(jù)需要自主選擇所需要的資源，并且不需要可以及時(shí)的退還還供其他客戶使用。

三、彈性擴(kuò)展。整個(gè)云平臺(tái)跟傳統(tǒng)的PC機(jī)，分給它單純的物理機(jī)不一樣，他計(jì)算需求比較大我可以調(diào)整分配CPU，考慮到不同應(yīng)用不同層次的需求我們實(shí)現(xiàn)了物理主機(jī)和虛擬機(jī)分開(kāi)管理。

四、資源分配部署和管理自動(dòng)化。

下面我們介紹一下分布式的計(jì)算框架，這個(gè)細(xì)節(jié)大家都了解了，不介紹了，我們基于三大開(kāi)源構(gòu)架。Hadoop主要是應(yīng)用于網(wǎng)頁(yè)信息的爬取，而其他的對(duì)計(jì)算實(shí)時(shí)性要求較高的作業(yè)比如摘要提取等則通過(guò)storm實(shí)現(xiàn)，處理的結(jié)果比如網(wǎng)頁(yè)正文內(nèi)容、相關(guān)元數(shù)據(jù)主要保存在mongodb中，各系統(tǒng)之間通過(guò)統(tǒng)一的作業(yè)調(diào)度中心負(fù)責(zé)協(xié)調(diào)。

現(xiàn)在計(jì)算資源有了，信息源有了，我們下一個(gè)比較重要的技術(shù)就是信息爬取技術(shù)，我信息爬取技術(shù)指我說(shuō)的信息監(jiān)控過(guò)程，這個(gè)過(guò)程主要對(duì)信息有兩點(diǎn)需求，主題相關(guān)性和時(shí)效性。我不可能把任何信息拿過(guò)來(lái)，拿過(guò)來(lái)信息我也不可能不做處理，我找出我所需要的信息，我不可能把什么時(shí)候的信息拿出來(lái)對(duì)信息時(shí)效性要求也比較高，趕在食品安全事件爆發(fā)之前，或者剛爆發(fā)之后就要及時(shí)的發(fā)現(xiàn)。

右邊這個(gè)圖是我們整個(gè)爬取大致的流程圖，首先是信息搜集和整理我們?cè)O(shè)置我們總的URL，通過(guò)通用爬蟲(chóng)對(duì)網(wǎng)頁(yè)爬取和保存，爬取過(guò)程當(dāng)中我們分析每一個(gè)網(wǎng)站分析導(dǎo)航，以及信息更新范圍等等做一個(gè)分析，在這個(gè)范圍之內(nèi)我們進(jìn)行一個(gè)比較頻繁，時(shí)間間隔比較小的頁(yè)面爬取保證信息的時(shí)效性。爬取以后我們對(duì)信息進(jìn)行整理分析建立我們一個(gè)信息爬取的模型，把這個(gè)頁(yè)面按照導(dǎo)航頁(yè)，主題相關(guān)主題不相關(guān)建立一系列的模型，記錄時(shí)間變化同時(shí)建一些主題相關(guān)模型，主題不相關(guān)模型等等。建立模型做一個(gè)互聯(lián)網(wǎng)的爬取，我們時(shí)間預(yù)測(cè)的模型時(shí)間預(yù)測(cè)值對(duì)導(dǎo)航頁(yè)面和子欄目進(jìn)行爬取，爬取之后根據(jù)我們前面主題模型進(jìn)行主題相關(guān)和不相關(guān)的判斷，這個(gè)判斷完基礎(chǔ)上進(jìn)行后續(xù)處理。

同樣跟我們模型不是一成不變的，需要實(shí)時(shí)更新，需要實(shí)時(shí)根據(jù)結(jié)果調(diào)整的過(guò)程，爬取過(guò)程當(dāng)中根據(jù)新爬取到的網(wǎng)頁(yè)信息定期進(jìn)行樣本集合模型更新，更新以后再繼續(xù)爬取，爬取之后再調(diào)整精確度提高這樣的功能。我們存儲(chǔ)資源、信息資源都有了我們信息也爬到了，現(xiàn)在就是說(shuō)垃圾信息的過(guò)濾，大家上網(wǎng)發(fā)現(xiàn)網(wǎng)上信息真的不一定都很能，從有效信息發(fā)覺(jué)33%有用信息就不錯(cuò)了。我們做食品安全事件的時(shí)候發(fā)現(xiàn)從100個(gè)信息發(fā)現(xiàn)10%的來(lái)我覺(jué)得很高，很多互聯(lián)網(wǎng)評(píng)論信息很多是無(wú)用的。特別高贊譽(yù)，特別低貶低這些我們都要過(guò)濾出去，留下剩下信息我們?cè)龠M(jìn)行一個(gè)分類過(guò)程，整個(gè)垃圾過(guò)濾過(guò)程我們基于從正例和無(wú)標(biāo)注數(shù)據(jù)中學(xué)習(xí)方法的欺騙性的垃圾實(shí)施系統(tǒng)。

首先我們進(jìn)行欺騙性和垃圾意見(jiàn)的收集確認(rèn)，我們根據(jù)這些年積累整理出來(lái)，針對(duì)哪些事件頻發(fā)，哪些是垃圾信息，根據(jù)這些信息建立我們一個(gè)模型，根據(jù)我們底層模型檢測(cè)，分別出哪些是垃圾信息，哪些不是垃圾信息，同樣這個(gè)模型也是在不斷的優(yōu)化，不斷補(bǔ)充的過(guò)程，需要我們根據(jù)實(shí)時(shí)爬取過(guò)程優(yōu)化，優(yōu)化根據(jù)新的模型再去檢測(cè)新的信息，這個(gè)提高我們垃圾信息檢測(cè)一個(gè)過(guò)濾。

下面關(guān)于我們事件預(yù)警的技術(shù)，我們信息拿過(guò)來(lái)了也進(jìn)行了好的分類，同時(shí)進(jìn)行了一個(gè)垃圾信息過(guò)濾，我們?cè)趺蠢�用這些有用的信息給用戶提供更有價(jià)值的信息出來(lái)，這塊我們用到信息預(yù)警技術(shù)，我們信息處理過(guò)程當(dāng)中識(shí)別可能演變成安全事件的信息，基于發(fā)現(xiàn)已識(shí)別的信息，確定可能發(fā)現(xiàn)事件，可能出現(xiàn)大面積的流傳，這樣的信息及時(shí)給用戶進(jìn)行預(yù)警推送。右側(cè)是整個(gè)流程圖，關(guān)鍵步驟我簡(jiǎn)單介紹，首先根據(jù)我們發(fā)現(xiàn)預(yù)警事件，因它屬性建立預(yù)警的本體，通過(guò)本體對(duì)我們信息處理，分析是不是我們預(yù)警事件，然后對(duì)這個(gè)事件進(jìn)行預(yù)警評(píng)估，判斷出來(lái)是不是發(fā)生預(yù)警的信息，確定出來(lái)以后將這個(gè)信息提供實(shí)時(shí)的結(jié)果展示。這個(gè)本體是不斷的優(yōu)化過(guò)程，在預(yù)警當(dāng)中優(yōu)化不斷的各項(xiàng)參數(shù)和指數(shù)，用新模型分類調(diào)整監(jiān)測(cè)這些監(jiān)控到的信息。

下面我對(duì)我們?cè)破脚_(tái)功能進(jìn)行一個(gè)大致的展示，我們應(yīng)用部署，我們部署我們中科院下屬12個(gè)分中心當(dāng)中，這樣可以快速處理PB級(jí)的任務(wù)，可以通過(guò)我們科技網(wǎng)優(yōu)勢(shì)快速達(dá)到信息同步傳輸。這塊是我們整個(gè)云平臺(tái)的一個(gè)展示首頁(yè)的抓圖，這塊可能看不太清楚，這塊有一些定時(shí)整理我們的熱詞，以熱詞的范圍內(nèi)進(jìn)行可視化的展示，我們對(duì)今日當(dāng)天發(fā)生互聯(lián)網(wǎng)報(bào)道的一些熱點(diǎn)事件進(jìn)行向用戶直觀展示過(guò)程。我們會(huì)第一時(shí)間向用戶展示很快大概在一個(gè)小時(shí)會(huì)發(fā)現(xiàn)它，向用戶展示，根據(jù)爬取到的信息提煉出這些食品安全事件的熱詞信息，讓觀眾一目了然，這些關(guān)鍵詞發(fā)現(xiàn)你要及時(shí)關(guān)注，根據(jù)哪些詞最近關(guān)注特別大可能要重點(diǎn)關(guān)注它。

這塊是動(dòng)態(tài)跟蹤事件發(fā)展趨勢(shì)的結(jié)果展示，我們?cè)诘貓D范圍內(nèi)，哪些省范圍內(nèi)根據(jù)顏色值，標(biāo)注，根據(jù)你區(qū)域我們重點(diǎn)關(guān)注哪個(gè)食品安全會(huì)發(fā)生問(wèn)題或者已經(jīng)出現(xiàn)問(wèn)題了。

下一個(gè)我們根據(jù)風(fēng)險(xiǎn)評(píng)估模型可以確定食品安全風(fēng)險(xiǎn)指數(shù)的等級(jí)，我們通過(guò)這塊一個(gè)直觀的展示，用戶不需要知道技術(shù)信息，我們一顆星兩顆星分級(jí)熱詞，這些分析結(jié)果他們覺(jué)得有必要知道可以通過(guò)郵件等等方式推送。還要給他展示一些他想要看的信息，食品發(fā)展趨勢(shì)是怎么樣，信息來(lái)源，哪個(gè)網(wǎng)站重點(diǎn)報(bào)道比較多，這個(gè)用戶需要直觀可視化的展示過(guò)程。

另外這塊是模板定制化的，根據(jù)食品安全監(jiān)管行業(yè)他們定期出一些食品安全方面的報(bào)告，或者白皮書(shū)之類，這塊根據(jù)他們需求整理出他們需要的數(shù)據(jù)，為他們報(bào)告提供一個(gè)基礎(chǔ)的數(shù)據(jù)支持，并且?guī)退麄冏詣?dòng)生成這些報(bào)告他們只要下載就可以。

小結(jié)一下我們整個(gè)的云平臺(tái)它到目前為止實(shí)現(xiàn)了整個(gè)食品安全行業(yè)里面實(shí)時(shí)并且準(zhǔn)確的監(jiān)控，我們研發(fā)過(guò)程當(dāng)中形成了我們識(shí)別體系，識(shí)別詞庫(kù)，我們可以很高程度識(shí)別出這些食品安全事件，另外我們通過(guò)實(shí)時(shí)監(jiān)控以及專業(yè)詞庫(kù)實(shí)現(xiàn)我們互聯(lián)網(wǎng)信息廣泛過(guò)去，實(shí)現(xiàn)了不留死角的監(jiān)控范圍。我們服務(wù)于亞運(yùn)會(huì)、奧運(yùn)會(huì)等。這個(gè)是我們食品安全的郵箱，大家可以通過(guò)這個(gè)郵箱聯(lián)系到我。食品安全監(jiān)管目前是很熱的話題，我們希望通過(guò)我們目前專業(yè)的技術(shù)跟大家相應(yīng)行業(yè)內(nèi)的應(yīng)用進(jìn)行更廣泛的結(jié)合，這樣才能提高我們精度，也是為服務(wù)大眾提供一個(gè)有效的手段，謝謝大家!