IT邵年 發(fā)表于:13年12月11日 21:51 [原創(chuàng)] DOIT.com.cn
今日,以“數(shù)據(jù)造化 智見(jiàn)未來(lái)”為主題的2013中國(guó)存儲(chǔ)峰會(huì)在北京盛大開(kāi)幕。今年是DOIT正式成立十周年,也是中國(guó)存儲(chǔ)峰會(huì)連續(xù)舉辦第九年。分論壇作為中國(guó)存儲(chǔ)峰會(huì)的經(jīng)典環(huán)節(jié),再次引來(lái)現(xiàn)場(chǎng)嘉賓的熱烈參與。此次的大會(huì)分論壇包括:軟件定義與數(shù)據(jù)中心論壇、云存儲(chǔ)與數(shù)據(jù)保護(hù)論壇、大數(shù)據(jù)與行業(yè)應(yīng)用論壇、2013中國(guó)閃存高峰論壇。其中大數(shù)據(jù)論壇作為當(dāng)下的熱點(diǎn)話題,加之其接地氣的行業(yè)應(yīng)用分享,現(xiàn)場(chǎng)氣氛再次引爆。
很多人都認(rèn)為大數(shù)據(jù)是最近兩年的事情,其實(shí),很多公司前幾年就開(kāi)始了這方面的工作。北京賽思信安公司的周游先生與參加大數(shù)據(jù)分論壇的觀眾分享了自己公司為企業(yè)大數(shù)據(jù)應(yīng)用提供一體化解決方案。下面是周游總經(jīng)理的大會(huì)文字速記。
周游:很高興今天有這樣一個(gè)機(jī)會(huì)分享一下我們賽思信安對(duì)于大數(shù)據(jù)這塊對(duì)傳統(tǒng)行業(yè)利用的理解,同時(shí)分享一下我們相關(guān)的大數(shù)據(jù)解決方案。我們賽思信安在大數(shù)據(jù)行業(yè)默默耕耘了大概三年多的時(shí)間,也有很多成功具體實(shí)施的案例。
首先先介紹一下賽思信安這個(gè)公司。我們公司其實(shí)一直致力于存儲(chǔ)和數(shù)據(jù)的行業(yè),主要提供數(shù)據(jù)存儲(chǔ)相關(guān)的產(chǎn)品和解決方案。我們本身的產(chǎn)品大多數(shù)產(chǎn)品也都是自主研發(fā)的,有自己的研發(fā)團(tuán)隊(duì),完全自主研發(fā)的。公司是成立于2007年,公司目前擁有200多人,主要研發(fā)人員比較多有70%的研發(fā)人員,我們一直走自主研發(fā)的道路,用自主研發(fā)品牌的產(chǎn)品。我們?cè)诖鎯?chǔ)包括數(shù)據(jù)管理,大數(shù)據(jù)方面也積累了很多的經(jīng)驗(yàn),因?yàn)槲覀冏钤邕M(jìn)入通過(guò)在存儲(chǔ)這個(gè)層次也在消冗這個(gè)方面。之后在數(shù)據(jù)管理這方面我們也做一些產(chǎn)品,之后我們大數(shù)據(jù)分析智能化挖掘也推出自己的產(chǎn)品。這是我們公司這幾年產(chǎn)品相關(guān)研發(fā)推出的里程,我們?cè)跀?shù)據(jù)消冗這塊也是自主研發(fā)技術(shù)也是自主研發(fā)產(chǎn)品,給用戶(hù)節(jié)省了空間,提升了存儲(chǔ)利用率,也為用戶(hù)節(jié)省很多成本。2011年我們最早基于用戶(hù)的需求我們開(kāi)始切入大數(shù)據(jù)的行業(yè),當(dāng)時(shí)大數(shù)據(jù)概念大家沒(méi)有提,但是我們做的事情是大數(shù)據(jù)的事情,數(shù)據(jù)量非常大給用戶(hù)帶來(lái)很大挑戰(zhàn)我們開(kāi)始做這個(gè)事情。我們公司愿景實(shí)現(xiàn)人與數(shù)據(jù)溝通,提升客戶(hù)潛在價(jià)值,我們?cè)趺蠢脭?shù)據(jù)為我們客戶(hù)和企業(yè)創(chuàng)造價(jià)值。
目前我們?nèi)珖?guó)以北京為中心建立了我們相關(guān)的售后服務(wù)體系,體夠包括電話、網(wǎng)絡(luò)相關(guān)的售后服務(wù),保證我們產(chǎn)品及時(shí)的響應(yīng)。這是公司整個(gè)的產(chǎn)品線從數(shù)據(jù)管理、分析層面等。我們包括軟件核心的這些技術(shù)都是我們自主研發(fā)的,另外根據(jù)用戶(hù)可以做很好的定制響應(yīng)速度比較快。
下面我們重點(diǎn)分享一下也是跟大家探討一下我們?cè)趥鹘y(tǒng)行業(yè)在大數(shù)據(jù)這塊做的相關(guān)工作以及相關(guān)的理解。大數(shù)據(jù)實(shí)際上可能從去年、今年大家提的比較熱的,實(shí)際上我們覺(jué)得大數(shù)據(jù)這個(gè)事情實(shí)際上已經(jīng)是一個(gè)很長(zhǎng)的一個(gè)時(shí)間的事情,并不是現(xiàn)在才出現(xiàn)的事情,大數(shù)據(jù)除了現(xiàn)在提到的量比較大,還有類(lèi)型比較多元化這種新的數(shù)據(jù)量增加帶來(lái)新的變化之外,其實(shí)更重要還有一種數(shù)據(jù)的思維,我們是不是考慮用數(shù)據(jù)去思維去考慮我們的業(yè)務(wù),去考慮我們?nèi)绾斡脭?shù)據(jù)支撐我們企業(yè)或者我們單位的這些業(yè)務(wù)來(lái)提升我們業(yè)務(wù)的競(jìng)爭(zhēng)力,我覺(jué)得這是一個(gè)非常重要的一點(diǎn)。
所以說(shuō)就是除了剛才介紹的數(shù)據(jù)量和數(shù)據(jù)類(lèi)型的變化所增加所帶來(lái)的現(xiàn)代對(duì)傳統(tǒng)信息架構(gòu)的影響之外,其實(shí)更重要在傳統(tǒng)行業(yè)企業(yè)更多考慮我們?nèi)绾卫眠@些數(shù)據(jù),如何基于這數(shù)據(jù)挖掘自身的需求,來(lái)支撐我們企業(yè)的運(yùn)營(yíng)。那么后面我們分幾各方面來(lái)具體分享一下我們這個(gè)理解。首先來(lái)說(shuō)我們覺(jué)得數(shù)據(jù)它通過(guò)接入更多的數(shù)據(jù)可以為企業(yè)找到他們更關(guān)注的一些內(nèi)容,來(lái)更好為企業(yè)的決策做出支撐。這塊我們可以看到比如說(shuō)我們?cè)诮鹑、保險(xiǎn)等行業(yè),它基于更多的數(shù)據(jù)源融入更多的數(shù)據(jù),金融我可以做征信體系支撐我貸款的業(yè)務(wù),保險(xiǎn)行業(yè)我可以分析我的客戶(hù),更細(xì)致的定制我保險(xiǎn)相關(guān)的產(chǎn)品。包括在制造業(yè)方面我們可以根據(jù)用戶(hù)對(duì)于他們汽車(chē)產(chǎn)品的理解,汽車(chē)產(chǎn)品的評(píng)價(jià)我們可以去設(shè)計(jì)定義這個(gè)汽車(chē)產(chǎn)品的功能,然后設(shè)計(jì)出更好的讓用戶(hù)更滿意的產(chǎn)品,定價(jià)方面也可以用大數(shù)據(jù)技術(shù)定義更好的價(jià)格。包括在石油、醫(yī)藥行業(yè)這塊通過(guò)數(shù)據(jù)融合實(shí)際上都可以得到很多幫助企業(yè)進(jìn)行數(shù)字化決策的一些東西。
我們醫(yī)療行業(yè)可以看一下,原來(lái)的醫(yī)療行業(yè)數(shù)據(jù)是比較單一的,進(jìn)入醫(yī)療系統(tǒng)只有病人我可以看病基本的資料,如果我們從大數(shù)據(jù)的思維,大數(shù)據(jù)角度考慮這個(gè)問(wèn)題,其實(shí)醫(yī)療行業(yè)包括研究機(jī)構(gòu),制藥企業(yè)提供人相關(guān)一些信息和藥品的相關(guān)信息都有可以融入到他們系統(tǒng)當(dāng)中來(lái)。另外臨床決策在臨床上面產(chǎn)生治療的信息都可以融入進(jìn)來(lái),另外患者一些行為,包括它的一些患者之間的關(guān)系也可以融入到醫(yī)療行業(yè)的這種信息資源庫(kù)當(dāng)中來(lái)。我們通過(guò)融入更多信息資源,通過(guò)信息資源的關(guān)聯(lián)可以為用戶(hù)發(fā)掘更多有價(jià)值的東西。我們通過(guò)這個(gè)我們可以提供更個(gè)性化的醫(yī)療服務(wù)。另外臨床決策這塊我們可以做更好的決策支撐。
另外還可以幫助通過(guò)生活方式和行為來(lái)對(duì)疾病做一個(gè)更深層次的分析,甚至于疾病的發(fā)生做一些預(yù)測(cè)這些都是可以通過(guò)數(shù)據(jù)的融合可以做的。
我們從另外一個(gè)角度來(lái)看我們通過(guò)數(shù)據(jù)可以幫助企業(yè)更好的了解企業(yè)客戶(hù),這樣可以發(fā)掘更多潛在的價(jià)值,幫助企業(yè)提升自己的市場(chǎng)空間。這塊包括電信、零售、運(yùn)輸?shù)取F鋵?shí)零售業(yè)這個(gè)感觸是比較深的,因?yàn)榛ヂ?lián)網(wǎng)化在零售業(yè)這塊,包括電子商務(wù)的出現(xiàn)和迅速的發(fā)展對(duì)這塊沖擊非常大的,因?yàn)殡娮由虅?wù)這塊更有效的利用了數(shù)據(jù)資源,所以他們?cè)诟?jìng)爭(zhēng)和傳統(tǒng)零售業(yè)占了非常多的優(yōu)勢(shì),雙十一可以銷(xiāo)售幾百億的商品。這個(gè)就是利用大數(shù)據(jù)一個(gè)很直觀的一個(gè)現(xiàn)實(shí)的例子。其實(shí)目前像電信、運(yùn)輸?shù)纫恍﹤鹘y(tǒng)的行業(yè),包括金融這塊實(shí)際上也可以開(kāi)始我如何利用他們自己所用的數(shù)據(jù)資源。電信這塊可以對(duì)用戶(hù)進(jìn)行全方位的描述,他的愛(ài)好等等也可以設(shè)計(jì)出針對(duì)性的產(chǎn)品進(jìn)行推薦。包括金融和保險(xiǎn)業(yè),現(xiàn)在互聯(lián)網(wǎng)金融是近年也非常熱,互聯(lián)網(wǎng)金融做的很重要的方式就是通過(guò)互聯(lián)網(wǎng)方式進(jìn)行用戶(hù)收集,通過(guò)征信體系做第一步的信用評(píng)估,這樣更有效的實(shí)現(xiàn)對(duì)用戶(hù)信息整理和評(píng)估,這個(gè)也是對(duì)數(shù)據(jù)利用的很好的例子。
我們可以看一下在電信行業(yè)我們可以得到哪些數(shù)據(jù)?一個(gè)是用戶(hù)基本信息,還有用戶(hù)行為特征,還有一些用戶(hù)上網(wǎng)包括訪問(wèn)的喜好等其他訪問(wèn)喜好,通過(guò)這些信息匯總和融合之后我們可以全方位的描述這個(gè)客戶(hù),我們可以知道這個(gè)客戶(hù)偏向于電話多,還是短信多還是上網(wǎng)多我們可以定義更科學(xué)更好的套餐,并且預(yù)測(cè)用戶(hù)對(duì)服務(wù)使用的感覺(jué),他是不是后面想不用這個(gè)產(chǎn)品,后面我們可以及時(shí)對(duì)用戶(hù)做推薦,挽留客戶(hù),甚至我們通過(guò)產(chǎn)品推薦找到更多的客戶(hù),這個(gè)對(duì)企業(yè)挖掘自身的市場(chǎng)很有作用的。
還有一個(gè)企業(yè)可以利用數(shù)據(jù)來(lái)提升自己的運(yùn)營(yíng)效率,這里面涉及到我們看到相應(yīng)的企業(yè),包括制造業(yè)、能源行業(yè)、物流行業(yè)都可以利用數(shù)據(jù)提升自己運(yùn)營(yíng)效率。下面我們可以通過(guò)一個(gè)例子看一下,我們這個(gè)地方拿到一個(gè)物流行業(yè)的例子來(lái)看,隨著現(xiàn)在物聯(lián)網(wǎng)、傳感器等相關(guān)技術(shù)的不斷發(fā)展,實(shí)際上在物流行業(yè)當(dāng)中車(chē)流運(yùn)輸情況,所有信息都可以實(shí)時(shí)采集到這個(gè)系統(tǒng)來(lái),車(chē)輛行車(chē)軌跡和司機(jī)的信息都可以采集到這個(gè)信息系統(tǒng),這個(gè)信息都存到信息中心,后面做了一件事情就是我們?nèi)绾螌?duì)這個(gè)數(shù)據(jù)做有效利用,這個(gè)是非常關(guān)鍵的一個(gè)環(huán)節(jié)。對(duì)于這塊我們當(dāng)時(shí)也做了一些規(guī)劃和設(shè)計(jì)、實(shí)施。這個(gè)第一個(gè)我們可以利用采集的數(shù)據(jù)對(duì)運(yùn)行車(chē)輛的行使?fàn)顩r做一個(gè)分析建立模型之后可以對(duì)車(chē)輛故障進(jìn)行相關(guān)的一些預(yù)測(cè),提前讓企業(yè)對(duì)車(chē)輛進(jìn)行維修。另外我們通過(guò)數(shù)據(jù)整合可以對(duì)車(chē)輛的運(yùn)行軌跡做一個(gè)更優(yōu)化的處理。另外我們還可以對(duì)于司機(jī)的狀態(tài)做一個(gè)實(shí)時(shí)的分析。其實(shí)對(duì)它們之間一些物流網(wǎng)點(diǎn)設(shè)計(jì)和部署這塊也可以通過(guò)數(shù)據(jù)做很有效的支撐。
還有一塊就是大數(shù)據(jù)在安全方面實(shí)際上也是可以做很有效的工具來(lái)支撐。這塊包括幾個(gè)方面。一、現(xiàn)在智能監(jiān)控這塊,通過(guò)大數(shù)據(jù)分析技術(shù)我們可以對(duì)圖像進(jìn)行實(shí)時(shí)分析在線分析,發(fā)現(xiàn)一些犯罪和違規(guī)的行為。另外在網(wǎng)絡(luò)方面對(duì)網(wǎng)絡(luò)通信數(shù)據(jù)流可以做網(wǎng)絡(luò)分析在線分析,我們可以通過(guò)數(shù)據(jù)進(jìn)行落地進(jìn)行進(jìn)一步的分析。我們可以通過(guò)網(wǎng)絡(luò)預(yù)測(cè)這個(gè)犯罪,我今天上午跟國(guó)家保密部門(mén)溝通的時(shí)候,通過(guò)對(duì)網(wǎng)絡(luò)行為進(jìn)行分析,也可以提前發(fā)現(xiàn)一些竊密的行為,通過(guò)歷史數(shù)據(jù)發(fā)現(xiàn)這一點(diǎn),通過(guò)這個(gè)關(guān)聯(lián)規(guī)則我們預(yù)測(cè)一些竊取的行為。
后面是我們賽思信安針對(duì)大數(shù)據(jù)的產(chǎn)品和解決方案,這塊我們還是回來(lái)用一頁(yè)P(yáng)PT簡(jiǎn)單總結(jié)一下,傳統(tǒng)行業(yè)我們?cè)诖髷?shù)據(jù)時(shí)代面臨哪些挑戰(zhàn)?這個(gè)挑戰(zhàn)可以總結(jié)為PPT幾個(gè)方面,不同企業(yè)面臨其中某幾個(gè)挑戰(zhàn)。我企業(yè)數(shù)據(jù)量特別大,達(dá)到幾十個(gè)PB等,面臨數(shù)據(jù)管理的問(wèn)題。但是有些數(shù)據(jù)絕對(duì)量沒(méi)有那么大,可能在幾個(gè)TB級(jí),但是它們其實(shí)面臨很大問(wèn)題就是我如何利用這些從里面獲取更加的信息這是他們面臨的挑戰(zhàn)。我們后面相關(guān)的一些方案和產(chǎn)品都是針對(duì)這些考慮進(jìn)行不同的設(shè)計(jì)的。
其實(shí)針對(duì)剛才提出的問(wèn)題有很多解決方法,這些解決方法也有傳統(tǒng)的一些方法,也有隨著互聯(lián)網(wǎng)行業(yè)不斷發(fā)展一些出現(xiàn)新的解決方法,包括hadoop等一系列的技術(shù),并不是一種技術(shù)解決所有的問(wèn)題,我們可能需要融合傳統(tǒng)方法,融合新技術(shù),根據(jù)需求做一些工作才能解決目前面臨的問(wèn)題。互聯(lián)網(wǎng)是針對(duì)自己需求開(kāi)發(fā)的技術(shù),并不是針對(duì)所有行業(yè)提供的解決方案,我們可以做定制化的需求。
我們這塊包括三部分,第一大數(shù)據(jù)的基礎(chǔ)平臺(tái),第二、上面大數(shù)據(jù)的分析平臺(tái),第三、側(cè)面就是一個(gè)管理的平臺(tái)。我們?cè)诖髷?shù)據(jù)基礎(chǔ)平臺(tái)提供幾個(gè)引擎,包括傳統(tǒng)引擎、hadoop引擎、流計(jì)算引擎、數(shù)據(jù)倉(cāng)庫(kù)的引擎,這個(gè)實(shí)現(xiàn)對(duì)于復(fù)雜數(shù)據(jù)異構(gòu)數(shù)據(jù)很方便的處理和分析,交互式的分析。另外我們提供數(shù)據(jù)挖掘基礎(chǔ)的算法包,讓用戶(hù)利用這些算法包對(duì)自己數(shù)據(jù)進(jìn)行挖掘分析。
我們利用系統(tǒng)對(duì)上面提供展示的工具,讓用戶(hù)通過(guò)展示更清晰看到自己數(shù)據(jù)隱含的趨勢(shì)或者一個(gè)規(guī)律。我們最底層采用服務(wù)器架構(gòu)的硬件平臺(tái)作為我們最底層硬件基礎(chǔ)設(shè)施,在上面我們可以構(gòu)建數(shù)據(jù)管理平臺(tái),上面數(shù)據(jù)分析應(yīng)用,我們?cè)跈z索系統(tǒng)這塊我們主要是解決海量數(shù)據(jù)的高效檢索的問(wèn)題,因?yàn)閿?shù)據(jù)量非常大,傳統(tǒng)的關(guān)系性數(shù)據(jù)庫(kù)很難滿足海量數(shù)據(jù)的檢索,當(dāng)數(shù)據(jù)規(guī)模達(dá)到萬(wàn)億級(jí)PB級(jí)的情況下需要檢索,這種檢索需要對(duì)異構(gòu)數(shù)據(jù)的檢索,可能有文本數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù),我們通過(guò)自主開(kāi)發(fā)多維檢索系統(tǒng)也可以有效解決這個(gè)問(wèn)題。我們通過(guò)hadoop里面的框架做很多分析的深度開(kāi)發(fā);诹饔(jì)算引擎我們可以在內(nèi)存做快速處理,這樣可以實(shí)現(xiàn)對(duì)于異常行為異常事件快速的報(bào)警,或者異常規(guī)律的發(fā)現(xiàn)。還有傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù),基于數(shù)據(jù)倉(cāng)庫(kù)我們可以支撐對(duì)一些結(jié)構(gòu)性數(shù)據(jù)做一些有效管理和處理。上面我們可以支撐多種應(yīng)用,包括內(nèi)容分析,企業(yè)預(yù)測(cè)管理,還有BI智能報(bào)表還有其他的應(yīng)用。
下面我們具體看一下我們幾個(gè)核心的產(chǎn)品,第一個(gè)我們提供軟硬一體的大數(shù)據(jù)一體機(jī)的解決方案,這個(gè)解決方案里面首先是X86基礎(chǔ)硬件平臺(tái),在平臺(tái)里面我們嵌入我們自己開(kāi)發(fā)的大數(shù)據(jù)軟件,這個(gè)大數(shù)據(jù)軟件可以根據(jù)客戶(hù)需求部署不同軟件平臺(tái)在里面。這個(gè)系統(tǒng)它的優(yōu)勢(shì),就是它可以做很好的橫向擴(kuò)展,并且這個(gè)橫向擴(kuò)展是在線進(jìn)行的,平滑進(jìn)行,我們軟件這塊對(duì)外提供加載和處理的功能。從軟件層面性能我們可以隨著硬件物理節(jié)點(diǎn)而線性的進(jìn)行增加,包括我們數(shù)據(jù)加載效率,查詢(xún)的效率,另外我們提供標(biāo)準(zhǔn)化的接口,文件訪問(wèn)接口和SQL的訪問(wèn)接口。
第二即時(shí)多維檢索系統(tǒng),解決海量數(shù)據(jù)的高效檢索,這是我們面臨用戶(hù)最早的需求,他們?cè)趯?shí)際的業(yè)務(wù)應(yīng)用系統(tǒng)當(dāng)中最早采用關(guān)系性的數(shù)據(jù)庫(kù),但是隨著數(shù)據(jù)量不斷的增加,他們發(fā)現(xiàn)關(guān)系性數(shù)據(jù)庫(kù)可擴(kuò)展性方面很難滿足他們需求,所以我們開(kāi)發(fā)了這套系統(tǒng)。hadoop里面有Symantec,也是互聯(lián)網(wǎng)公司開(kāi)發(fā)的這個(gè)Symantec系統(tǒng),這個(gè)很難支持多維的檢索,也不能很好支持文本的檢索,也不能支持SQL的接口,所以不太方便。我們這個(gè)系統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)可以導(dǎo)入我們的系統(tǒng),對(duì)于交易日志、話單日志、通行日志都可以放在里面,可以進(jìn)行消息檢索和深度分析。
還有就是我們?cè)谡麄(gè)大數(shù)據(jù)管理平臺(tái)里面我們可以單獨(dú)提供針對(duì)小文件管理和檢索的單獨(dú)引擎和管理系統(tǒng)使用。有些應(yīng)用場(chǎng)景小文件非常多,每個(gè)文件只有幾十K幾百K,這種小數(shù)據(jù)達(dá)到幾百億就很難訪問(wèn)了,我們支持對(duì)于文件描述信息的檢索。
還有一個(gè)我們數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng),這個(gè)系統(tǒng)也作為一個(gè)單獨(dú)的系統(tǒng)去部署和使用,針對(duì)這個(gè)系統(tǒng)我們提供了相對(duì)于標(biāo)準(zhǔn)化的接口,ODBC、JDBC接口,另外提供相關(guān)很豐富的數(shù)據(jù)管理工具。
這是我們基于大數(shù)據(jù)管理平臺(tái)商業(yè)智能的系統(tǒng),對(duì)于基礎(chǔ)的數(shù)據(jù)以及融合的一些其他的運(yùn)行日志數(shù)據(jù)我們進(jìn)一步數(shù)據(jù)可以通過(guò)我們Bigfuain抽取、轉(zhuǎn)換、加載,然后我們切片切換,上鉆下鉆同比環(huán)比,指標(biāo)預(yù)售之后是分類(lèi)、預(yù)測(cè)、關(guān)聯(lián)、通過(guò)報(bào)表進(jìn)行一個(gè)很形象化的展示。
我們整體大數(shù)據(jù)管理平臺(tái)可以整體使用,我們?nèi)诤狭艘恍┊悩?gòu)化的數(shù)據(jù),這些數(shù)據(jù)可能有短小的記錄性的數(shù)據(jù),還有文本性的數(shù)據(jù),還有郵件比較復(fù)雜,里面帶附件帶內(nèi)容到標(biāo)題很信息的數(shù)據(jù)信息,我們可以提供整體一體化存儲(chǔ)和管理,對(duì)外提供標(biāo)準(zhǔn)化的訪問(wèn)接口。這個(gè)基礎(chǔ)之上我們提供檢索和數(shù)據(jù)抽取包括做關(guān)聯(lián)分析一些基礎(chǔ)的算法庫(kù)。上面用戶(hù)可以做很多種業(yè)務(wù),我們這個(gè)實(shí)際上支撐網(wǎng)絡(luò)安全,包括網(wǎng)絡(luò)安全應(yīng)用中都采用了這套系統(tǒng)進(jìn)行有效的支撐了。通過(guò)這個(gè)平臺(tái)我們可以對(duì)數(shù)據(jù)做并行化的數(shù)據(jù)分析,通過(guò)我們提供的算組,我們通過(guò)分析發(fā)現(xiàn)數(shù)據(jù)中隱含的模式和規(guī)律。其實(shí)大數(shù)據(jù)最關(guān)鍵一點(diǎn)或者最核心的一點(diǎn)也就是通過(guò)我們工具,可能是不同的工具發(fā)現(xiàn)隱含的模式,基于這個(gè)模式我們可以監(jiān)控這個(gè)模式進(jìn)行預(yù)測(cè),這是大數(shù)據(jù)里面很重要一點(diǎn)。
總體來(lái)說(shuō)我們賽思信安的大數(shù)據(jù)具有哪些優(yōu)勢(shì)?第一我們整體的方案也都是全部通過(guò)我們或者是自主研發(fā)或者像開(kāi)源hadoop我們對(duì)代碼做深度研究和分析也可以做修改的能力,整體方案我們自主可控,可以根據(jù)用戶(hù)需求我們定制提供比較符合用戶(hù)需求的解決方案。
另外我們這個(gè)系統(tǒng)適用于融合異構(gòu)化的數(shù)據(jù)資源,這個(gè)數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)甚至多媒體數(shù)據(jù)都可以融合到這個(gè)里面,融合之后上面可以提供豐富數(shù)據(jù)處理模式。
我們提供實(shí)時(shí)流處理能力,可以進(jìn)行實(shí)時(shí)分析發(fā)現(xiàn)一些套牌車(chē)輛等。我們幫助醫(yī)療等提供一些基礎(chǔ)的算法模型,方便它對(duì)數(shù)據(jù)進(jìn)行利用和處理。
下面有幾個(gè)案例簡(jiǎn)單分享一下。實(shí)際上這個(gè)是我們相關(guān)的一些合作伙伴。我們相關(guān)的一些用戶(hù),這個(gè)是我們其中的一個(gè)案例,這個(gè)應(yīng)用場(chǎng)景需求這個(gè)數(shù)據(jù)量非常大確實(shí)是大數(shù)據(jù),量非常大,達(dá)到上PB級(jí),整個(gè)系統(tǒng)上面在物理上也到了上百個(gè)數(shù)據(jù)節(jié)點(diǎn)我們也是采用服務(wù)器架構(gòu)作為硬件基礎(chǔ)設(shè)施,這里面很多是結(jié)構(gòu)化小的基礎(chǔ)性數(shù)據(jù),但是量非常大,懂得規(guī)模超過(guò)五千多億條數(shù)據(jù),最早采用關(guān)系性數(shù)據(jù)庫(kù)進(jìn)行檢索,我們針對(duì)這個(gè)提供大數(shù)據(jù)管理系統(tǒng)。我們大數(shù)據(jù)管理系統(tǒng)對(duì)他們五千億,運(yùn)行中接近上萬(wàn)億的數(shù)據(jù)包括檢索我們都可以在秒內(nèi)解決,有效解決客戶(hù)的問(wèn)題,用戶(hù)可以基于這個(gè)平臺(tái)進(jìn)行深入的分析,像APP攻擊建立這個(gè)模型就可以進(jìn)行有效的分析。
這個(gè)是一個(gè)智能交通的相關(guān)案例,因?yàn)楝F(xiàn)在在智能交通系統(tǒng)里面兼顧的數(shù)據(jù)包括視頻,但是對(duì)視頻實(shí)時(shí)分析之后對(duì)于他們車(chē)輛運(yùn)行的日志情況也會(huì)進(jìn)行留存和匯總,在市內(nèi)攝像采集點(diǎn)都有這些,還有高速公路的卡口,這個(gè)數(shù)據(jù)量也是非常大的,這里面要求能夠?qū)M(jìn)行實(shí)時(shí)在線處理,所以針對(duì)這個(gè)我們也提供了在線實(shí)時(shí)處理的引擎,也是定義了一些模型,例如說(shuō)可以在一個(gè)時(shí)間范圍之內(nèi)如果發(fā)現(xiàn)在不同的一定距離地點(diǎn)都發(fā)現(xiàn)了統(tǒng)一輛車(chē),我們定義為一個(gè)檢測(cè)模型,發(fā)現(xiàn)這個(gè)車(chē)可以知道這是套牌車(chē)輛違規(guī)的行為,可以進(jìn)行及時(shí)報(bào)警我們還提供其他實(shí)時(shí)檢測(cè)預(yù)測(cè)模型。另外我們系統(tǒng)也可以有效的滿足了這個(gè)數(shù)據(jù)一個(gè)實(shí)時(shí)落地存儲(chǔ)的一個(gè)需求,并且在檢索前面我們也講在千億級(jí)對(duì)數(shù)據(jù)檢索進(jìn)行有效支撐。
這個(gè)是我們對(duì)于公安指揮中心的一個(gè)大數(shù)據(jù)的解決方案,其實(shí)在這個(gè)解決中心最早有很多信息化的系統(tǒng),也產(chǎn)生了很多數(shù)據(jù),但是數(shù)據(jù)每個(gè)業(yè)務(wù)系統(tǒng)自己進(jìn)行整理,沒(méi)有整合,我們通過(guò)大數(shù)據(jù)管理平臺(tái)對(duì)數(shù)據(jù)有效的融合整合處理,處理之后我們對(duì)外提供統(tǒng)一的移動(dòng)數(shù)據(jù)訪問(wèn),訪問(wèn)這個(gè)接口的方式也有效的解決用戶(hù)存在數(shù)據(jù)融合的問(wèn)題;谶@之后我們可以基于這個(gè)數(shù)據(jù)做一些深度的數(shù)據(jù)分析和數(shù)據(jù)挖掘的工作。這是今天我借這個(gè)機(jī)會(huì)跟大家分享我們大數(shù)據(jù)在傳統(tǒng)行業(yè)當(dāng)中解決方案的一些思考,謝謝大家!
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶(hù)寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.