2、數(shù)據(jù)分析方法的挑戰(zhàn):大數(shù)據(jù)技術(shù)的數(shù)據(jù)挖掘分為,關(guān)聯(lián)分析、聚類分析、異常分析、特性群組分析、演變分析等,分析的數(shù)學模型需要很強的適應性。
3、計算的時效性挑戰(zhàn):數(shù)據(jù)挖掘的實時計算,需要毫秒級的用戶體驗,需要瞬間把握數(shù)據(jù)動向和趨勢。
4、計算的成本的挑戰(zhàn):數(shù)據(jù)的存儲和安全以及在未來訪問和使用這些數(shù)據(jù)的存儲成本、計算資源的成本必須改變過去大型機、小型機的計算模式,改為采用通用硬件的分布式計算的技術(shù)模式。
作為領(lǐng)先的行業(yè)深度定制化智能網(wǎng)絡及云計算解決方案提供商,漢柏在電信、政府等行業(yè)在數(shù)據(jù)挖掘積累了豐富的經(jīng)驗。漢柏大數(shù)據(jù)計算系統(tǒng)提供了高性能存儲和查詢檢索,并提供簡單可靠的存儲擴展,從而能夠提供便捷快速的數(shù)據(jù)搜索和檢索定位。該方案通過云的手段提供海量數(shù)據(jù)挖掘的方法,提高了挖掘的效率,增加了挖掘的精度,有效提升客戶業(yè)務效能。
漢柏數(shù)據(jù)挖掘模型
圖1
漢柏大數(shù)據(jù)計算模型
圖2
漢柏大數(shù)據(jù)計算的體系結(jié)構(gòu)
圖3
某客戶應用案例
諸如,某省級電信運營商提供車載、手持和手機三個定位終端,上傳軌跡數(shù)據(jù),服務器獲取數(shù)據(jù)后通過GIS(地理信息系統(tǒng))在地圖上實時展示終端當前的地理位置。車載和手持定位終端最小每隔10秒上傳一次軌跡數(shù)據(jù)(包括終端ID、經(jīng)緯度、方向、速度、里程、狀態(tài)信息等)。靜止狀態(tài)下,終端頁會每隔300秒上傳一次數(shù)據(jù),一次上傳的數(shù)據(jù)大小為512字節(jié),一個終端每天上傳的數(shù)據(jù)約為2000條左右,數(shù)據(jù)大小約為1M。目前,該運營商約有20萬個終端,每天的反饋數(shù)據(jù)量為4億條,一天上傳的數(shù)據(jù)容量為200GB。在采用了漢柏大數(shù)據(jù)計算系統(tǒng)后,不但良好支持了上億數(shù)量級終端即千億條記錄,更能夠橫向擴展,從而良好解決數(shù)據(jù)分析的時效性、經(jīng)濟性,保證了數(shù)據(jù)的可靠性。
目前,漢柏大數(shù)據(jù)計算方案已經(jīng)在廣電行業(yè)、銀行業(yè)以及某部委付諸實施,并與漢柏的多款定制化產(chǎn)品配合,取得了良好的應用效果。