隨著各行業(yè)對數(shù)據(jù)價值認知的不斷提高，大數(shù)據(jù)成為繼云計算之后最火熱的詞匯。為應對各行業(yè)海量數(shù)據(jù)處理需求，大數(shù)據(jù)一體機應運而生。作為業(yè)界領先的云計算解決方案及服務提供商，浪潮在近日發(fā)布了自主研發(fā)的云海大數(shù)據(jù)一體機系統(tǒng)軟件,創(chuàng)新優(yōu)化算法的大數(shù)據(jù)處理平臺——浪潮云谷CloudCanyon V1.0。小編在同浪潮大數(shù)據(jù)一體機產(chǎn)品經(jīng)理的交流中，對這款產(chǎn)品有了更深入的了解。下面，就為大家?guī)�來最新鮮的浪潮云谷Cloud Canyon V1.0版本的解析資料。

浪潮云谷CloudCanyon V1.0是面向行業(yè)海量數(shù)據(jù)整合、分析、挖掘的大數(shù)據(jù)平臺，是浪潮大數(shù)據(jù)一體機的靈魂，是浪潮行業(yè)大數(shù)據(jù)業(yè)務的核心發(fā)動機。最新發(fā)布的浪潮云谷CloudCanyon V1.0版本采用創(chuàng)新算法，涵蓋數(shù)據(jù)存儲、數(shù)據(jù)處理等全環(huán)節(jié)。Canyon本義大峽谷，CloudCanyon是云中大峽谷的意思，浪潮云谷CloudCanyon寓意浪潮提供的這款系統(tǒng)軟件是處理云計算和大數(shù)據(jù)的大峽谷，任海量數(shù)據(jù)排山倒海，洶涌而至，盡收云谷，如清風拂云泰然處之。

浪潮云谷CloudCanyon V1.0是能夠提供企業(yè)級的、兼具高可靠性和穩(wěn)定性的Hadoop平臺，其組件包括HDFS分布式文件存儲系統(tǒng)、MapReduce編程框架、ZooKeeper分布式協(xié)同工作系統(tǒng)以及Hive數(shù)據(jù)倉庫，Pig數(shù)據(jù)流分析平臺和HBase分布式數(shù)據(jù)庫、Sqoop數(shù)據(jù)轉移工具和分布式監(jiān)控工具。

創(chuàng)新算法實現(xiàn)性能提升10倍以上

浪潮云谷CloudCanyon V1.0的核心框架在原有Hadoop架構上開發(fā)，使用了浪潮自主研發(fā)的算法，包括自適應調(diào)度算法、低消耗鎖算法、熱點數(shù)據(jù)感知的負載均衡算法。經(jīng)過實際測試，這些算法從整體上大大提升了大規(guī)模集群的性能，在執(zhí)行諸如1TB數(shù)據(jù)排序、100億條記錄查詢、大小表聯(lián)合查詢、1TB單詞統(tǒng)計等任務時，比原有方案的性能提升至少十倍。

創(chuàng)新算法同時也解決了原有架構的擴展瓶頸，兼顧了數(shù)據(jù)驅動型的縱向和橫向擴展：既支持單節(jié)點計算能力的擴展(即更高性能的CPU、更大容量的內(nèi)存)，也能將整個集群擴展至數(shù)千節(jié)點。此外，還支持動態(tài)改變數(shù)據(jù)結構，在不影響業(yè)務的情況下進行表結構變化。

與現(xiàn)有系統(tǒng)的無縫集成

隨著大數(shù)據(jù)技術的不斷發(fā)展，新的應用組件不斷出現(xiàn)，封閉的平臺已經(jīng)不能滿足日益增長的用戶需求。用戶需要根據(jù)特定的需求編寫滿足應用的大數(shù)據(jù)平臺程序，但不同的用戶對編程使用的語言是不同的，有的編程人員對Java比較熱衷，有的編程人員對腳本語言等有強烈的需求。為了更好的在平臺開發(fā)特定需求的應用程序，浪潮云谷CloudCanyon V1.0提供了開發(fā)總線，集成了Java、Python、Shell、C/C++等通用的編程接口，能夠提供強大的、多功能開發(fā)接口，滿足不同用戶的編程需求，為應用程序的開發(fā)帶來了極大的便捷性。

浪潮云谷CloudCanyon V1.0中的HDFS 支持Posix接口，可以像本地文件系統(tǒng)一樣掛載使用，用戶的應用程序不需要進行任何修改就可以無縫的遷移到CloudCanyon V1.0上，大大降低了使用的難度和門檻。

高密度、多維度的自動化監(jiān)控體系

浪潮云谷CloudCanyon V1.0可以對大規(guī)模集群進行高密度、多維度的自動化監(jiān)控報警，由此保證集群的穩(wěn)定性和安全性。

隨著集群規(guī)模的不斷擴大，業(yè)務復雜性的不斷提升，傳統(tǒng)的監(jiān)控手段已經(jīng)不再能滿足需求。浪潮云谷CloudCanyon V1.0監(jiān)控報警工具可以實時監(jiān)控系統(tǒng)的運行狀態(tài)，包括系統(tǒng)服務、CPU 、內(nèi)存、網(wǎng)絡、Hadoop組件服務的運行狀態(tài)等等，并通過可視化的界面呈現(xiàn)，實現(xiàn)對集群的精細化監(jiān)控。

浪潮云谷CloudCanyon V1.0可以自動收集軟硬件運行狀態(tài)，對硬件異常、操作系統(tǒng)異常進行報警;通過監(jiān)控Hadoop運行情況，自動識別Hadoop運行故障，自動報警;支持報警等級的自定義：用戶可以對各種故障等級進行自定義，不同報警等級以界面、郵件、短信等方式實現(xiàn)多元化的報警組合。通過制定靈活可控的告警策略，為管理員提供實時而準確的告警通知和詳盡清晰的報表分析數(shù)據(jù)，幫助數(shù)據(jù)中心的運維人員隨時掌握數(shù)據(jù)中心的各類軟硬件資源的運行狀況，降低運維管理復雜度，提高運維效率。

自我感知的智能管理

在大數(shù)據(jù)技術快速發(fā)展的時代，數(shù)據(jù)采集技術、數(shù)據(jù)存儲技術、數(shù)據(jù)處理技術、數(shù)據(jù)挖掘技術等都有其對應的大數(shù)據(jù)組件。如何將滿足用戶不同需求的大數(shù)據(jù)組件自動化安裝部署、集中配置和管理集群是用戶關心的問題。浪潮云谷CloudCanyon V1.0自我感知式的智能管理，正是為解決用戶的這些問題而誕生的。

浪潮云谷CloudCanyon V1.0自我感知式的智能管理主要實現(xiàn)了自動化部署集群、向導式界面安裝，用戶可以非常方便的對集群進行安裝和卸載操作。配置管理功能實現(xiàn)了界面自動化配置，用戶可以根據(jù)應用需要對集群中的配置參數(shù)進行集中修改，省卻了單一手動配置多個文件的繁瑣操作。同時，服務管理功能采用了一鍵式啟動，用戶既可以集中啟動或停止多個服務，也可以單獨的啟動或停止某一個服務，方便用戶管理集群和服務。

浪潮云谷CloudCanyon V1.0的面市，解決了原有架構的擴展瓶頸和性能不足，提高了安全自主可控性，降低了在新技術條件下客戶應用的易用性門檻，進一步推進了大數(shù)據(jù)技術在我國各行業(yè)的應用，是金融、公安、電信、交通、醫(yī)療等各個行業(yè)用戶的大數(shù)據(jù)解決方案理想之選。