什么時候該把大數(shù)據(jù)放到云端？
IBM大數(shù)據(jù)專家James Kobielus 發(fā)表于：13年04月25日 12:23 [轉(zhuǎn)載] 網(wǎng)界網(wǎng)
云服務正在大數(shù)據(jù)應用中發(fā)揮重要作用，尤其是對于那些短期任務，或是已將大量數(shù)據(jù)存儲在云上的應用而言。
云服務對于每個人都具有吸引力。當有人對你說，他們的大數(shù)據(jù)策略是“把所有的數(shù)據(jù)都存儲在云端” 時，你根本無法判斷這些人是有遠見的人，還是在簡單地重復著專家在行業(yè)會議上對他們的建議。
毫無疑問，目前大數(shù)據(jù)和云范例之間存在著巨大的重合之處。這些交集是如此的廣泛，以致于你能夠名正言順地宣稱自己正在利用現(xiàn)有的本地Hadoop、NoSQL或企業(yè)數(shù)據(jù)倉庫環(huán)境，處理基于云的大數(shù)據(jù)。請記住，云服務被普遍解讀為除了公有云、SaaS(軟件即服務)和多租戶托管環(huán)境外，還包括“私有化的”部署。
如果你將“云”的定義局限為公有定購服務，那么你將會觸及問題的核心：這就是要識別出哪些大數(shù)據(jù)應用比本地部署(例如涉及到預優(yōu)化硬件工具，或是虛擬化服務器集群的本地部署)更適合公有云或SaaS部署模式。
從另一個角度來說，在外部服務商為你提供管理服務的情況下，你何時能夠提升大數(shù)據(jù)的擴展性、靈活性、性能、費效比、可靠性和可管理性?以下是幾個大數(shù)據(jù)存儲在公有云服務上的典型應用案例。
已經(jīng)被托管在云上的企業(yè)應用：如果你像許多機構(gòu)一樣，尤其是像中小企業(yè)那樣，使用外部服務商提供的基于云的應用，那么你的許多源交易數(shù)據(jù)都已經(jīng)位于公有云之上。如果你將大量的歷史數(shù)據(jù)存儲在上述云平臺上，那么它們可能已經(jīng)積累至大數(shù)據(jù)級別。對于服務商或是其合作伙伴推出的增值分析服務(例如客戶流失分析、營銷優(yōu)化或是異地備份和客戶數(shù)據(jù)歸檔等服務)而言，將數(shù)據(jù)存儲在云上可能比將數(shù)據(jù)存儲在本地更具意義。
需要大量預處理的海量外部數(shù)據(jù)源：如果你正在利用社交媒體數(shù)據(jù)反饋進行客戶情感監(jiān)控，那么本地的服務器、存儲或是帶寬將無法滿足相關(guān)分析工作的需求。這是一個典型的應用案例。在這個案例中，你應該利用基于公有云的大數(shù)據(jù)服務所提供的社交媒體過濾服務。
除了本地大數(shù)據(jù)功能之外的戰(zhàn)術(shù)性應用：如果你已經(jīng)專門為某一應用部署了一個本地大數(shù)據(jù)平臺，例如專門用于非結(jié)構(gòu)化數(shù)據(jù)源中的海量ETL(抽取/轉(zhuǎn)換/加載)操作的Hadoop集群，那么使用公有云可以更好地處理新的應用(例如多渠道營銷、社交媒體分析、地理空間分析、具有查詢功能的存檔、彈性數(shù)據(jù)科研沙箱)，因為現(xiàn)有平臺并不適合處理這些應用，而公有云的按需服務性能更加強大，也更具費效比。實際上，如果你需要盡可能快地擁有可處理拍字節(jié)級、流式、多結(jié)構(gòu)化大數(shù)據(jù)的能力，那么公有云解決方案可能是唯一可行的選項。
龐大短期分析沙箱的彈性配置：如果你有一個需要探索型數(shù)據(jù)集市(即沙箱)的短期數(shù)據(jù)科研項目，并且這個沙箱的規(guī)模遠遠超過了正常的規(guī)模，那么云可能將是你唯一可行、或是能夠負擔得起的選項。在項目啟動期間，你可以迅速獲得基于云的存儲空間和處理能力。而在項目結(jié)束之后，可以迅速釋放這些存儲空間和處理能力。我將這種模式稱為“氣泡集市”部署模式，這種模式特別適合云服務。
如果你已經(jīng)做了其中的任何一項，那么基于云的大數(shù)據(jù)所面臨的策略性問題就并不是從哪里開始了。隨著基于云的大數(shù)據(jù)服務的成熟，以及性價比、擴展性、靈活性和可管理性的不斷提升，問題將成為你將在哪里停止下來。到2020年，伴隨越來越多的應用和數(shù)據(jù)遷移至公有云，關(guān)于創(chuàng)建和運營專屬自己的大數(shù)據(jù)部署的想法可能會和現(xiàn)階段設(shè)計屬于自己的服務器那樣不切實際。
