阿明 發(fā)表于:14年04月29日 17:00 [原創(chuàng)] DOIT.com.cn
在2014年4月28日POWER8發(fā)布的大會現(xiàn)場,是我第一次在大會上看到IBM大中華區(qū)副總裁全球合作伙伴事業(yè)部大中華總經(jīng)理劉莉莉,因為她漢語說得不太流利,我只記錄了她講的大概,就是POWER8更適合大數(shù)據(jù)和云計算有圖謀的合作伙伴。她認為,僅僅依靠X86的合作伙伴將會是徒勞的。
事實上,POWER8真的有如此強大,能憑借其開放性再定乾坤嗎?之于POWER7,IBM如何走向新POWER時代?相關渠道支持計劃真的有吸引力嗎?既然IBM宣稱POWER8更適合大數(shù)據(jù),那么相關大數(shù)據(jù)產(chǎn)品路線圖是怎樣安排的?與此配合的IBM存儲又將如何重構?下面就從當天大會所聽所知,一一回答這些問題。
POWER產(chǎn)品定位牛逼在哪里?
來自IBM的POWER SYSTEMS產(chǎn)品總監(jiān)李紅在談到POWER8的出現(xiàn)時,提到了POWER的處理器路線圖,從POWER4到POWER5、POWER6、POWER7再到當前的POWER8,IBM對于POWER的承諾已經(jīng)呈現(xiàn)在整個產(chǎn)品線中?梢,IBM對于基礎架構的重視,并且POWER9已經(jīng)在PPT里面出現(xiàn)了原型機圖片?梢,IBM在POWER家族上的前世今生以及未來趨勢都有所鋪墊與前瞻,也都做了大量和細致的工作。
不過,POWER8牛逼的地方是采用22納米SOI技術,在POWER7中的eDRAM芯片緩存技術繼續(xù)沿用,半導體采用15層高集成度技術,高達650平方毫米。采用12核處理器芯片,在一個核上集成12個處理器。執(zhí)行單元有所提升,芯片內(nèi)部傳輸線路是POWER7的兩倍,采用8線程。并且根據(jù)應用狀態(tài)自適應線程模式,可以是混合線程模式,充分利用系統(tǒng)的性能。
另一個亮點,緩存方面一級緩存擴大到64KB,二級緩存512KB SRAM,三級緩存96MB eRAM,四級緩存采用芯片外緩存,最多達到128MB eRAM。使得POWER8芯片處理能力整體有了更大大的提高。
芯片采用雙內(nèi)存控制器,同時持續(xù)帶寬達到192-230GB/S。在安全性方面更注重采用硬件加密AME,以及TRANSACTIONAL MEMORY技術,使得整個芯片能耗管理更為有效,每個集成內(nèi)核電源都有穩(wěn)壓模塊。TRANSACTIONAL MEMORY在多線程訪問同樣內(nèi)存時會產(chǎn)生鎖,就是常說的“LOCKS”,而IBM采用硬件的方式來完成,在微碼級別中應用硬件方式解決鎖的問題。大幅度提升了應用性能,在大數(shù)據(jù)應用中,JAVA寫的應用出現(xiàn)鎖非常多,因此,該IBM技術更適應解決大數(shù)據(jù)應用性能的問題。
在總線方面,集成PCIe Gen3,在節(jié)點互聯(lián)方面采用SMP方式,兩個跳點可以建立連接,芯片上采用多條總線,直接處理器集成,低延遲表現(xiàn)良好,達到32GB/S的Gen3 x16 帶寬。CAPI技術也是充分體現(xiàn),就是一致性加速處理接口,英文為:Coherent Accelerator Processor Interface,一般情況下客戶不直接采用CAPI,而是有IBM合作伙伴合作開發(fā)之后提供給用戶。
其虛擬尋址,與處理器運行程序一樣使用指針,加速器可以與處理器一樣直接對內(nèi)存進行尋址,消除操作系統(tǒng)和設備驅(qū)動程序的額外開銷;硬件管理的緩存一致性,使得加速器能作為正常線程參與LOCKS,降低IO通信模型中的延遲,延遲至少可以減少到30分之一。
在POWER8上采用虛擬化的POWER KVM,開放虛擬化協(xié)議,支持云平臺以及公共云,帶給IBM新的機會,MICRO-THREADING將核更多細分,傳統(tǒng)的POWER KVM和POWER KVM分配整個處理器給VM。
另外,POWER8更為開放,帶有Little Endian Support類似的Big Endian Support, 與X86字符一致,對于采用C++語言開發(fā)的用戶可以方便移植。體現(xiàn)了POWER8更貼近開發(fā)者提供的便利。
POWER8第一個放入公共云平臺,如SOFTLAYER。CAPI是第一個讓客戶可以定制硬件應用的加速器設計。開放虛擬化包括了POWER KVM、POWER VC。支持LINUX,包括Debian派生版本Ubuntu,Linux Mint,F(xiàn)edora及其相關版本Red Hat Enterprise Linux和openSUSE。
可見,POWER8系統(tǒng)為新興工作負載及開放平臺而生,POWER8相關命名的規(guī)則,大寫S代表SCALE-OUT,都適合用戶橫向擴展,兩款運行LINUX機器,為S812L\S822L;另外三款運行混合操作系統(tǒng),為:S822、S814、S824。POWER8與POWER7對比,前者擴展槽位高,帶的硬盤也比后者多,內(nèi)置硬盤達到12-18個。
POWER8 SCALE-OUT系統(tǒng)全部采用DCM封裝技術。POWER8更高的性能表現(xiàn),與POWER7相比,每核性能有兩倍提升,S824比之前的P5-595整體性能還要快。
在存儲BANKPLANE OPTIONS方面,可以直接帶12個硬盤的主板,選擇不分開的主板和分開的主板,同時為大數(shù)據(jù)設計的主板帶18個硬盤,并且?guī)в蠩ASY TIER,對SSD和HDD盤自動管理。可見,針對不同工作負載提供了不同的存儲對接。
最大疑問:POWER7何去何從?
POWER8發(fā)布之后,POWER7如何走向?IBM對于這兩者采取共存方式,POWER8針對BIGDATA和云的負載環(huán)境,如公共云支持、做應用優(yōu)化;POWER7針對傳統(tǒng)工作負載環(huán)境。
全新一代系統(tǒng)平臺IBM Power8正式在中國發(fā)布,現(xiàn)場我看到了TYAN的服務器主板,Power新品亮相,以及立足Power的眾多伙伴,伙伴亮點:神州數(shù)碼、華勝天成。他們都是Power促進會成員。
華勝天成POWER8渠道支持計劃,是務虛還是務實?
華勝天成副總裁郝莊嚴認為,“我們未來創(chuàng)新在于CAMP。”CAMP發(fā)展歷程與華勝天成契合在一起,IBM從2012年就開始了基于POWER的開發(fā),從POWER7、POWER7+到POWER8,而IBM在CAMP產(chǎn)品線增加投入,從金融、電信、政府等行業(yè)獲得了很好回報,F(xiàn)在華勝天成也開發(fā)了新的應用,包括應用服務器、大數(shù)據(jù)等,針對集群部署也有新的方案出臺。針對POWER DIRECTOR2.5在2014年出臺,就是在工廠就為客戶做好了預裝,減少客戶的部署成本。針對中國SDI工廠出現(xiàn),并且華勝天成也有新的針對云的公司成立。為此,在CAMP方面的發(fā)展將由新的發(fā)展機會和動力。
CAMP就是將一個集成服務轉(zhuǎn)化成一個產(chǎn)品功能,華勝天成減少客戶使用方案的實施周期,減少成本,IBM的PURE SYSTEM也是在工廠預裝好,減少客戶部署難度,提升效率,減少成本?梢娙A勝天成與IBM在這個方面的發(fā)力是“穿同一條褲子”的。
不過,由于低端UNIX市場在不斷滑落,但LINUX市場在攀升,華勝天成看好后者的市場,CAMP的市場空間就是針對25K美元到6K美元的群體。CAMP渠道架構就是一個由更多資源、更本地化、更開放、更靈活來體現(xiàn),底層:ISV/CFT行業(yè)拓展,區(qū)域拓展;中間層:COC渠道政策技術支持;最高層:CSF方案整合,工廠預裝。CAMP全新獎勵計劃鼓勵ISV行業(yè)拓展,提升ISV對于CAMP的積極性,CFT伙伴每銷售一個CAMP就享受一定的獎勵,對于區(qū)域市場也投入很好的獎勵與之鼓勵。
華勝天成看好:“LINUX ON POWER的更好利潤,更穩(wěn)定的系統(tǒng)與更穩(wěn)固的客戶關系,”加入CAMP渠道就能凸顯核心競爭力,從而加強下游渠道伙伴銷售更高價值的方案,形成更多核心競爭力。CAMP形成三線支持體系:對于CSF三線支持,對VAD二線支持,對CFT和ISV一線支持,包括全天候熱線、快速支持、現(xiàn)場支持等。
并且推出CAMP專業(yè)培訓,點對點的渠道培訓,實戰(zhàn)成功案例分享培訓,提供技術和銷售以及解決方案認證培訓,以及基礎產(chǎn)品培訓和高級的付費培訓結(jié)合。
另外,華勝天成將針對CAMP做全國市場巡展,支持ISV在行業(yè)方面的研討會。
POWER8合作伙伴政策與獎勵計劃:IBM不只是拿錢開路
在談渠道計劃之前,得明白POWER8的渠道定位,IBM大中華區(qū)副總裁系統(tǒng)與科技部服務器解決方案總經(jīng)理侯淼分析POWER8是一個什么產(chǎn)品時,他認為有著四個方面的關鍵點,一是開放,通過OPENPOWER基金會更好地開放;二是在大數(shù)據(jù)負載方面表現(xiàn)優(yōu)秀;三是POWER8與云,支持KVM和VM;四是POWER8與中國,針對中國開發(fā)者推出測試云。
IBM希望POWER8專注兩個市場機會:一是針對X86市場;二是新的云計算市場。POWER8希望給到伙伴的利潤超過X86三倍以上。針對OPENPOWER基金會會員有開發(fā)基金支持,大于10萬美金通過登記提供更好的伙伴利潤空間,針對POWER8的20臺獎勵計劃,針對大數(shù)據(jù)與云計算項目提供給伙伴3-5個點的獎勵空間。等等一系列針對伙伴銷售的計劃都為刺激伙伴增值提升伙伴利潤空間而設計。
對此,IBM STG大中華區(qū)渠道總經(jīng)理林建平笑言,POWER8發(fā)布會現(xiàn)場,IBM人已經(jīng)開始T恤+休閑褲,不再是西裝革履領帶,這就是IBM人跟隨IBM開始走向開放的自我表現(xiàn)。OPENPOWER標志IBM更快更大膽地開放POWER,POWER8將是一個新的開始,對IBM如此,對IBM的合作伙伴亦如此。
POWER8大數(shù)據(jù)新品EASTWOOD和POSH P8,正在完善中
據(jù)IBM相關人士透露:大數(shù)據(jù)分析POWER8新品正在開發(fā)中:EASTWOOD、POSH P8,POSHV1在2014年6月P7+上會發(fā)布,POSHV2在9月12日P8上可以使用。
EASTWOOD將存儲和計算分開,存儲節(jié)點由GSSp主機帶密集存儲,大數(shù)據(jù)關注計算、存儲和網(wǎng)絡三個維度的問題,采用壓縮分載,使得I/O和計算合理分配,CPU可以做更多排序工作。
由此,該架構采用存儲節(jié)點上面由冗余以太網(wǎng)交換機連接與服務器形成一個靈活的,具備壓縮功能的EASTWOOD。
在高密度HPC方面,由TULETA服務器帶JBOD存儲盤柜,6臺服務器+18個JBOD,42U標準機架。
X86采用計算和存儲集中一起,使用HADOOP作為引擎,一個CPU核對應一個內(nèi)置盤,將存儲分散到所有節(jié)點,存儲節(jié)點安全監(jiān)控存在隱患,采用RAID0存在網(wǎng)絡帶寬和I/O接口浪費;POWERLINUX將計算與存儲節(jié)點分開,存儲節(jié)點數(shù)據(jù)便于掌控安全,并且對存儲和計算做靈活配置,采用軟RAID5方式保證了兩份拷貝的安全,節(jié)約帶寬和接口。在IBM看來,POWERLINUX已經(jīng)在這個方面完勝X86了。
林詠華詮釋POWER8新特性帶給企業(yè)私有云的好處
IBM中國研究院云基礎架構及技術組技術總監(jiān)林詠華,希望從POWER8新特性對企業(yè)私有云有什么好處,IBM在云中到底有什么開放性?
在云端,IBM具備了公私兼?zhèn)。公有云,有SOFTLAYER,一個擁有13個數(shù)據(jù)中心大大型公有云,向企業(yè)及公眾提供包括BARE METAL服務器、虛擬服務器、存儲和網(wǎng)絡資源等服務;私有云,有私有云企業(yè)級解決方案,基于開放平臺技術和接口,支持不同的主機架構包括POWER和X86。
POWER8是新的架構即SMT8的12CORES,SMT8存在同一個CPU硬件盒,SMT8雖然很好,對于DB2等有很好線性性能提升,但并不是對所有用戶都有很好的性能提升,比如對于SMT2\SMT4對某些用戶也有更好的應用,為此,IBM做了動態(tài)分析工具,支持用戶更好的應用,在線配合SMT。
POWER7及之前都采用軟件來實現(xiàn)MEMORY EXPANSION,犧牲2-3倍的性能來實現(xiàn)。IBM支持在POWER8上面的大端和小端模式,即Little Endian Support和類似的Big Endian Support。對于用戶想將X86應用遷移到POWER8上,也就更為方便。
SOFTLAYER目前暫時還沒有POWER,但SOFTLAYER已經(jīng)宣布支持POWER8,很快SOFTLAYER將采用POWER8。
對于OPENSTACK已經(jīng)成為云計算的主流創(chuàng)新技術而言,IBM通過接觸用戶在企業(yè)中應用問題來看,IBM已經(jīng)做了基于OPENSTACK的產(chǎn)品和平臺,并反饋給OPENSTACK社區(qū)。統(tǒng)一化支持POWER和X86在開源云平臺的管理,就是基于OPENSTACK可以對POWER+X86進行統(tǒng)一云管理。例如,在混合云方面支持移動通信網(wǎng)絡功能虛擬化,NFV,即NETWORK FUNCTION VIRTUALIZATION。采用POWER+X86的混合架構,取得云平臺性能上的優(yōu)化。
Power8發(fā)布下午場,我忍不住拍了她,一個IBM中國研究院的成員,最初做powerNV支持,現(xiàn)在講述全新Power擴展無限可能,侃侃而談,能量充足,性感演講HOLD全場。
全新POWER+IBM存儲重建基礎架構,為IBM存儲打氣
IBM系統(tǒng)科技事業(yè)部系統(tǒng)架構師許亮分析互聯(lián)網(wǎng)技術在系統(tǒng)架構方面的特點包括了:分布式服務框架、異步處理、分庫分表讀寫分離、緩存技術、開發(fā)運維一體化、快速迭代。因此,來自大規(guī)模并發(fā)與大數(shù)據(jù),云計算在這個大數(shù)據(jù)時代取得很大進步。
大家可以查到這樣的資料:分布式CAP理論:證明了在共享數(shù)據(jù)的分布式系統(tǒng)中的上述CAP性能中,同時最多只能同時滿足兩個。
事務處理型交易具備ACID特點,ACID指的是Atomic(原子的)、Consistent(一致的)、Isolated(隔離的)以及Durable(持續(xù)的),它們代表著事務處理應該具備的四個特征:原子性:組成事務處理的語句形成了一個邏輯單元,不能只執(zhí)行其中的一部分;一致性:在事務處理執(zhí)行之前和之后,數(shù)據(jù)是一致的;隔離性:一個事務處理對另一個事務處理沒有影響;持續(xù)性:當事務處理成功執(zhí)行到結(jié)束的時候,其效果在數(shù)據(jù)庫中被永久紀錄下來。
除此之外,還有非事務處理型交易。
在IBM對700多名客戶的調(diào)查發(fā)現(xiàn),所有客戶都迫切需要解決扁平化的數(shù)據(jù)處理方式。
為此,IBM推出兩種方案適用用戶的不同情況:
一是針對核心應用雙活+兩地三中心方案,包括生產(chǎn)中心和同城容災中心。DS8000系列與POWER的靈活應用。
二是針對次關鍵應用的統(tǒng)一存儲云:統(tǒng)一存儲云方案采用SVC整合大中型銀行應用,采用V7000/V5000在其中的應用。
根據(jù)不同IO特性,從內(nèi)存密集型到存儲密集型用戶環(huán)境,IBM所能提供的存儲架構模式包括了以下幾種情況:
高級內(nèi)存密集型用戶需要在磁盤上加入閃存層提升存儲性能;
中間件與存儲技術的有效集成將對實時數(shù)據(jù)分析產(chǎn)生顯著影響,IBM DS8000 SSDs配合面向應用指令堆棧的API,EASY TIER優(yōu)化應用指引存儲適合客戶相關數(shù)據(jù)的存儲;
兩大主要的數(shù)據(jù)倉庫方案和相關存儲需求,IBM Netezza數(shù)據(jù)倉庫和PUER SYSTEM結(jié)合;
大數(shù)據(jù)負載特點要兼顧傳輸中與存儲中的數(shù)據(jù)特點,具備大數(shù)據(jù)的4V。
另外面對迅速增長的數(shù)據(jù)存儲需求解決之道,IBM幫助用戶提供了在合適時期采取合適的存儲策略步驟,達到最佳經(jīng)濟存儲的目標:T1層可以采取閃存幫助用戶性能提高3倍,T2層采用虛擬化、分類、自動存儲層級、按需保存數(shù)據(jù),優(yōu)化資源配置技術;Tn層的長期數(shù)據(jù)保存,采取SNOWBAL STUDIOS數(shù)據(jù)壓縮技術,數(shù)據(jù)存儲單位成本降低每TB的70%。
不知道為什么,在現(xiàn)場許亮還為IBM存儲“打氣”,特別介紹了IBM在存儲方面具備的一些特點、優(yōu)勢和發(fā)展方向?赡苁,這么多年來,IBM一直堅持講DS8000、V7000、V3000、V5000,以及XIV、EASY TIER,后來大力推廣FLASHSYSTEM但雷聲大雨點小,畢竟東西昂貴非一般客戶可以采購。
許亮介紹來自2011年的一篇文章指出:磁盤高密度的問題。后來IBM采用POWER775與高密度磁盤的結(jié)合方案與之對應。
文章原文如下:IBM builds 120 petabyte cluster out of 200,000 hard drives
By Sebastian Anthony on August 26, 2011
Smashing all known records by a multiple of 10, IBM Research Almaden, California, has developed hardware and software technologies that will allow it to strap together 200,000 hard drives to create a single storage cluster of 120 petabytes — or 120 million gigabytes. The drive collective, when it is complete, is expected to store one trillion files — or to put it in Apple terms, two billion hours of MP3 music.
The data repository, which currently has no name, is being developed for an unnamed customer — but with a capacity of 120PB, its most likely use will be the storage device for a government-owned or federally-funded supercomputer or other high-performance computing (HPC) application; 120PB is the kind of capacity that you need to store global weather models or infinitely detailed weapon system simulations, both of which are rarely carried out by commercial interests Alternatively, it could be used to store a large portion of the internet (or data about its users) for Google or Facebook, or another client with very deep pockets. The largest systems currently in existence are generally around 15 petabytes — though, as of 2010, Facebook had a 21PB Hadoop cluster, and by now it’s probably significantly larger.
Exact details about the software and hardware isn’t given by IBM, but we do know that it features a new-and-updated version of IBM’s General Parallel File System (GPFS). GPFS is a volume-spanning file system which stores individual files across multiple disks — in other words, instead of reading a multi-terabyte high-resolution model at 100MB/sec from a single drive, the same file can be read in a massively parallel fashion from multiple disks. The end result is read/write speeds in the region of several terabytes per second — and, as a corollary, the ability to create more than 30,000 files per second. GPFS also supports redundancy and fault tolerance: when a drive dies, its contents are rebuilt on a replacement drive automatically by the governing computer.
On the hard drive side of things, if we divide 120PB by 200,000 you get 630GB — and once you factor in redundancy, it’s fairly safe to assume that the drives are all 1TB in size. We also know that every single one of the 200,000 drives will be watercooled with presumably the largest and most complicated bit of plumbing ever attempted — but considering IBM’s penchant for watercooling its top-end servers, that’s hardly surprising (though we still hope to post a photo of the system once it’s complete).
As it stands, supercomputers — and large-scale science experiments like the LHC — can produce (and compute) far more data than can be feasibly stored. IBM’s system, it is hoped, will be a data repository that goes some way to bridge the gulf between silicon, Moore’s law-governed technology — and electro-mechanical storage. Of course, on the other hand, perhaps it’s time to stop playing around with hard drives and start building mass storage arrays out of flash memory…
到了2013年IBM發(fā)布第五代服務器EASYTIER以及計劃中的磁帶EASYTIER功能,未來磁帶EASYTIER功能:從整體上簡化存儲管理,自動遷移空閑數(shù)據(jù)塊到磁帶介質(zhì),當被訪問數(shù)據(jù)塊自動回遷到磁盤,優(yōu)化整體粗才能的性價比能源以及占地,適用歷史庫,各種類型資料或影像庫的存儲。
POWER服務器與EASYTIER結(jié)合:利用服務器內(nèi)置SSD作為本地訪問的熱點數(shù)據(jù)自動緩存,對讀操作進行加速;提供EASYTIER API,應用軟件與用戶可基于特定需求進行數(shù)據(jù)在不同存儲介質(zhì)層次間的自動在線遷移。
可見,EASYTIER在全新POWER+IBM存儲重建基礎架構中的功勞依然不小啊。
IBM認為磁帶還是具備其生命力,磁帶成本最低,100TB的磁帶存儲已經(jīng)研發(fā)出了原型機。IBM已經(jīng)可以實現(xiàn)GFPS與LTFS的完美結(jié)合,以1/3功耗以及成本,提供3倍歸檔容量。
2013年3月IBM宣布試驗液態(tài)晶體管技術用于模擬人腦進行低功耗數(shù)據(jù)處理。
……
當下,IBM有充足的技術儲備把數(shù)據(jù)經(jīng)濟落實到全方位方案上:比如DS8870、SVC、STORWIZE FAMILY、XIV、FLASH、CLOUD、BIG DATA……。其實,還是老生常談,依然沒有看到IBM在存儲方面的有所進一步的產(chǎn)品創(chuàng)新,不過,我最近聽到的小道消息說:將在6月,IBM會有存儲新品發(fā)布,但不知道會圍繞什么用戶需求的定位?誰能提前猜得到呢?(阿明)