圖:數(shù)據(jù)存儲(chǔ)整合前的存儲(chǔ)孤島

新疆油田數(shù)據(jù)中心根據(jù)業(yè)務(wù)需求,先后購(gòu)買了兩套不同品牌的集中存儲(chǔ)系統(tǒng)。但是隨著技術(shù)的不斷成熟、業(yè)務(wù)種類的不斷豐富、用戶需求的不斷提高,對(duì)后臺(tái)的支撐系統(tǒng)提出了更高的要求。以前的存儲(chǔ)架構(gòu)已經(jīng)不足以滿足業(yè)務(wù)發(fā)展的需求,對(duì)現(xiàn)有數(shù)據(jù)存儲(chǔ)的基礎(chǔ)架構(gòu)提出了新的調(diào)整要求:在不影響現(xiàn)有應(yīng)用的情況下,需要對(duì)已有的HDS 9585和EMC CX700存儲(chǔ)系統(tǒng)實(shí)現(xiàn)整合,解決隨著業(yè)務(wù)的增長(zhǎng)而不斷產(chǎn)生的問題。

新疆油田數(shù)據(jù)中心在2007年九月購(gòu)買了在存儲(chǔ)虛擬化存儲(chǔ)市場(chǎng)領(lǐng)域處于領(lǐng)先地位的廠商–HDS的具有強(qiáng)大虛擬化功能的NSC55產(chǎn)品,實(shí)現(xiàn)了對(duì)原有系統(tǒng)的整合。目前新疆油田數(shù)據(jù)中心已經(jīng)擁有了一個(gè)統(tǒng)一的存儲(chǔ)資源平臺(tái)、可以實(shí)現(xiàn)統(tǒng)一存儲(chǔ)資源調(diào)度;并且NSC55帶來的一些全新的存儲(chǔ)功能可以完全應(yīng)用到以前的存儲(chǔ)資源,使原有的存儲(chǔ)空間得到了增值;統(tǒng)一的存儲(chǔ)平臺(tái)完全消除了原有存儲(chǔ)基礎(chǔ)架構(gòu)的瓶頸。

圖:數(shù)據(jù)存儲(chǔ)整合后的統(tǒng)一存儲(chǔ)平臺(tái)信息基礎(chǔ)架構(gòu)

目前在這個(gè)統(tǒng)一的存儲(chǔ)平臺(tái)上運(yùn)行著新疆油田數(shù)據(jù)中心的所有應(yīng)用系統(tǒng),包括地球科學(xué)與鉆井系統(tǒng)A1所有的應(yīng)用(CDS、MDS、PE、LMK、TSM、GQS、PCEDM等)、上游生產(chǎn)信息系統(tǒng)A2所有的應(yīng)用(EDM、CITRIX、QVM、OpenWells、TWS、Crystal Report等)、勘探數(shù)據(jù)庫(kù)、開發(fā)數(shù)據(jù)庫(kù)、地理信息數(shù)據(jù)庫(kù)、基礎(chǔ)地理影院系統(tǒng)、三維地理影院系統(tǒng)、項(xiàng)目管理應(yīng)用系統(tǒng)、辦公自動(dòng)化系統(tǒng)和公司門戶應(yīng)用系統(tǒng)等將20多個(gè)應(yīng)用系統(tǒng)。統(tǒng)一的數(shù)據(jù)存儲(chǔ)平臺(tái)保證了這20多套信息系統(tǒng)的正常運(yùn)行,使新疆油田數(shù)據(jù)中心數(shù)據(jù)管理的集成度得到大幅度提高。

新疆油田數(shù)據(jù)中心存儲(chǔ)虛擬化存儲(chǔ)整合項(xiàng)目的實(shí)施為新疆油田公司在2008年力爭(zhēng)全面完成數(shù)字油田的建設(shè)打下了堅(jiān)實(shí)的IT架構(gòu)的基礎(chǔ),為完善油田信息集成平臺(tái)、一體化應(yīng)用系統(tǒng)等重點(diǎn)基礎(chǔ)系統(tǒng)建設(shè)提供了統(tǒng)一數(shù)據(jù)存儲(chǔ)的保障。為未來油田的數(shù)據(jù)和應(yīng)用容災(zāi)建設(shè)、各種應(yīng)用升級(jí),ERP系統(tǒng)建設(shè)、完善工程技術(shù)與生產(chǎn)服務(wù)業(yè)務(wù)信息系統(tǒng)、加強(qiáng)生產(chǎn)自動(dòng)化技術(shù)的推廣應(yīng)用、完善生產(chǎn)自動(dòng)化數(shù)據(jù)管理系統(tǒng)和擴(kuò)大自動(dòng)化設(shè)施數(shù)據(jù)采集監(jiān)測(cè)等應(yīng)用提供了充分的數(shù)據(jù)存儲(chǔ)可持續(xù)擴(kuò)展支持能力。這一項(xiàng)目的成功實(shí)施將促進(jìn)新疆油田繼續(xù)由數(shù)字油田向智能化油田不斷邁進(jìn)。

存儲(chǔ)系統(tǒng)整合前面臨的問題

直接使用各自獨(dú)立部署的HDS和EMC陣列,隨著業(yè)務(wù)的發(fā)展一些問題也變得越來越緊迫:

問題1.?dāng)?shù)據(jù)復(fù)制問題。

基于存儲(chǔ)的數(shù)據(jù)復(fù)制技術(shù)目前已經(jīng)是最重要的存儲(chǔ)技術(shù),它是數(shù)據(jù)備份、應(yīng)用開發(fā)、數(shù)據(jù)挖掘、應(yīng)用測(cè)試、數(shù)據(jù)容災(zāi)的基礎(chǔ),幾乎所有的企業(yè)級(jí)用戶都會(huì)使用這種基于存儲(chǔ)的數(shù)據(jù)復(fù)制技術(shù)來解決各種應(yīng)用難題或提供增值的存儲(chǔ)服務(wù)。這種基于存儲(chǔ)的數(shù)據(jù)復(fù)制技術(shù)對(duì)于新疆油田數(shù)據(jù)中心同樣重要,而對(duì)于現(xiàn)有的不同品牌的HDS9585和EMC CX700,它們互相之間無法實(shí)現(xiàn)基于磁盤卷的數(shù)據(jù)復(fù)制,無法直接在存儲(chǔ)間進(jìn)行在線的數(shù)據(jù)轉(zhuǎn)移,數(shù)據(jù)復(fù)制必須通過主機(jī)來實(shí)現(xiàn),造成效率低、結(jié)構(gòu)復(fù)雜。

問題2.容災(zāi)問題。

這個(gè)問題同時(shí)出現(xiàn)在HDS9585和EMC CX700上。如果沒有虛擬存儲(chǔ)的統(tǒng)一管理,將來實(shí)現(xiàn)異地容災(zāi)的時(shí)候,HDS9585和EMC CX700要通過各自的容災(zāi)機(jī)制分別建設(shè),但是這是不可能的,不僅因?yàn)槎嗵撞唤y(tǒng)一的容災(zāi)系統(tǒng)建設(shè)復(fù)雜,無法實(shí)現(xiàn)一致的容災(zāi)系統(tǒng)接口,管理、維護(hù)難度極高,而且從理論和實(shí)踐上,HDS9585和EMC CX700屬于中端模塊化產(chǎn)品,性能和功能等方面是根本無法支撐30-1000KM的異地容災(zāi)!

問題3.沒有存儲(chǔ)虛擬化帶來的其它問題

可以看出,與眾多的存儲(chǔ)整合項(xiàng)目一樣,本項(xiàng)目的存儲(chǔ)整合涉及了存儲(chǔ)系統(tǒng)設(shè)計(jì)的可靠性、可管理性、擴(kuò)展性、性能、數(shù)據(jù)容災(zāi)復(fù)制等若干關(guān)鍵性環(huán)節(jié)。但是應(yīng)該注意到,與前期系統(tǒng)建設(shè)不同的是,目前階段的建設(shè)已經(jīng)躍升到一個(gè)新的層面,現(xiàn)階段需要的不僅僅是一個(gè)局限于設(shè)備參數(shù)的簡(jiǎn)單方案,而是一個(gè)從實(shí)際業(yè)務(wù)應(yīng)用角度出發(fā)的,真正能夠解決存儲(chǔ)設(shè)備管理維護(hù)難度問題、設(shè)備可靠性問題、數(shù)據(jù)量膨脹問題、設(shè)備綜合利用等等問題的存儲(chǔ)一體化解決方案,以及一個(gè)著眼現(xiàn)狀、兼顧未來發(fā)展,融存儲(chǔ)系統(tǒng)的整合、管理、容災(zāi)安全保護(hù)為一身的長(zhǎng)遠(yuǎn)系統(tǒng)規(guī)劃,以改善前期系統(tǒng)在建設(shè)、運(yùn)行的過程中逐漸體現(xiàn)出來的若干問題。

項(xiàng)目主體需求體現(xiàn)在以下幾個(gè)方面:

在存儲(chǔ)管理方面,如何對(duì)數(shù)量龐大、日趨復(fù)雜的存儲(chǔ)系統(tǒng)設(shè)備進(jìn)行集中統(tǒng)一管理,如何利舊?

在 “分階段規(guī)劃、逐步實(shí)施”的整體建設(shè)指導(dǎo)原則下,數(shù)據(jù)中心的存儲(chǔ)系統(tǒng)在各個(gè)建設(shè)階段必然會(huì)引入不同型號(hào)、不同品牌、種類繁多的基本存儲(chǔ)設(shè)備。不同的設(shè)備在各個(gè)時(shí)期的重要性不同,隨著存儲(chǔ)技術(shù)的演化發(fā)展,舊設(shè)備的存儲(chǔ)能力會(huì)逐漸降低。系統(tǒng)建設(shè)面臨的問題是:隨著新系統(tǒng)、新設(shè)備的不斷引入,從成本控制的角度看,淘汰舊設(shè)備顯然是系統(tǒng)建設(shè)的下策。但是,在日益復(fù)雜的存儲(chǔ)環(huán)境中,舊設(shè)備的再度利用又會(huì)面臨管理界面復(fù)雜,管理成本上升的難題。依據(jù)現(xiàn)代存儲(chǔ)”數(shù)據(jù)生命周期管理”的理論,不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)在不同時(shí)間階段的重要性會(huì)發(fā)生很大的變化。因此,利用智能存儲(chǔ)的技術(shù)手段,將重要性降低的數(shù)據(jù)自動(dòng)的重新部署到關(guān)鍵性降低的舊設(shè)備上,并通過一個(gè)統(tǒng)一的管理界面進(jìn)行各種舊設(shè)備的資源集中整合和統(tǒng)一規(guī)劃分配,是解決上述問題最為合理的途徑。

在性能方面,如何在存儲(chǔ)層面保證各省關(guān)鍵業(yè)務(wù)的響應(yīng)時(shí)間?

隨著應(yīng)用業(yè)務(wù)系統(tǒng)的逐步集中,業(yè)務(wù)重要性的不斷提升,關(guān)鍵業(yè)務(wù)對(duì)存儲(chǔ)系統(tǒng)的響應(yīng)時(shí)間也提出了嚴(yán)格的要求。BSS業(yè)務(wù)選擇的高端智能存儲(chǔ)設(shè)備,由于采用了先進(jìn)的技術(shù)架構(gòu),從IOPS、吞吐量等性能指標(biāo)來看完全可以滿足關(guān)鍵業(yè)務(wù)高峰流量的處理需求。但是,應(yīng)該注意到,各個(gè)不同的業(yè)務(wù)系統(tǒng)的建設(shè)目標(biāo)是為了滿足同需求,因此存儲(chǔ)數(shù)據(jù)的訪問需求是復(fù)雜多變的。當(dāng)各業(yè)務(wù)并行上線之后,各種數(shù)據(jù)業(yè)務(wù)必將互相競(jìng)爭(zhēng)存儲(chǔ)資源。顯然,當(dāng)非關(guān)鍵業(yè)務(wù)的訪問需求臨時(shí)增大時(shí),會(huì)增加對(duì)存儲(chǔ)系統(tǒng)內(nèi)部Cache、CPU、及總線等基本資源的占用,并直接影響到基于同一存儲(chǔ)系統(tǒng)的重要關(guān)鍵業(yè)務(wù)的I/O響應(yīng)時(shí)間。因此,在處理能力方面,智能存儲(chǔ)系統(tǒng)不僅需要滿足業(yè)務(wù)系統(tǒng)的基本處理需求,還需要進(jìn)一步面對(duì)業(yè)務(wù)系統(tǒng)中發(fā)生的各種動(dòng)態(tài)訪問需求,保證最關(guān)鍵的業(yè)務(wù)系統(tǒng)保持擁有最穩(wěn)定的存儲(chǔ)服務(wù)質(zhì)量(QoS),并獲得最佳的I/O響應(yīng)時(shí)間。

在安全性方面,如何將存儲(chǔ)系統(tǒng)的可靠性提升到一個(gè)新的層面?

存儲(chǔ)系統(tǒng)是數(shù)據(jù)中心業(yè)務(wù)的生命線。隨著數(shù)據(jù)的全面集中,將形成海量級(jí)的數(shù)據(jù)存儲(chǔ)系統(tǒng)。龐大的存儲(chǔ)系統(tǒng)非常重要,對(duì)數(shù)據(jù)信息的可靠性、存儲(chǔ)設(shè)備的連續(xù)運(yùn)轉(zhuǎn)能力提出了近乎苛刻的要求,底層存儲(chǔ)設(shè)備的任何缺陷都會(huì)成為數(shù)據(jù)丟失、業(yè)務(wù)中斷的重大隱患。經(jīng)過長(zhǎng)時(shí)間的運(yùn)行觀察,可以看出:以往使用的存儲(chǔ)設(shè)備在增加設(shè)備可靠性、減少日常管理維護(hù)難度等方面還存在較多需要改善的環(huán)節(jié),因此迫切需要采用新的技術(shù)手段來加固數(shù)據(jù)中心業(yè)務(wù)的數(shù)據(jù)基礎(chǔ),實(shí)現(xiàn)存儲(chǔ)系統(tǒng)可靠性的大幅度躍升。

如何規(guī)劃未來的容災(zāi)體系架構(gòu),最大程度的減少災(zāi)難引起的數(shù)據(jù)損失?

隨著數(shù)據(jù)的全面集中,存儲(chǔ)系統(tǒng)的正常安全運(yùn)轉(zhuǎn),直接關(guān)系到信息系統(tǒng)的可靠性、安全性。應(yīng)該看到,系統(tǒng)建設(shè)的長(zhǎng)遠(yuǎn)目標(biāo)必然是全面防范各種區(qū)域性電力中斷、地震、地域性疾病而建立的遠(yuǎn)距離異地容災(zāi)系統(tǒng),而異地容災(zāi)系統(tǒng)建設(shè)的技術(shù)復(fù)雜程度遠(yuǎn)遠(yuǎn)超過同城容災(zāi)系統(tǒng),其中,如何最大程度的減少異地?cái)?shù)據(jù)的丟失、如何保證遠(yuǎn)程通信線路的傳輸速度和通信質(zhì)量、如何減少災(zāi)備系統(tǒng)對(duì)于生產(chǎn)系統(tǒng)性能的沖擊,如何減少災(zāi)備系統(tǒng)的建設(shè)成本并充分利用其資源緩解生產(chǎn)系統(tǒng)的壓力,是異地災(zāi)備系統(tǒng)需要解決的重大關(guān)鍵問題。

存儲(chǔ)系統(tǒng)整合后的狀況

圖示:HDS存儲(chǔ)虛擬存儲(chǔ)技術(shù)在新疆油田數(shù)據(jù)中心的應(yīng)用架構(gòu)

本項(xiàng)目實(shí)施后,在不影響原有系統(tǒng)的基本條件下,實(shí)現(xiàn)對(duì)現(xiàn)有SAN存儲(chǔ)環(huán)境的整合,具體來說,就是于現(xiàn)有的存儲(chǔ)系統(tǒng)HDS9585和EMC CX700,實(shí)現(xiàn)利舊并使用其存儲(chǔ)空間。

這個(gè)項(xiàng)目的實(shí)施解決了存儲(chǔ)整合前的一系列問題,達(dá)到了預(yù)期的設(shè)計(jì)目標(biāo),也使新疆油田數(shù)據(jù)中心成為中國(guó)石油內(nèi)部異構(gòu)存儲(chǔ)數(shù)據(jù)整合最成功和IT架構(gòu)最先進(jìn)的單位之一,也為未來在與烏魯木齊數(shù)據(jù)中心之間的異地容災(zāi)建設(shè)打下了很好的基礎(chǔ),為企業(yè)的可持續(xù)發(fā)展提供了數(shù)據(jù)基礎(chǔ)架構(gòu)級(jí)別的保障。

HDS虛擬存儲(chǔ)方案的優(yōu)勢(shì)

針對(duì)前面所述存儲(chǔ)系統(tǒng)的典型問題,HDS提供了基于高端磁盤陣列系統(tǒng)HDS NSC55的整體虛擬化存儲(chǔ)整合解決方案。HDS NSC55作為核心搭建的存儲(chǔ)系統(tǒng)架構(gòu)由三個(gè)層面組成:

應(yīng)用主機(jī)層–集中了所有的業(yè)務(wù)系統(tǒng)主機(jī)。

核心存儲(chǔ)和虛擬化引擎層–由HDS NSC55搭建。

異構(gòu)存儲(chǔ)池–由系統(tǒng)中的若干利舊設(shè)備,如HDS、EMC等廠商的各檔存儲(chǔ)設(shè)備組成。

上述的三層架構(gòu)實(shí)現(xiàn)的存儲(chǔ)優(yōu)化拓展功能包括:

1.核心引擎–滿足高性能及高可靠性需求。在上述三層架構(gòu)中,HDS NSC55智能控制器系統(tǒng)和磁盤子系統(tǒng)由HDS公司進(jìn)行統(tǒng)一設(shè)計(jì),傳承了延續(xù)數(shù)代的高可靠性技術(shù)和高性能技術(shù),因此完全能夠擔(dān)負(fù)起整個(gè)存儲(chǔ)系統(tǒng)的核心指揮職能。HDS NSC55是全球最開放的、可連結(jié)多種主機(jī)平臺(tái)的高端存儲(chǔ)系統(tǒng),具有全球最好的可靠性、可用性、高帶寬和高性能系統(tǒng)表現(xiàn),提供100%的數(shù)據(jù)可用性,完全可以支持業(yè)務(wù)高吞吐和不停頓的運(yùn)作,是業(yè)界性能最高、擴(kuò)充能力最強(qiáng)、功能最多和最堅(jiān)固的數(shù)據(jù)集中和計(jì)算以及容災(zāi)平臺(tái)。HDS NSC55是成熟、可靠的第三代產(chǎn)品,全球已有數(shù)千成功案例,其最關(guān)鍵的核心技術(shù),如”Cache鏡像”、”三層交換體系”、”Cache LUN”等,已經(jīng)有超過6年的歷史,在安全性方面,目前全球的使用情況是”零宕機(jī)”、”零數(shù)據(jù)丟失”。

2.存儲(chǔ)分區(qū)–增強(qiáng)數(shù)據(jù)可靠性及訪問性能。目前核心關(guān)鍵數(shù)據(jù)保存在HDS NSC55的內(nèi)置磁盤上。為了進(jìn)一步保證各省關(guān)鍵業(yè)務(wù)的存儲(chǔ)響應(yīng)時(shí)間,HDS NSC55可以端口、Cache以及磁盤為單位,劃分獨(dú)立的存儲(chǔ)分區(qū),形成數(shù)個(gè)存儲(chǔ)子系統(tǒng)與各業(yè)務(wù)相對(duì)應(yīng),在每個(gè)子系統(tǒng)內(nèi)部存儲(chǔ)資源的訪問可以被相應(yīng)的應(yīng)用業(yè)務(wù)所獨(dú)享,保證關(guān)鍵業(yè)務(wù)系統(tǒng)具有穩(wěn)定的I/O服務(wù)質(zhì)量。

3.存儲(chǔ)整合–通過存儲(chǔ)虛擬化技術(shù)實(shí)現(xiàn)利舊整合。在HDS NSC55自帶虛擬化引擎的驅(qū)動(dòng)下,異構(gòu)存儲(chǔ)池被映射成HDS NSC55的內(nèi)部存儲(chǔ)資源。應(yīng)用主機(jī)層不必關(guān)心異構(gòu)存儲(chǔ)池的設(shè)備組成,只需使用面向HDS NSC55的統(tǒng)一接口就能夠透明的訪問異構(gòu)存儲(chǔ)池資源。HDS9585、CX700等舊的存儲(chǔ)設(shè)備被虛擬化管理以后,主機(jī)僅需要連接HDS NSC55即可同時(shí)訪問新、舊存儲(chǔ),在HDS NSC55提供的統(tǒng)一連接通道上,由HDLM軟件實(shí)現(xiàn)統(tǒng)一的負(fù)載均衡及故障通道的自動(dòng)切換,規(guī)避了在同一主機(jī)上多家負(fù)載均衡軟件并存帶來的不確定因素。

4.分級(jí)存儲(chǔ)–通過存儲(chǔ)虛擬化技術(shù)實(shí)現(xiàn)數(shù)據(jù)自動(dòng)分級(jí)轉(zhuǎn)移部署。非關(guān)鍵的業(yè)務(wù)數(shù)據(jù)、以及隨著時(shí)間發(fā)展重要性漸漸降低的歷史數(shù)據(jù)被HDS NSC55虛擬化引擎逐步遷移到異構(gòu)存儲(chǔ)池中,關(guān)鍵業(yè)務(wù)數(shù)據(jù)、最新業(yè)務(wù)數(shù)據(jù)在HDS NSC55的自帶內(nèi)置硬盤空間上進(jìn)行保留。生產(chǎn)系統(tǒng)上用于統(tǒng)計(jì)查詢的原始數(shù)據(jù)可通過HDS NSC55的快照技術(shù)直接復(fù)制到異構(gòu)存儲(chǔ)池中,同時(shí),測(cè)試數(shù)據(jù)也可通過HDS NSC55快照技術(shù)直接復(fù)制到異構(gòu)存儲(chǔ)池中。上述流程對(duì)主機(jī)完全透明,無需增加主機(jī)應(yīng)用的復(fù)雜性。

5.應(yīng)急系統(tǒng)聯(lián)機(jī)恢復(fù)–通過存儲(chǔ)虛擬化技術(shù)實(shí)現(xiàn)在線應(yīng)急恢復(fù)。利用HDS NSC55虛擬化引擎在線不停機(jī)進(jìn)行數(shù)據(jù)遷移的功能,虛擬化之后的CX700作為應(yīng)急系統(tǒng)啟用后,可在主機(jī)業(yè)務(wù)運(yùn)行的情況下,在線轉(zhuǎn)移回到HDS NSC55主存儲(chǔ)系統(tǒng),無需調(diào)度生產(chǎn)業(yè)務(wù)系統(tǒng)的停機(jī),整個(gè)流程對(duì)主機(jī)完全透明。

6.異構(gòu)系統(tǒng)災(zāi)備–通過存儲(chǔ)虛擬化技術(shù)實(shí)現(xiàn)異構(gòu)數(shù)據(jù)統(tǒng)一復(fù)制。系統(tǒng)的二期建設(shè)必然面臨災(zāi)備系統(tǒng)的實(shí)施。HDS NSC55虛擬化引擎的異構(gòu)容災(zāi)技術(shù),支持異構(gòu)存儲(chǔ)池中的任意存儲(chǔ)設(shè)備進(jìn)行遠(yuǎn)程互備,大大簡(jiǎn)化了容災(zāi)系統(tǒng)的部署和管理。數(shù)據(jù)復(fù)制的方式是實(shí)時(shí)復(fù)制,能夠靈活的利用通信線路的帶寬,最大程度的減少數(shù)據(jù)損失,縮短異地?cái)?shù)據(jù)庫(kù)系統(tǒng)和應(yīng)用系統(tǒng)的啟動(dòng)時(shí)間。上述第三代數(shù)據(jù)復(fù)制技術(shù)基于USP強(qiáng)大的處理能力,可用來復(fù)制HDS9585、CX700等中低端存儲(chǔ)設(shè)備的數(shù)據(jù),彌補(bǔ)了中低端存儲(chǔ)設(shè)備性能、功能較差,無法支撐長(zhǎng)距離異地復(fù)制的缺陷。

可以看出,本項(xiàng)目HDS采用HDS NSC55進(jìn)行虛擬化解決方案的部署,擺脫了 “存儲(chǔ)盒子(BOX)”級(jí)別的簡(jiǎn)單方案,使其作為一個(gè)先進(jìn)的、功能全面的存儲(chǔ)平臺(tái),完善業(yè)務(wù)系統(tǒng)的存儲(chǔ)架構(gòu),從而全面解決了數(shù)據(jù)中心在存儲(chǔ)管理方面面臨的諸多”難點(diǎn)”問題。

分享到

liukai

相關(guān)推薦