高精度地圖就是為了解決這些問題，在無人駕駛第二階段定位和第三階段車輛的行使決策階段，都高度依賴高精度地圖來做出決策，高精度地圖對于無人駕駛來說是非常的重要。L3 級以上駕駛級別，高精度地圖是標(biāo)準(zhǔn)配置，沒有高精度地圖，車輛寸步難行。

這就是高精度地圖和自動駕駛的關(guān)系，那么高精度地圖到底包含哪些具體的信息呢？

原來，高精度地圖必須包含兩類數(shù)據(jù)：

第一類，道路本身的數(shù)據(jù)，比如車道線位置、類型、寬度、坡度和曲率道路信息；

第二類，環(huán)境信息，比如交通標(biāo)志，信號燈，限行信息，路邊地標(biāo)等基礎(chǔ)設(shè)施信息。

由此可見，高精度地圖包含的信息是非常復(fù)雜和多樣的。

由于地圖采集設(shè)備的精度不同，產(chǎn)生的數(shù)據(jù)大小也會不同，但可以看出，高精度地圖數(shù)據(jù)的體量極為龐大，一輛標(biāo)準(zhǔn)的數(shù)據(jù)采集車大概有4到5個傳感器，每臺數(shù)據(jù)采集車每天可采集百公里左右路程，大約會產(chǎn)生一個TB的數(shù)據(jù)。

對于高精度地圖而言，采集和制圖，只是完成了無人駕駛地圖制作過程的10%的工作量，后期地圖長期的更新，可能需要占90%的工作量，地圖的更新一般都會采用車隊(duì)學(xué)習(xí)網(wǎng)絡(luò)（Fleet Learning Network），類似于P2P，每輛車最終都是地圖數(shù)據(jù)貢獻(xiàn)者，也是資源的享用者，特斯拉用的就是這種地圖的更新模式。

在無人駕駛汽車正式量產(chǎn)后，上路行使時(shí)需要全天候不停讀取地圖數(shù)據(jù)，更大的壓力來自于實(shí)時(shí)地圖數(shù)據(jù)的更新。在后期地圖更新中，數(shù)據(jù)采集車帶來的大量數(shù)據(jù)并發(fā)壓力是非常大的。

高精度地圖和QingStor^?? 對象存儲

張忠華詳細(xì)介紹了QingStor^?? 對象存儲在高精度地圖場景中的應(yīng)用。

高精度地圖的制作流程可以分為四個步驟：經(jīng)過采集和預(yù)處理后，數(shù)據(jù)會寫入到對象存儲中，之后由對象存儲將數(shù)據(jù)輸出到AI超級訓(xùn)練一體機(jī)，比如英偉達(dá)DGX-1，由訓(xùn)練一體機(jī)做復(fù)雜的數(shù)據(jù)處理，超級訓(xùn)練一體機(jī)性能非常強(qiáng)大，但面對采集到的海量數(shù)據(jù)，處理能力也會捉襟見肘，在它完成處理之前，采集到的數(shù)據(jù)仍需要存儲在對象存儲中，訓(xùn)練完成后，數(shù)據(jù)需要寫回到對象存儲做長期留存。

在這一場景中，對象存儲貫穿了整個高精度地圖的全部制作過程，負(fù)責(zé)海量地圖數(shù)據(jù)的轉(zhuǎn)儲以及后期地圖長期存儲，目前QingStor^??對象存儲在這一個場景中整體數(shù)據(jù)規(guī)模已經(jīng)有10個PB，預(yù)估在三年后，總體規(guī)模會達(dá)到40PB。

在這樣的場景中，QingStor^??對象存儲有一個具體的數(shù)據(jù)流架構(gòu)圖，圖中可見，當(dāng)數(shù)據(jù)由數(shù)據(jù)采集車完成以后，會通過程序接口將數(shù)據(jù)寫入到對象存儲中，再由AI訓(xùn)練一體機(jī)DGX-1處理對象存儲中的數(shù)據(jù)，處理完成的數(shù)據(jù)再入對象存儲。

該場景部署了單一全局統(tǒng)一命名空間的對象存儲集群，從架構(gòu)上看，它并不復(fù)雜，唯一需要特別關(guān)注的點(diǎn)是使用對象存儲場景中，業(yè)務(wù)部門需要有一定的接口開發(fā)和對接的能力。在實(shí)際應(yīng)用場景，高精度地圖對對象存儲也帶來了不少挑戰(zhàn)。

高精度地圖帶來的挑戰(zhàn)以及對象存儲的應(yīng)對之道

首先一大挑戰(zhàn)是對性能和空間需求不確定性的挑戰(zhàn)，在地圖的前期制作過程中，采集車的數(shù)量是相對固定的，數(shù)據(jù)生成量也相對固定，從業(yè)務(wù)形態(tài)上來看，并發(fā)壓力也相對固定。然而，后期地圖更新則可能會導(dǎo)致較大并發(fā)，并發(fā)訪問壓力和數(shù)據(jù)寫入壓力變化比較大。

面對這一情況，QingStor^??對象存儲采用了分層設(shè)計(jì)架構(gòu)，主要核心的存儲平臺分為接入子系統(tǒng)和索引子系統(tǒng)以及負(fù)責(zé)具體數(shù)據(jù)存儲的存儲子系統(tǒng)，這樣就可以單獨(dú)根據(jù)并發(fā)壓力和存儲空間需求進(jìn)行單獨(dú)擴(kuò)展，而且不同角色的服務(wù)器節(jié)點(diǎn)還可以使用不同的配置，從而物盡其用，不浪費(fèi)資源。

第二個挑戰(zhàn)在于數(shù)據(jù)安全和服務(wù)可靠性。由于自動駕駛過程中對地圖依賴度比較高，對于數(shù)據(jù)訪問可靠性的要求極高，但是分布式存儲在海量存儲場景下，在有節(jié)點(diǎn)故障或者擴(kuò)容時(shí)都需要對數(shù)據(jù)進(jìn)行重構(gòu)和平衡，對數(shù)據(jù)進(jìn)行重構(gòu)和平衡的出發(fā)點(diǎn)是好的，它可以讓節(jié)點(diǎn)的負(fù)載更加均衡，但在超大規(guī)模的數(shù)據(jù)場景下，在局部的新增和刪除可能都會對集群產(chǎn)生影響，如何避免對于數(shù)據(jù)訪問可靠性的影響呢？

QingStor^??對象存儲將龐大的存儲集群分成若干個存儲服務(wù)器小組來縮小故障域，不同的存儲組之間毫無關(guān)聯(lián)，他們只接收來自接入層的服務(wù)調(diào)度。

當(dāng)有節(jié)點(diǎn)故障時(shí)，只會對同組的三個節(jié)點(diǎn)有影響，不會影響到別的存儲組，從而避免對整個集群的影響。當(dāng)需要擴(kuò)容時(shí)，優(yōu)先寫入新擴(kuò)容的節(jié)點(diǎn)，只將數(shù)據(jù)寫入優(yōu)先級權(quán)重比較大的存儲組中，舊存儲組的數(shù)據(jù)不做任何變動。這樣就規(guī)避了對于超大規(guī)模集群的影響。

第三個挑戰(zhàn)在于數(shù)據(jù)類型的多樣性。地圖采集的數(shù)據(jù)類型非常豐富，常規(guī)存儲都會對數(shù)據(jù)進(jìn)行固定分片，分片一定在程度上是會影響存儲效率的。QingStor^??對象存儲不做分片，用戶可以設(shè)定在一定范圍內(nèi)的數(shù)據(jù)都不做任何處理，直接生成副本，讓用戶按照需求設(shè)置，從而保證不同類型和大小文件的存儲效率。

第四個挑戰(zhàn)來自于數(shù)據(jù)交互平臺的多樣性，地圖的制作過程中會涉及多個地圖制作平臺和軟件，涉及到多種開發(fā)語言接口，QingStor^??對象存儲的SDK支持大多數(shù)語言，除了支持S3之外，還支持許多青云QingCloud自有的API接口。

由于此類場景會涉及數(shù)據(jù)遷移和導(dǎo)入導(dǎo)出，所以，也需要對象存儲支持多種數(shù)據(jù)遷移工具，QingStor^??對象存儲支持業(yè)界主流的云廠商對象存儲，可以提供工具在這些平臺之間自定義數(shù)據(jù)源和數(shù)據(jù)目標(biāo)。

QingStor^??對象存儲帶來的收益和價(jià)值

QingStor^??對象存儲在高精度地圖場景中表現(xiàn)出的價(jià)值主要有四點(diǎn)：

第一，較高的ROI回報(bào)，分層架構(gòu)的設(shè)計(jì)，可以支持用戶根據(jù)業(yè)務(wù)需求進(jìn)行擴(kuò)容，可以減少資源浪費(fèi)問題。

第二點(diǎn)，QingStor^??對象存儲技術(shù)架構(gòu)非常成熟，經(jīng)過了大規(guī)模公有云平臺驗(yàn)證，用戶不需要考慮太多的存儲平臺層的設(shè)計(jì)，只需專注在業(yè)務(wù)上。

第三點(diǎn)，較高的性價(jià)比，目前QingStor^??對象存儲應(yīng)用較為普遍，除了今天說的用在無人駕駛領(lǐng)域，在大數(shù)據(jù)分析平臺上也能作為大數(shù)據(jù)平臺的數(shù)據(jù)存儲，可以作為數(shù)據(jù)源和數(shù)據(jù)存儲目標(biāo)，用一套平臺實(shí)現(xiàn)多種用途，降低整體的TCO。

第四點(diǎn)，極低的運(yùn)維成本，QingStor^??對象存儲作為一款穩(wěn)定的商業(yè)級產(chǎn)品，擁有完善的服務(wù)技術(shù)支持團(tuán)隊(duì)，如果出現(xiàn)一些問題，技術(shù)團(tuán)隊(duì)會在第一時(shí)間做除響應(yīng)，對用戶來說，大規(guī)模數(shù)據(jù)集場景中只需要很少的運(yùn)維人員，用戶反映說，在運(yùn)維上的投入非常少，不需要運(yùn)維人員具備非常深厚的知識。

QingStor^??對象存儲有大規(guī)模服務(wù)的經(jīng)驗(yàn)，在產(chǎn)品上有許多非常有針對性的特性和服務(wù)，在生態(tài)上，與業(yè)界很多廠商做了一些聯(lián)合解決方案。

QingStor^??企業(yè)級分布式存儲家族除了有對象存儲，還有文件存儲和塊存儲，作為一個獨(dú)立的存儲產(chǎn)品線，可以脫離公有云，進(jìn)行私有化部署。如今的QingStor^??企業(yè)級分布式存儲廣泛地服務(wù)于銀行、保險(xiǎn)、能源、制造、醫(yī)療和傳媒等行業(yè)。QingStor^??用基于x86的軟件定義存儲可以幫助傳統(tǒng)企業(yè)降低TCO，同時(shí)加速傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型升級。

zhupb