作者：Qlik亞太區(qū)數(shù)據(jù)集成部門(mén)副總裁  楊沛藝

從數(shù)據(jù)遷移和數(shù)據(jù)倉(cāng)儲(chǔ)，到主數(shù)據(jù)管理和實(shí)時(shí)商業(yè)智能，關(guān)鍵 IT 計(jì)劃的投入和成功與否，很大程度上都取決于數(shù)據(jù)集成的執(zhí)行方式。數(shù)據(jù)集成平臺(tái)通過(guò)提供高性能工具來(lái)收集、過(guò)濾和橫跨多個(gè)存儲(chǔ)點(diǎn)、同時(shí)移動(dòng)不同存儲(chǔ)點(diǎn)之間的數(shù)據(jù)，使得關(guān)鍵IT計(jì)劃以及其他計(jì)劃都能夠輕松實(shí)施，甚至加快部署。

Qlik認(rèn)為以下五點(diǎn)將成為數(shù)據(jù)集成領(lǐng)域中的五大發(fā)展趨勢(shì)：

1、成為一家“實(shí)時(shí)企業(yè)”已是大勢(shì)所趨

 如果您打算部署嵌套數(shù)據(jù)集，您需要在正確的時(shí)間將信息傳遞到正確的位置。目前，全球領(lǐng)先的企業(yè)都在進(jìn)行實(shí)時(shí)運(yùn)作，因?yàn)楹芏囗?xiàng)目的執(zhí)行都對(duì)其監(jiān)測(cè)的響應(yīng)速度有著較高的要求，例如，監(jiān)測(cè)市場(chǎng)活動(dòng)的效果，發(fā)現(xiàn)涉嫌欺詐的異?，F(xiàn)象，提供醫(yī)療保健和人道主義服務(wù)，進(jìn)行現(xiàn)場(chǎng)個(gè)性化操作，甚至優(yōu)化供應(yīng)鏈等。近期，以下三項(xiàng)相關(guān)技術(shù)取得的突破將在2020年共同推動(dòng)以上各方面的發(fā)展。

> 隨時(shí)隨地接入高速網(wǎng)絡(luò)。得益于5G和IPV6技術(shù)的應(yīng)用，我們具備實(shí)現(xiàn)超級(jí)連接的能力。

> 按需實(shí)現(xiàn)無(wú)限拓展的工作負(fù)載。隨著所有數(shù)據(jù)紛紛向云端遷移，Kubernetes變得尤為矚目。這一企業(yè)級(jí)的容器化應(yīng)用能夠合理安排資源分配，讓正確的工作負(fù)載在正確的位置運(yùn)行，即使是在邊緣設(shè)備上也不例外。

> 強(qiáng)大的流式架構(gòu)。由Apache Kafka等解決方案驅(qū)動(dòng)的變化數(shù)據(jù)捕獲（CDC）平臺(tái)和實(shí)時(shí)數(shù)據(jù)流平臺(tái)能夠在低延遲情況下，高效地?cái)z取和處理大量數(shù)據(jù)。

行業(yè)預(yù)測(cè)

到2022年，超過(guò)一半的主要新業(yè)務(wù)系統(tǒng)都將集成使用實(shí)時(shí)上下文數(shù)據(jù)來(lái)改進(jìn)決策，以實(shí)現(xiàn)持續(xù)型智能。

—— Gartner

行業(yè)大事件

根據(jù)云原生計(jì)算基金會(huì)每半年發(fā)布一次的調(diào)查報(bào)告顯示，四成擁有5000名或更多員工的企業(yè)表示，他們會(huì)將Kubernetes應(yīng)用于其生產(chǎn)環(huán)境中。

—— Enterprisers Project

2、DataOps和自助服務(wù)帶來(lái)全新敏捷性

由數(shù)據(jù)發(fā)現(xiàn)工具驅(qū)動(dòng)的自助分析服務(wù)，使企業(yè)用戶(hù)獲得了最貼近他們需求的解決方案。但直到現(xiàn)在，在數(shù)據(jù)管理方面卻還未實(shí)現(xiàn)同樣的敏捷性。

DataOps衍生于DevOps，是一種自動(dòng)化、面向流程的方法，能夠提高數(shù)據(jù)管理質(zhì)量并縮短數(shù)據(jù)管理周期，從而便于開(kāi)展數(shù)據(jù)分析。得益于變動(dòng)數(shù)據(jù)捕獲（CDC）和流數(shù)據(jù)管道等技術(shù)，它還能夠?qū)崿F(xiàn)數(shù)據(jù)實(shí)時(shí)測(cè)試和部署的自動(dòng)化。此外，它還能夠利用隨需應(yīng)變的IT資源來(lái)支持持續(xù)的數(shù)據(jù)傳遞。如今，80%的數(shù)據(jù)應(yīng)以這種系統(tǒng)化的方式交付給企業(yè)用戶(hù)。進(jìn)行這樣的操作，我們就可以無(wú)需再單獨(dú)準(zhǔn)備自助服務(wù)數(shù)據(jù)。通過(guò)在操作端使用DataOps，在企業(yè)用戶(hù)端使用自助服務(wù)，企業(yè)將能夠更有效地體驗(yàn)數(shù)據(jù)在整個(gè)信息價(jià)值鏈上的流動(dòng)，并實(shí)現(xiàn)數(shù)據(jù)的整合及分析，以便部署嵌套數(shù)據(jù)集。

行業(yè)預(yù)測(cè)

到 2020 年，業(yè)務(wù)部門(mén)的數(shù)據(jù)和分析專(zhuān)家數(shù)量的增速將是 IT 部門(mén)專(zhuān)家的 3 倍，這會(huì)迫使企業(yè)重新考慮其組織模式和技能。

—— Gartner

行業(yè)大事件

近期數(shù)據(jù)與分析市場(chǎng)的整合表明，這正日益成為一種必然趨勢(shì)。

3、活動(dòng)元數(shù)據(jù)目錄為數(shù)據(jù)和分析提供支持

數(shù)據(jù)集的分布日益廣泛，這對(duì)企業(yè)而言，是一項(xiàng)巨大的挑戰(zhàn)，因?yàn)樗羞@些數(shù)據(jù)都需要進(jìn)行編目和整合。如果放置不管，數(shù)據(jù)可能很快就會(huì)過(guò)時(shí)。數(shù)據(jù)目錄會(huì)在這方面有所幫助，因此對(duì)數(shù)據(jù)目錄需求的飆升并不足為奇。

其中一個(gè)頗具發(fā)展前景的解決方案是通過(guò)機(jī)器學(xué)習(xí)增強(qiáng)元數(shù)據(jù)目錄。它們將數(shù)據(jù)管理從被動(dòng)變?yōu)橹鲃?dòng)，甚至在跨混合/多云生態(tài)系統(tǒng)的情況下，也能保持?jǐn)?shù)據(jù)的適應(yīng)性和不斷變化。本質(zhì)上，這些元數(shù)據(jù)目錄提供了必要的聯(lián)結(jié)和管理，以滿足DataOps和自主服務(wù)所需的敏捷性。此外，它們還包括信息個(gè)性化，即生成相關(guān)洞察和定制內(nèi)容的基本組件。但是，為了集成分散的分布式數(shù)據(jù)，目錄還必須可以在選擇的分析工具環(huán)境之外發(fā)揮作用。

行業(yè)預(yù)測(cè)

到2023年，60%的企業(yè)將使用數(shù)據(jù)目錄來(lái)統(tǒng)合數(shù)據(jù)發(fā)現(xiàn)、訪問(wèn)和智能化，并提高DataOps和業(yè)務(wù)結(jié)果的透明度和可信度。

—— IDC

4、像“Shazam”一樣識(shí)別數(shù)據(jù)：這個(gè)可以有

著名的音樂(lè)服務(wù)應(yīng)用 Shazam 能夠通過(guò)設(shè)備的麥克風(fēng)識(shí)別歌曲，從而開(kāi)啟一個(gè)發(fā)現(xiàn)目錄。Google Lens 能夠通過(guò)深度學(xué)習(xí)和視覺(jué)分析來(lái)識(shí)別動(dòng)植物以及閱讀和翻譯文本等。亞馬遜也推出了類(lèi)似的技術(shù)，通過(guò)分析圖片就能找到想要的衣服。然而，我們能夠像 Shazam 識(shí)別歌曲那樣識(shí)別我們的數(shù)據(jù)嗎？

到2020年，嵌入整個(gè)信息價(jià)值鏈的人工智能將使分析系統(tǒng)中的算法能夠更好地識(shí)別我們的數(shù)據(jù)、發(fā)現(xiàn)異常情況，并指出需要分析的新數(shù)據(jù)（但這還不是最重要的）。我們將能夠指向一個(gè)數(shù)據(jù)源，并查看數(shù)據(jù)來(lái)自何處，使用者是誰(shuí)，數(shù)據(jù)發(fā)生了多大程度的變化，質(zhì)量是否良好等。無(wú)論數(shù)據(jù)規(guī)模如何，人工智能都能夠從中獲得更多洞察，并將數(shù)據(jù)整合與分析融為一體。

行業(yè)預(yù)測(cè)

到 2024 年，對(duì)于部署由機(jī)器學(xué)習(xí)驅(qū)動(dòng)的數(shù)據(jù)管理、集成和分析解決方案的企業(yè)而言，其以數(shù)據(jù)為中心的員工的生產(chǎn)力將提升一倍。

—— IDC

行業(yè)大事件

亞馬遜的 StyleSnap 使用機(jī)器學(xué)習(xí)為用戶(hù)尋找相似的衣服和風(fēng)格。

—— The Verge（美國(guó)著名科技媒體網(wǎng)站）

5、既有道德和又有責(zé)任感的計(jì)算目前至關(guān)重要

大多數(shù)技術(shù)飛躍在某種程度上都改變了我們周?chē)氖澜?，并為我們開(kāi)辟了更美好的未來(lái)。然而，一些“進(jìn)步”可能會(huì)帶來(lái)一些重要的隱患。算法會(huì)如何影響我們的隱私，以及影響我們的自由意志？從個(gè)人數(shù)據(jù)的不當(dāng)使用到自動(dòng)分析，利用這些數(shù)據(jù)的誘惑令人難以抗拒。

為了防范這個(gè)問(wèn)題，相關(guān)法規(guī)陸續(xù)出臺(tái)，如美國(guó)的《云計(jì)算法案》和歐盟的《通用數(shù)據(jù)保護(hù)條例（GDPR）》等，以確保云計(jì)算戰(zhàn)略的合規(guī)?？鐕?guó)公司受到的影響尤為明顯，因?yàn)楦鲊?guó)出臺(tái)的法規(guī)各不相同。鑒于此，當(dāng)前混合多云方法不再是一個(gè)可選項(xiàng)，而是成為了一個(gè)必選項(xiàng)。

當(dāng)今時(shí)代，增強(qiáng)企業(yè)責(zé)任感變得更為重要。除了確保合規(guī)之外，企業(yè)還必須贏得并保持客戶(hù)的信任。一旦一家企業(yè)被視為在客戶(hù)隱私方面越線，則很有可能對(duì)其品牌造成不可挽回的損害。問(wèn)題不只是某件事是否能做，而是這件事是否應(yīng)該做。在企業(yè)中成立數(shù)字道德委員會(huì)是一種應(yīng)對(duì)之策，可有助于實(shí)現(xiàn)風(fēng)險(xiǎn)最小化和回報(bào)最大化。從長(zhǎng)遠(yuǎn)來(lái)看，企業(yè)需要將關(guān)注點(diǎn)從股東轉(zhuǎn)向利益相關(guān)方。

行業(yè)預(yù)測(cè)

到2023年，超過(guò)75%的大型企業(yè)將雇用人工智能行為鑒定、隱私和客戶(hù)信任方面的專(zhuān)家，以降低品牌和聲譽(yù)風(fēng)險(xiǎn)。

—— Gartner

行業(yè)大事件 

違規(guī)行為在過(guò)去的四年中增加了50%甚至更高，而2019年成為了“有史以來(lái)違規(guī)情況最嚴(yán)重的一年”。

—— TechRepublic （美國(guó)知名 IT 網(wǎng)站）

在這個(gè)充斥著海量數(shù)據(jù)的日益碎片化的時(shí)代，如果不對(duì)數(shù)據(jù)進(jìn)行整合，數(shù)據(jù)分析將會(huì)受到影響。企業(yè)和分析專(zhuān)業(yè)人士必須使用支持?jǐn)?shù)據(jù)整合和分析的方法、人員和技術(shù)來(lái)擴(kuò)展他們的工具包。在基于數(shù)據(jù)分析來(lái)制定戰(zhàn)略和實(shí)現(xiàn)創(chuàng)新，以及確保能夠遵循紛繁復(fù)雜的法律法規(guī)方面，這一點(diǎn)尤其重要。

伴隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展和大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)作為一種生產(chǎn)要素在國(guó)民經(jīng)濟(jì)發(fā)展過(guò)程中的重要性日益凸顯。2020年4月，中共中央、國(guó)務(wù)院發(fā)布《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)》，將數(shù)據(jù)作為與土地、勞動(dòng)力、資本、技術(shù)并列的生產(chǎn)要素，要求“加快培育數(shù)據(jù)要素市場(chǎng)”，能夠看出數(shù)據(jù)正成為科技創(chuàng)新的突破口。

當(dāng)我們能夠?qū)?shù)據(jù)進(jìn)行整合，并讓人們能夠以改變行業(yè)規(guī)則的方式（部署數(shù)據(jù)鑲嵌）使用數(shù)據(jù)時(shí)，我們就能夠促進(jìn)業(yè)務(wù)、人類(lèi)乃至整個(gè)世界走向真正的變革。

關(guān)于作者

楊沛藝先生現(xiàn)任Qlik 亞太區(qū)數(shù)據(jù)集成部門(mén)副總裁，主要負(fù)責(zé)通過(guò)不同的渠道以及戰(zhàn)略合作伙伴的合作，在亞太地區(qū)拓展Qlik 的數(shù)據(jù)集成業(yè)務(wù)。

在“多云”時(shí)代，楊沛藝先生協(xié)助企業(yè)客戶(hù)完成關(guān)鍵的數(shù)據(jù)整合工作，幫助他們將大量實(shí)時(shí)的、質(zhì)量完好，直接服務(wù)于分析的數(shù)據(jù)傳輸?shù)叫畔⒘?、云平臺(tái)以及數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖中。

楊沛藝先生在企業(yè)軟件行業(yè)有超過(guò)25年的工作經(jīng)驗(yàn)，曾擔(dān)任銷(xiāo)售、專(zhuān)業(yè)服務(wù)和支持服務(wù)等多個(gè)部門(mén)的管理工作。加入Qlik之前，楊沛藝先生曾擔(dān)任 Attunity 亞太地區(qū)副總裁（Attunity 于2019年5月被 Qlik 收購(gòu)）。

楊沛藝先生擁有劍橋大學(xué)的碩士學(xué)位以及倫敦大學(xué)的計(jì)算機(jī)科學(xué)學(xué)士學(xué)位。

關(guān)于Qlik

Qlik的愿景是創(chuàng)建一個(gè)具備數(shù)據(jù)素養(yǎng)的世界，在這個(gè)世界里，所有人都可以運(yùn)用數(shù)據(jù)來(lái)優(yōu)化決策，解決最具挑戰(zhàn)性的問(wèn)題。Qlik的端到端數(shù)據(jù)集成和分析平臺(tái)能夠?qū)⑵髽I(yè)任何來(lái)源的數(shù)據(jù)匯集在一起，從而使任何技能水平的使用者都能饒有興趣地探索并且發(fā)現(xiàn)新的深度分析結(jié)果。企業(yè)使用Qlik能夠更加深入地了解客戶(hù)行為，重塑業(yè)務(wù)流程，發(fā)現(xiàn)新的收入來(lái)源，并平衡風(fēng)險(xiǎn)和回報(bào)。Qlik的業(yè)務(wù)遍及100多個(gè)國(guó)家，為全球5萬(wàn)多家客戶(hù)提供服務(wù)。

zhangnn