報告編委
主創(chuàng)團隊
黃勇
愛分析合伙人&首席分析師
武宇
愛分析高級分析師
孟晨靜
愛分析分析師
李冬露
愛分析分析師
蘭壹凡
愛分析分析師
外部專家（按姓氏拼音排序）
陳玉奇
斗象科技首席安全架構師
方正
數說故事產品總監(jiān)
郭振強
科杰科技副總裁
孔德明
網易數帆流通行業(yè)大數據實施交付總監(jiān)
劉誠忠
衡石科技CEO
喬昕
深睿醫(yī)療聯(lián)合創(chuàng)始人/CEO
孫妍
觀遠數據副總裁
王申
九章云極銀行BU總經理
王爽
锘崴科技創(chuàng)始人、董事長
王一剛
中科聞歌數智媒宣事業(yè)部總經理
特別鳴謝（按拼音排序）
報告摘要
湖倉一體強化全域數據管理效能
為解決數據類型豐富、數據體量倍增帶來的存儲問題，同時滿足人工智能、機器學習在趨勢預測、探索分析等方面的應用需求，同時配置數據倉庫、數據湖成為企業(yè)的普遍選擇。然而企業(yè)逐漸發(fā)現(xiàn)多架構的配置并不完美，解決既有問題的同時帶來新的架構問題，如數據流通低效、數據冗余以及存儲成本高。
湖倉一體能有效解決復雜架構問題。湖倉一體通過元數據層在數據湖上實現(xiàn)全局數據統(tǒng)一管理，支持流批一體簡化系統(tǒng)架構，以及云原生、存算分離的特征成為數據架構新一代進化方向。
從管理到運營，DataOps釋放數據中臺價值
當前，數據中臺的功能主要體現(xiàn)在為企業(yè)打通數據孤島、建立指標體系、實現(xiàn)數據質量管理、資產管理等方面，重點解決企業(yè)“有數據可用”的問題。隨著數據應用場景的豐富，數據應用的多元化，數據開發(fā)運維的壓力驟增，數據不可信、數據應用交付緩慢等問題頻發(fā)。解決“數據好用”的問題成為數據中臺實現(xiàn)數據能力復用和共享的關鍵。
DataOps是一套以數據為中心的數據管理及運維開發(fā)方法論。融合DataOps方法論，數據中臺將顯著提升數據質量、實現(xiàn)數據應用持續(xù)敏捷交付、降低數據管理成本。DataOps實踐尚不成熟，但已經成為數據中臺進一步釋放數據價值的關鍵路徑。
高時效場景爆發(fā)，實時數據平臺支撐熱數據價值釋放
物聯(lián)網使得海量實時數據觸手可及，進而推動以金融、工業(yè)行業(yè)為代表的實時數據應用的創(chuàng)新，如精準營銷、風控管理、故障預警等。企業(yè)需要對數據架構進行升級，實現(xiàn)實時數據和離線數據融合，充分利用實時數據價值。
實時數據平臺支持多源數據采集、提供高可用、低成本的數據同步方案，并通過流批一體的方式實現(xiàn)離線數據和實時數據統(tǒng)一存儲和查詢，提升企業(yè)實時場景開發(fā)和上線效率。
政策合規(guī)要求推動隱私計算平臺快速滲透
以金融、政務、醫(yī)療為代表的行業(yè)需要通過數據跨機構協(xié)作及共享提升服務價值、控制風險、提升效益。然而數據跨機構的流通阻力極大，一方面，隨著《數據安全法》及《個人信息保護法》的頒布，國家對數據流通監(jiān)管加強；另一方面，數據資產等同于企業(yè)的命脈，使得企業(yè)對數據流通持十二分謹慎態(tài)度。
隱私計算能為企業(yè)實現(xiàn)數據跨機構的流通共享。隱私計算通過聯(lián)邦學習、多方安全計算、可信執(zhí)行環(huán)境以及同態(tài)加密等一種或多種技術組合，實現(xiàn)數據流通過程中的“可用不可見”，已經為越來越多的行業(yè)采用。
屬于業(yè)務人員的數據分析時代來臨
隨著數據應用的深化，企業(yè)數據分析場景正在發(fā)生三個“轉變”：1、平民化：數據分析平臺的服務對象從傳統(tǒng)財務人員及管理人員向一線業(yè)務人員轉變；2、場景化：數據分析平臺的應用場景也從財務及業(yè)績呈現(xiàn)向具體業(yè)務分析轉變；3、智能化：企業(yè)對數據分析平臺的功能需求從傳固定式的呈現(xiàn)形式向智能、個性、靈活自助的形式轉變。這對數據分析平臺的定位和功能提出了挑戰(zhàn)。
數據分析平臺也在與時俱進，可以看到，市場中已經快速出現(xiàn)多種應對方案。如部分技術廠商通過融合NLP、機器學習、低代碼等技術使數據分析平臺具備滿足智能化、自助化的特點，使產品具備通用性；部分廠商在原本針對垂直業(yè)務場景的體系化產品中增加數據分析功能，為企業(yè)實現(xiàn)業(yè)務小閉環(huán)。企業(yè)可靈活根據自身業(yè)務需求選擇相應數據分析平臺產品及服務。
數據智能行業(yè)應用從監(jiān)測、診斷性分析走向智能決策
傳統(tǒng)的大數據和人工智能技術建模和分析只能識別現(xiàn)狀和問題，企業(yè)若想進行業(yè)務決策仍需大量人工介入，嚴重依賴專家經驗，影響決策速度，不能適應快速變化的市場環(huán)境。企業(yè)希望通過人工智能技術實現(xiàn)根因分析、數據關系挖掘和決策支持，從而提高決策速度。
智能決策技術持續(xù)迭代更新，融合大數據以及機器學習、深度學習、強化學習、運籌優(yōu)化、知識圖譜等人工智能技術，能夠深度挖掘數據價值，構建數據知識網絡，持續(xù)優(yōu)化模型精準度，快速輸出優(yōu)質的決策方案，支持企業(yè)各部門實現(xiàn)高效決策。
目錄
1. 綜述：多種因素推動，數據智能全鏈路升級
2. 湖倉一體強化全域數據管理效能
3. 從管理到運營，DataOps釋放數據中臺價值
4. 實時數據平臺支撐爆發(fā)中的高時效場景
5. 政策合規(guī)要求推動隱私計算平臺快速滲透
6. 屬于業(yè)務端的數據分析時代來臨
7. 數據智能行業(yè)應用從監(jiān)測、診斷性分析走向智能決策
8. 展望
1. 綜述：多種因素推動，數據智能全鏈路升級
數據智能是指以數據為生產要素，通過融合大規(guī)模數據處理、數據分析與挖掘、機器學習、可視化等多種大數據和人工智能技術，從數據中提煉、發(fā)掘具有揭示性和可操作性的信息，從而為企業(yè)提供數據驅動的分析與決策。
當前，數據智能已經成為企業(yè)實現(xiàn)數字化轉型的核心方式。一方面，在實現(xiàn)初步數字化的基礎上，企業(yè)希望把數據分析擴展到更多的應用場景，以在業(yè)務發(fā)展與運營中實現(xiàn)降本增效，或構建創(chuàng)新性的業(yè)務模式；另一方面，數據規(guī)模的持續(xù)膨脹，與分析場景的更加多樣化，也對數據存儲、處理和分析等方面的能力提出了更高的要求，因此企業(yè)需要對數據基礎設施進行持續(xù)的升級與優(yōu)化。
本次報告將數據智能市場劃分為應用解決方案和數據基礎設施兩大部分，其中應用解決方案是指通過數據智能解決方案在垂直行業(yè)或通用職能領域直接賦能業(yè)務價值提升的最佳實踐；數據基礎設施指利用云計算、人工智能、隱私計算等新興信息技術構建的為企業(yè)賦能的平臺類解決方案，主要包括數據的采集、存儲、計算、管理等內容，進而為上層應用提供數據服務。
圖 1： 數據智能市場全景地圖
隨著數字化轉型進入深水區(qū)，各行各業(yè)中的數據形態(tài)和應用端需求正在發(fā)生變化，傳統(tǒng)的以結構化數據為主的管理和分析已經遠遠不能滿足當前市場中企業(yè)對于數據的需求，對于多源異構數據的管理和更加智能化的數據應用是每一個企業(yè)在數字化時代必須構建的能力。
與此同時，政策對于數據安全和隱私安全的合規(guī)要求也越來越嚴，未來更加業(yè)務友好、更加智能化、更具性價比且滿足合規(guī)要求的數據智能解決方案將成為數據智能市場發(fā)展的主流趨勢。
圖 2： 數據智能應用趨勢
隨著數據類型的豐富、數據體量的快速擴張，以及企業(yè)希望利用人工智能、機器學習解決趨勢預測、探索分析的需求增長，數據湖與數據倉庫同時部署成為企業(yè)的普遍選擇，同時也帶來數據架構復雜、數據流通效率低的問題。
圖 3： 數據倉庫、數據湖共存帶來的挑戰(zhàn)
數據架構復雜：企業(yè)普遍有數據倉庫、數據湖以及其他多種類型的專業(yè)數據倉庫如時間序列、圖形和圖像數據庫等，導致企業(yè)數據架構復雜，為技術人員運維帶來巨大困難。
企業(yè)尋求一種數據架構，可以兼具數據倉庫成長性和數據湖靈活性的同時，提供一套共同的數據標準，提高數據流動靈活性，提升數據效能。針對此需求，湖倉一體應運而生，是繼數據倉庫、數據湖之后數據架構的最新解決方案。
圖 4： 湖倉一體架構示意圖
湖倉一體在技術架構、功能和性能層面主要具備以下主要特征：
通過元數據層在數據湖上實現(xiàn)數據管理功能。智能湖倉使用標準文件格式（如Parquet）將數據存儲在對象存儲中，并在對象存儲上構建元數據層，從而在元數據層實現(xiàn)諸如ACID事務處理、版本控制等數據管理功能，使得多種計算引擎可以共享統(tǒng)一的數據存儲。同時，通過對緩存、輔助數據結構（如索引、統(tǒng)計信息）和數據布局進行優(yōu)化，智能湖倉也具備了良好的SQL性能。
流批一體，簡化系統(tǒng)架構。智能湖倉可以實現(xiàn)批處理與流處理的統(tǒng)一，通過CDC（Change Data Capture）將業(yè)務系統(tǒng)數據實時抽取到數據湖，實時加工后傳輸至OLAP系統(tǒng)中對外服務，實現(xiàn)端到端過程的分鐘級時延。與此同時，系統(tǒng)架構得到簡化，大幅降低了系統(tǒng)維護以及數據開發(fā)工作的難度。
云原生、存算分離。基于云原生架構，智能湖倉存儲和計算資源得到有效分離，企業(yè)可以基于需求靈活地對存儲和計算資源進行分別擴展，且擴展需求幾乎沒有限制，從而實現(xiàn)對大規(guī)模數據查詢與分析的高性能，并顯著降低TCO（Total Cost of Ownership）。
| 案例1：某跨國零售集團建設統(tǒng)一數據底座，全面提升數據管理運營效率某海外跨國綜合零售及服務集團為世界500強企業(yè)，主營商業(yè)零售、地產、金融、健康、游戲娛樂5大主要業(yè)態(tài)，旗下包含數百家成員公司，在日本、中國、東南亞等地區(qū)具有廣泛影響力。舊架構難服務新零售，數據開發(fā)管理應用全流程能力需提升近年來，“新零售”的崛起為零售行業(yè)持續(xù)帶來巨大變革，該零售集團也希望借助其商超和供應鏈優(yōu)勢開辟線上——線下到家業(yè)務，并通過逐步構建完善的線上零售體系，實現(xiàn)傳統(tǒng)零售業(yè)務的全面轉型。經過多年數字化建設，該集團陸續(xù)在本地和云上建成多個數據倉庫，并面向整個集團建立了統(tǒng)一的CDP平臺，沉淀了豐富的數據資源。然而線上業(yè)務的開展引發(fā)了數據量激增，底層數據架構混亂、端到端數據運營分析能力落后的問題暴露無疑。具體而言：1. 煙囪式建設，數據資產不統(tǒng)一。該集團數據存、算基礎設施均是以需求為導向進行階段性單點建設而成，建立在離線、微軟云、亞馬遜云之上的結構化、非結構化數據存儲及數據調度、實時計算工具等縱橫交織，底層技術?；靵y，這直接導致了集團數據標準、數據口徑不統(tǒng)一，數據開發(fā)格式和數據開發(fā)工具相互獨立，難以形成統(tǒng)一數據資產。2. 業(yè)務穩(wěn)定性、即時性不達標。該集團數據倉庫層次結構不清晰，數據域、主題設計不合理，導致數據重復開發(fā)和計算問題嚴重，數據分析低效且耗費大量資源。在數據分析需求激增的情況下，原有云資源算力和存儲都達到瓶頸，一項數據分析需求的響應往往需要2-3天，大大影響了任務穩(wěn)定性和即時性，無法滿足業(yè)務需求。3. 數據全流程運營管理方法不健全，服務能力差。該集團分別采購海外供應商抽取、集成、調度、監(jiān)控、服務等數據開發(fā)管理工具，但這些工具之間彼此割裂，不僅導致數據全流程運營效率低，通過代碼開發(fā)出的數據能力無法復用，影響對外開放賦能，同時導致數據分析師、數據科學家、業(yè)務人員、管理人員等不同角色之間無法有效協(xié)作。該集團經內部評估規(guī)劃，決定面向整個集團當下及未來5-10年數字化轉型需要，統(tǒng)一數據存、算基礎設施，并通過全方位數據治理統(tǒng)一全域數據資產，健全數據開發(fā)、管理、運營全流程體系，從而支持智能化應用，統(tǒng)一開放賦能，并最終將整套成功經驗推廣復制到該集團的全球市場。通過長時間細致地對眾多國內外優(yōu)秀廠商及其客戶進行實地調研和技術驗證，以及對各廠商產品的開放式體驗，該集團發(fā)現(xiàn)，國外廠商工具能力較強，但不同數據開發(fā)管理工具彼此獨立，無法形成有機串聯(lián)，導致數據工具和數據治理體系“兩張皮”，無法實現(xiàn)該集團構建統(tǒng)一數據資產管理運營體系的需求。而科杰科技在工具能力與國外廠商旗鼓相當的基礎上，將數據資產管理運營全流程的方法論和最佳實踐融入數據工具設計中，使客戶能夠使用科杰科技全套產品構建統(tǒng)一、可持續(xù)的企業(yè)級數據資產運營管理體系。因此該集團最終選擇科杰科技作為合作伙伴。北京科杰科技有限公司（簡稱“科杰科技”）是領先的數據能力構建商，核心技術團隊擁有豐富的頭部互聯(lián)網企業(yè)大數據平臺建設和運營經驗，針對多業(yè)態(tài)、多場景的大型復雜組織的數據底座建設運營，沉淀出了一套成熟的實施方法論。現(xiàn)已服務能源、汽車、零售、制造等多個行業(yè)頭部企業(yè)。建設湖倉一體數據底座，統(tǒng)一數據存儲和管理，支持對上開放賦能該集團在科杰科技的幫助下，梳理現(xiàn)有數據能力，規(guī)劃設計了滿足未來5-10年的數據能力建設藍圖，以科杰云原生數據底座，統(tǒng)一納管底層數據基礎設施，建立數據標準規(guī)范和管理體系統(tǒng)一全域數據資產，并最終實現(xiàn)對組織統(tǒng)一開放賦能。1. 搭建湖倉一體數據底座，實現(xiàn)資源統(tǒng)一納管。該集團利用云原生湖倉一體數據底座良好的兼容適配性，實現(xiàn)跨云數據集成，統(tǒng)一集團主數據、元數據，同時支持多租戶。云原生架構帶來的資源彈性擴縮容能力使該集團能夠便捷、靈活為二級單位進行資源調配，滿足其個性化的資源使用需求，同時其良好的擴展性也能夠支持集團未來數年的數字化發(fā)展。2. 統(tǒng)一全域數據資產，構建數據資產管理體系。首先，該集團在科杰科技幫助下進行了數據治理工作，完整重構數據倉庫體系，設計核心數據指標模型，制定數據標準，規(guī)范數據質量，構建起全域統(tǒng)一的數據資產。其次，通過一系列工具平臺落實數據資產管理框架、標準、制度和流程，形成數據資產管理體系。建立統(tǒng)一的數據開發(fā)管理平臺，與統(tǒng)一系統(tǒng)認證系統(tǒng)集成，集離線、實時開發(fā)能力于一體，實現(xiàn)全域數據的接入、加工及任務維護和管理；創(chuàng)建數據資產目錄，對數據指標、標簽進行分類管理，形成數據地圖和血緣關系圖譜，面向業(yè)務構建商品、店鋪、交易、利潤、會員、營銷等主題，方便數據查詢調用。3. 開展數據資產服務化運營，實現(xiàn)統(tǒng)一開放賦能。搭建數據服務平臺，提供數據API、標簽服務、實時服務、報表服務和大屏服務。如對于面向用戶畫像、個性化推薦等智能應用的特征指標，能夠通過指標平臺，以及API發(fā)布數據服務方式，直接提供給業(yè)務人員使用。同時，平臺將數據管理體系進一步貫穿組織架構和業(yè)務主題，面向不同角色和不同業(yè)務場景，進行數據能力的整合，支撐團隊協(xié)同開發(fā)，實現(xiàn)數據資產的共享交換。融入DataOps理念，通過平臺多個數據開發(fā)管理工具的有機串聯(lián)，實現(xiàn)數據開發(fā)運維一體化。數據科學平臺支持托拉拽的方式編排算法組件，輔以對數據應用模型算法構建方式和流程的指導，大大縮短數據分析模型開發(fā)上線的速度，同時支持復用，算法和業(yè)務過程快速交互形成閉環(huán)，優(yōu)化結果能快速傳遞到業(yè)務端，實現(xiàn)數據反哺業(yè)務。圖 5： 湖倉一體數據智能平臺打造統(tǒng)一開放的數據協(xié)作體系，持續(xù)穩(wěn)定賦能業(yè)務發(fā)展和創(chuàng)新通過集團統(tǒng)一大數據底座建設，該零售集團全方位完善了從底層基礎設施到上層數據應用能力，具體而言：1. 資源統(tǒng)一納管，高效穩(wěn)定支撐上層業(yè)務開展。通過基礎設施統(tǒng)一納管和靈活的資源調度，減少系統(tǒng)風險，提升上層業(yè)務穩(wěn)定性，同時降低了總體擁有成本。2. 統(tǒng)一數據資產體系，為企業(yè)數據資產持續(xù)開放共享打好基礎：打通消費者在WEB、APP、小程序、門店系統(tǒng)的數據，以及各業(yè)務系統(tǒng)會員、門店、電商、供應鏈、財務等全域數據，進行全鏈路數據血緣關系數據資產沉淀，并形成公司內統(tǒng)一的數據門戶，提升企業(yè)數據資產的使用效率。3. 數據資產服務化運營，實現(xiàn)組織規(guī)模化數據協(xié)作。數據研發(fā)人員通過數據中臺實現(xiàn)大規(guī)模項目跨團隊協(xié)同開發(fā)的能力，極大地提高了研發(fā)人員工作效率；業(yè)務和運營人員在平臺內實現(xiàn)數據需求在線提報并自動流轉，并通過高度可視化的功能實現(xiàn)業(yè)務數據自助分析和分發(fā)，極大地提升了數據在企業(yè)內流轉和使用的效率，完成由傳統(tǒng)的被動數據研發(fā)模式到基于統(tǒng)一數據資產之上進行高度復用的開發(fā)模式升級轉變。 |
數據中臺的意義在于連接數據底層與數據應用，提供一個企業(yè)級的數據能力共享和復用的平臺。近來大火的DataOps方法論，其目標是提高數據分析質量、實現(xiàn)數據應用敏捷開發(fā)，DataOps將成為提升數據中臺能力的重要途徑。
隨著企業(yè)風險控制、精準營銷等數據應用場景越來越豐富，背后需要關聯(lián)分析、歸因分析、預測分析多元化數據分析能力支撐。這意味著企業(yè)從依靠BI報表，被動式分析、集中式展現(xiàn)為主的傳統(tǒng)數據分析階段，正在進入去中心化、主動分析、智能分析為特征的數據分析新階段。數據應用的多元化同樣帶來數據質量、數據應用交付以及數據用戶協(xié)同等方面的挑戰(zhàn)和困難。
業(yè)務影響：數據來源的業(yè)務系統(tǒng)不規(guī)范更新表結構；數據口徑不一致；數據填報不規(guī)范等
技術影響：ETL過程中字段變更導致數據加工出錯；系統(tǒng)服務異常導致調度任務執(zhí)行失??；數據存儲架構調整如上云引發(fā)數據源的超預期改變；
企業(yè)中的數據用戶類型復雜，如IT部門的系統(tǒng)工程師和數據庫管理員，BI團隊中的數據工程師、數據管理員和報表開發(fā)人員，以及數據分析師、數據科學家以及業(yè)務部門的數據消費者等，協(xié)調所有數據用戶及各自的工具耗費大量人力物力。這也導致原本從業(yè)務提出數據需求，實現(xiàn)數據建模、數據開發(fā)到數據應用的線性流程協(xié)作變得更加困難，交付周期長，效率低下。
數據應用問題可能出現(xiàn)在數據采集、存儲、計算、融合、建模、開發(fā)、運維等多個環(huán)節(jié)。為滿足多元化的數據應用需求，企業(yè)需要以數據為主角，統(tǒng)籌數據全鏈路，協(xié)調數據相關多角色，以持續(xù)快速交付為目標打通數據流。
DataOps是人、流程和技術的高效組合，用來管理代碼，工具，基礎架構和數據本身，從而實現(xiàn)數據領域應用的敏捷開發(fā)和持續(xù)集成應用，優(yōu)化和改進數據管理者（生產者）和數據消費者的協(xié)作，持續(xù)交付數據流生產線。DataOps能力構建包含數據工程、數據融合、數據安全和隱私、數據質量四個方面。而一個成熟的DataOps體系應具有持續(xù)性、敏捷性、全面性、可信性、自動性等五個特征。
圖 6： DataOps能力構建
圖 7： 成熟的DataOps特征
目前，DataOps實踐尚不成熟，如何將DataOps方法論融入數據中臺、充分發(fā)揮效能，仍待持續(xù)探索。
| 案例2：九州通建設數據中臺打通數據壁壘、挖潛數據價值九州通醫(yī)藥集團股份有限公司（以下簡稱“九州通”）為科技驅動型的全鏈醫(yī)藥產業(yè)綜合服務商，立足于醫(yī)藥流通、物流服務及醫(yī)療健康等大健康行業(yè)，主營業(yè)務包括數字化醫(yī)藥分銷與供應鏈服務、總代品牌推廣服務、醫(yī)藥工業(yè)及貼牌業(yè)務、數字零售、智慧物流與供應鏈解決方案、醫(yī)療健康與技術增值服務六大方面。九州通連續(xù)多年位列中國醫(yī)藥商業(yè)企業(yè)第四位，領跑中國民營醫(yī)藥商業(yè)企業(yè)。IT架構復雜、數據分散阻礙數據跨平臺共享協(xié)作，數據價值難展現(xiàn)早在2015年，九州通集團就開啟了數字化轉型之路。隨著集團規(guī)模持續(xù)擴大，市場競爭愈加激烈，九州通迫切需要發(fā)揮數據價值支持經營分析、經營決策以及服務上下游客戶。但在數據應用過程中，九州面臨IT架構和數據層面的痛點。數據孤島嚴重。一方面，九州通集團業(yè)務線復雜，包含中西成藥、中藥、醫(yī)療器械、零售等多業(yè)態(tài)，各業(yè)態(tài)又分為集團、地市、區(qū)域三級結構。九州通以業(yè)務為主導，各業(yè)態(tài)、各層級分別依據各自需求建設數據平臺，造成數據平臺架構各異，數據共享協(xié)作效率慢。另一方面，同一公司內不同業(yè)務單元也會引入不同業(yè)務系統(tǒng)，系統(tǒng)之間難打通，造成數據分散。因此，九州通雖儲存有海量數據，但數據難流動難使用，數據價值難實現(xiàn)。數據標準體系不完善，數據質量差。目前九州通未對數據進行分層管理、未建立完善的指標體系且缺乏藥品標簽；同時數據存在不及時、不準確、不完整、關聯(lián)性差等質量問題，造成數據難使用，不能有效支持經營分析應用。數據模型復用度低，不足以支持業(yè)務應用需求。目前九州通單個數據平臺內的數據模型僅支持對應系統(tǒng)應用，復用度低，導致應用重復開發(fā)，浪費資源。同時數據應用在下鉆深度、關聯(lián)廣度、數據呈現(xiàn)豐富度等方面都不足以支持經營分析需要，數據模型有待完善。建設數據中臺，盤活數據資產，數字化提質增效數字化轉型大背景下，九州通迫切需要盤活數據資產、發(fā)掘數據價值，推動降本增效、營銷創(chuàng)新。九州通曾先后嘗試自建Oracle數倉以及Hadoop數倉來統(tǒng)一儲存集團數據，雖然投入大量資源，但效果有限。為打通集團各業(yè)態(tài)各層級數據平臺，為業(yè)務賦能，九州通決定通過招標建設集團數據中臺。通過綜合考慮技術集成能力、數據開發(fā)工具便捷性以及廠商最佳實踐經驗等因素，最終九州通決定與網易數帆合作。網易數帆是網易集團旗下To B數字化轉型技術與服務提供商，為客戶提供國產軟件基礎平臺產品及相應技術服務，業(yè)務覆蓋云原生基礎軟件、數據智能全鏈路產品、人工智能算法應用、低代碼應用開發(fā)平臺四大領域，致力于幫助客戶搭建無綁定、高兼容、自主可控的創(chuàng)新基礎平臺架構，快速應對新一代信息技術下實現(xiàn)數字化轉型的需求。目前已服務金融、零售、制造、能源、通信等各領域頭部客戶三百余家。在網易數帆協(xié)助下，九州通歷時8個月完成了數據中臺規(guī)劃以及數據中臺初始化部署，包含建設數據倉庫、實現(xiàn)數據開發(fā)及運維以及數據治理。圖 8： 九州通數據中臺架構示意圖1）建設統(tǒng)一的數據倉庫平臺，打通集團跨平臺數據，提升數據利用率建立數據倉庫及分層模型：數據倉庫分為數據運營層（ODS）、明細數據層（DWD）、匯總數據層（DWS）、應用層（ADS）共四層。將不同類型數據根據數據模型需要進行分層存放，避免不同業(yè)務部門因對數據利用方式不同，而需要對模型進行重復開發(fā)，提升數據利用率。數據匯集：借助網易數帆豐富的Hadoop大數據平臺組件，九州通將多種架構數據平臺的數據集成到數倉平臺的數據運營層（ODS），并對數據進行清洗、匯聚、加工和計算。數據建模：在網易數帆的咨詢規(guī)劃協(xié)助下，九州通在不同數倉層建模，其中在明細數據層（DWD）拉通商品、客戶、人員、供應商、崗位及組織架構維度數據，搭建主數據公共域模型；在匯總數據層（DWS）建立采購、銷售、供應鏈、營銷、財務等主題模型；在應用層（ADS）建立各業(yè)務報表需要的業(yè)務數據模型。2）實現(xiàn)數據便捷開發(fā)和運維，提升工作效率利用網易數帆提供的一套便捷可視化數據開發(fā)工具，九州通數據研發(fā)團隊可快速實現(xiàn)離線開發(fā)、實時開發(fā)、權限管理、資源管理等功能。通過數據運維平臺實現(xiàn)任務的監(jiān)控和報警推送，預估任務實例的產出時間、展示實例對下游報表影響范圍，實現(xiàn)任務高效運維。3）對多源數據進行統(tǒng)一治理，降低工作量和資源成本九州通建設數倉平臺匯聚各業(yè)態(tài)各層級的多源數據，包括不限于各中西成藥、中藥、醫(yī)療器械、零售等業(yè)態(tài)版塊中，集團、區(qū)域以及子公司各級的采購、庫存、人力、營銷等系統(tǒng)數據。之后通過數據治理平臺對多源數據進行統(tǒng)一治理，包括建設數據地圖使業(yè)務人員能在海量數據中快速找到所需數據，通過數據血緣關系展示表的上下游表動態(tài)追溯、表的下游任務等；搭建數據指標體系實現(xiàn)跨部門指標定義統(tǒng)一和指標定義管理；建立數據質量管理體系，業(yè)務人員可預設多場景下的質量監(jiān)控規(guī)則，并設置郵箱、電話等多種告知形式；建立數據資產管理體系，評估數據資產的成本、價值、質量，優(yōu)化存儲成本，節(jié)約計算資源，實現(xiàn)精細化的數據生命周期管理等。數據中臺賦能業(yè)務應用，經營效率再提升通過數據中臺，九州通實現(xiàn)集團復雜組織架構下跨業(yè)態(tài)、跨層級、跨系統(tǒng)的數據打通，成功消除數據孤島；并通過統(tǒng)一的數據架構、模型開發(fā)、數據治理等功能盤活數據資產，建立通暢、標準化的數據鏈路，持續(xù)為前臺業(yè)務應用和分析提供數據服務，推動營銷創(chuàng)新、提升經營效率。消除數據孤島，實現(xiàn)數據共享共通。九州通通過數據中臺對旗下各業(yè)態(tài)各層級數據進行匯聚，由數據中臺提供統(tǒng)一數據出口，實現(xiàn)全集團跨平臺數據分享調用。搭建統(tǒng)一的數據指標體系，實現(xiàn)數據科學管理和快速響應。本次項目共建設8個主題域，落地213個業(yè)務指標，全部指標統(tǒng)一口徑、統(tǒng)一管理，能有效避免因指標定義模糊和邏輯混亂而導致的數據質量問題，大大減少無效、重復工作，同時能快速提高數據響應速度，如采購分析體系中，所有采購分析數據需求，均實現(xiàn)秒級響應，平均5秒出結果。健全客戶標簽體系，支撐精準客戶洞察。本次項目開發(fā)客戶標簽共計6大分類，共100+個標簽，覆蓋基本信息、行為屬性、交易屬性、企業(yè)信用及風險信息等，組成標簽工廠，對數據進行更精細的分類管理，支撐精準營銷決策和風險控制。利用數據中臺靈活快速開發(fā)業(yè)務應用，實現(xiàn)降本增效。如通過數據中臺開發(fā)供應商畫像，綜合資金周轉、供貨預期、付款周期、銷售情況等信息，為供應商付款審批提供數據支撐；針對業(yè)務員開發(fā)業(yè)務員畫像，跟進業(yè)務員成單率、拜訪計劃、拜訪效果等實現(xiàn)精準考核等；針對藥店拜訪開發(fā)藥店畫像，提高業(yè)務員拜訪成功率等。深挖數據價值，從數據支撐到數據賦能。相較于傳統(tǒng)數倉，大數據平臺提供了更強的算力支撐，在通過中臺整合了各系統(tǒng)數據資源，利用項目完成數據的集中化標準治理的基礎上，九州通深挖數據價值，嘗試通過AI算法模型在業(yè)務前側，包括采購體系、銷售體系、獲客體系等方面實現(xiàn)數智化。例如：零售門店的銷售預測、活動商品的精準營銷、采購智能AI補貨、中藥生產供應鏈優(yōu)化等。廠商數據集成和咨詢能力是傳統(tǒng)企業(yè)搭建數據中臺關鍵回顧本項目實施全過程，廠商的選型對九州通數據中臺建設以及成功應用具有關鍵影響。對于有同類數據中臺建設的企業(yè)，在選擇數據中臺廠商時可借鑒以下兩點經驗。針對具有復雜組織架構的傳統(tǒng)企業(yè)，應選擇具有深厚底層數倉開發(fā)以及數據集成能力的廠商。對于復雜架構的集團型企業(yè)，在數字化進程中，各子公司及各業(yè)務常根據業(yè)務需要分別建設數倉，造成數倉架構不統(tǒng)一。因此廠商需要具備扎實的組件開發(fā)以及數據集成能力，以靈活適配多種數據庫環(huán)境，實現(xiàn)多源數據高效、穩(wěn)定集成。針對技術團隊開發(fā)能力較弱的傳統(tǒng)企業(yè)，應選擇具有咨詢能力的廠商。尤其對于雖有技術團隊，但尚未成功建立數倉平臺，且數據應用意識較弱的企業(yè)，應選擇具有咨詢能力的廠商，在廠商協(xié)助下開展梳理業(yè)務、制定指標體系、搭建數據模型、管理數據權限、開發(fā)數據應用等活動，快速建立起數據中臺，并最終通過廠商知識轉移，快速提升企業(yè)數據中臺使用能力和數據建模能力，挖潛數據價值。 |
| 案例3：某高速行業(yè)信息化公司建設數據中臺，打造高效智慧高速系統(tǒng)十四五以來，隨著我國開啟全面建設社會主義現(xiàn)代化新征程、轉向高質量發(fā)展階段，公路交通也進入高質量發(fā)展新階段，發(fā)展重心由原來的交通運輸網絡建設轉向交通運輸供給有效性和適配性、以及出行服務品質等。發(fā)展數字交通，尤其以5G、物聯(lián)網、大數據、云計算、人工智能技術為代表的新基建與交通運輸深度融合，成為深化交通供給側改革、提升運輸服務效能、促進綜合交通高質量發(fā)展的重要推動力。高速行業(yè)數據缺乏融通和應用，相關高速單位提升運營效率存在困難近年來，隨著信息化的發(fā)展，高速領域的相關單位已具備多個信息化系統(tǒng)，如視頻監(jiān)控系統(tǒng)、交通流管控系統(tǒng)、收費站管控系統(tǒng)、應急指揮系統(tǒng)等，但由于信息系統(tǒng)相互獨立，在高速運營中仍會面臨以下數據問題：數據孤島：高速數據來源于導航系統(tǒng)、ETC、龍門架、路網卡口、攝像頭、毫米波雷達、車載終端等形色各樣的系統(tǒng)和終端設備，數據類型復雜，且分屬于高速公路建設、管理、養(yǎng)護以及運營等四個階段，導致不同系統(tǒng)的數據無法互通互聯(lián)形成數據孤島。數據質量不穩(wěn)定：由于高速數據的采集來源于不同的感知設備，存在數據不穩(wěn)定、數據空包、丟漏數據的現(xiàn)狀。原有系統(tǒng)缺乏數據質量管理體系，導致采集的數據中存在大量缺失信息或無效數據。缺乏數據標準：當前高速公路業(yè)務數據尚未形成國家或是行業(yè)標準規(guī)范，尤其不同地域、不同供應商產品的數據格式、模型、表結構千差萬別，導致上級單位在進行數據收集匯總時需花費大量人力物力。難以有效支持多元應用：高速領域包含多元的服務應用及對象，諸如視頻監(jiān)控、交通流管控、收費站管控、應急指揮、綠通查驗等服務，現(xiàn)有數據系統(tǒng)存在數據難調用、難使用的問題，不能支持業(yè)務應用體驗升級需求。為了更好地賦能各地域的高速公司，提升各地高速交通的運營效率，某高速行業(yè)信息化公司基于高速行業(yè)的發(fā)展現(xiàn)狀和系統(tǒng)基礎，提出建設數據中臺解決上述問題。通過多方考察，該公司綜合考慮行業(yè)經驗、產品功能、產品體驗以及公司規(guī)模等因素，最終決定與國內專業(yè)的數據智能服務商每日互動股份有限公司（以下簡稱“每日互動”）合作建設數據中臺。每日互動成立于2010年，是專業(yè)的數據智能服務商，為企業(yè)客戶及政府單位提供豐富的數據智能產品，便捷、穩(wěn)定的技術服務與智能運營解決方案，服務行業(yè)涉及互聯(lián)網運營、用戶增長、品牌營銷、金融風控等領域客戶以及政府部門。同時，基于強大的數據積累能力和豐富的數據治理經驗，每日互動構建了數據中臺——“每日治數平臺”，將數據挖掘、萃取和治理能力向各行各業(yè)輸出，用數據智能幫助客戶解決其實際業(yè)務中所遇到的痛點難題。建設數據中臺，實現(xiàn)智慧高速每日互動在城市大腦、智慧交通、應急管理等公共服務領域具有豐富實踐，積累了對人、車、道路、時間、空間等多要素數據進行關聯(lián)計算和分析洞察的能力。依托于“每日治數平臺”一站式數倉搭建、可視化數據資產管理、零代碼模型構建、低代碼機器學習等特色功能，每日互動和該高速行業(yè)信息化公司共同建設數據中臺，包括構建數據標準、管理數據資產以及制定數據質量管理體系等，實現(xiàn)了數據資源的統(tǒng)一整合和數據治理，主要運用于支持高速公路的高效運營和高質服務。圖 9： 相關高速單位數據中臺架構圖數據接入和集成：依托于每日互動的技術支持，某高速行業(yè)信息化公司可將相關高速單位的多個自有信息平臺如高速管控平臺、設備維修管理平臺、隧道管控平臺的異構數據，以及可靠第三方數據統(tǒng)一接入數據中臺。構建數據標準，建立統(tǒng)一的數據倉庫模型：每日互動與該公司組織的多個業(yè)務專家一起深入高速業(yè)務一線，理清當前數據現(xiàn)狀以及數據使用過程中的痛點，根據數據源不同，建立相應的業(yè)務主題庫，構建起一套完整的數據標準體系，形成統(tǒng)一、整合的數據倉庫模型。數據資產管理和可視化：基于每日互動提供的數據勘探、數據血緣、元數據采集、建表/分區(qū)管理等工具，該公司可進一步幫助相關高速單位完善數據資產；并且對數據資產進行可視化呈現(xiàn)，如數據資產目錄層級結構展示，相關單位可便捷地從不同視角檢索和管理數據資產。制定數據質量管理體系：基于數據標準，制定數據質量校驗規(guī)則，實時對數據質量進行智能監(jiān)測和預警；結合AI算法，定期對數據質量進行稽核，如系統(tǒng)根據數據缺失情形，參考歷史數據進行補充或是對嚴重缺損數據進行剔除，保證高速數據可用、可信。此外，通過數據血緣功能可定期對數據流轉過程進行追溯和梳理，實現(xiàn)數據全生命周期的智能管理。數據應用：多源異構數據經數據中臺清洗、融合治理后形成共享數據，通過API以服務目錄的形式供各部門調用，消除應用部門對數據質量、數據來源的擔憂，專注提升應用體驗。數據中臺有效提升高速運行效率和服務品質在本項目數據中臺建設過程中，每日互動梳理建立起一套完善的高速數據標準體系，運用于高速行業(yè)多個場景的效率提升，相關單位的高速交通應急處置效率、運行效率和服務品質等多個方面均有顯著提升，具體表現(xiàn)如下。打通數據孤島，實現(xiàn)數據高效高質共享：通過數據中臺，某高速行業(yè)信息化公司將相關高速單位系統(tǒng)內多個渠道數據進行集成、清洗、融合治理，形成高質量數據，賦能各業(yè)務部門。實時可視化，提升應急處置效率：依據每日互動數據中臺的圖像智能和可視化等功能，該公司實現(xiàn)了對高速交通全局態(tài)勢的實時感知以及對局部路段路況的實時查詢、分析，并通過大屏監(jiān)控車禍、擁堵、拋錨等突發(fā)狀況，能對突發(fā)狀況實現(xiàn)快速定位和救援。該公司將此可視化功能應用到道路救援時，救援時間縮短了60%至80%，救援效率得到大幅提升。數據融合，促進路網通暢：通過對ETC、服務區(qū)卡口、高速路網等數據融合，業(yè)務人員對?？砍瑫r的車輛進行精準引導，緩解夜間服務區(qū)的大流量痛點，提高服務區(qū)的服務質量。AI算法預判，提升通行效率：針對高速匝道等事故多發(fā)以及易擁堵路段，業(yè)務人員可基于每日互動數據中臺AI算法進行提前預判和事前預警，為相關高速單位進行道路擁堵疏導提供科學依據和有效支撐，也為民眾合理規(guī)劃錯峰出行路徑提供引導，促進路網流量合理分布，提升高速通行效率。數據中臺廠商綜合數據能力為數據中臺建設、數據中臺應用良好體驗提供堅實保障回顧數據中臺建設前期、建設中期以及建設后期應用的全過程，數據中臺能成功發(fā)揮效用、提升高速交通運營能力有兩點關鍵因素。1）選擇優(yōu)質廠商事半功倍：某高速行業(yè)信息化公司在進行數據中臺廠商選型時，應考慮廠商在特定行業(yè)已積累豐富案例，形成完善數據治理方法論，其中行業(yè)不限于高速行業(yè)。該廠商應具備數據資產管理、數據分析、數據可視化、數據標簽等數據治理專業(yè)能力以及豐富的數據治理輸出經驗，具備成熟的久經市場驗證的數據產品引擎與提效工具，能將以往行業(yè)經驗遷移到高速行業(yè)中，服務高速行業(yè)。在本項目中基于“每日治數平臺”豐富的行業(yè)客戶和相關政府單位解決數字化轉型難題經驗，每日互動已經沉淀出可復用的數據能力、業(yè)務能力、效率工具等，因此能快速為該公司建設數據中臺，服務于高速公路建設、管理、養(yǎng)護、運營四個階段。此外，廠商還應具有算法建模、機器學習、圖像智能等綜合數據能力，在實現(xiàn)數據整合、數據治理等基本功能基礎上，能為數據在多元場景應用提供支持。在本項目中，每日互動的數據中臺產品“每日治數平臺”具備多元完善的AI算法、圖像智能等技術，操作便捷、輕量、易上手，可實現(xiàn)路況實時查詢分析并可視化呈現(xiàn)、對路況預判提升通行效率等功能，為客戶的數智化創(chuàng)新賦能提效。2）建設執(zhí)行團隊落地生花：除廠商選型外，為使數據中臺真正落地、發(fā)揮最大效用，某高速行業(yè)信息化公司在明確數據中臺規(guī)劃、踐行數據中臺建設的過程中，還需搭建崗位配置齊全的團隊，包括但不限于中臺建設、中臺運維、數據產品經理、數據資產管理、數據運營等崗位來支持中臺建設及運維，實現(xiàn)跨組織協(xié)同，實現(xiàn)數據驅動。 |
隨著物聯(lián)網和大數據技術的深入發(fā)展，企業(yè)通過物聯(lián)網設備或線上系統(tǒng)可以收集到大量的實時數據。與此同時，實時數據的應用場景也被迅速挖掘，如精準營銷、風控管理、工業(yè)制造等場景中，對實時數據的分析處理、應用將有效為企業(yè)避免損失、提升效益，企業(yè)對于實時數據從產生、收集、處理、存儲到產出分析結果的全鏈路時延需求已經從過去的T+1天發(fā)展到到小時級、分鐘級甚至秒級，實時數據平臺也因此獲得極大關注。
但是傳統(tǒng)的數倉或數據平臺難以支持海量實時數據處理和分析的需求，企業(yè)急需針對實時數據的收集、管理和分析技術以及基礎設施進行優(yōu)化升級，可以將實時數據端到端地管理起來，并將實時數據轉化為能夠幫助業(yè)務提升的工具，利用實時數據提升業(yè)務價值。
要支撐實時數據應用的需求，需要一套從導入（采集和同步）、存儲、處理到查詢實時數據的端到端解決方案。
圖 10： 端到端的實時數據解決方案
可以采集多種類型數據：實時數據來源眾多，包括線上數據（訂單、交易等）、IoT設備數據和日志數據等，實際業(yè)務場景中的實時數據類型也包括結構化數據、視頻、音頻、文本等，因此實時數據采集需要支持多源異構數據的處理需求，同時由于不同的業(yè)務場景中的數據協(xié)議不一致，實時數據平臺還需要包含豐富的通信協(xié)議接口。
高可用、低成本的數據同步方案：實時數據同步過程主要是針對流式數據的處理，在可用性方面，數據同步解決方案需要保證企業(yè)級應用的場景下海量實時數據同步的完整性和高可用；在運維方面，數據同步解決方案要具備監(jiān)控預警和自動運維等配置化的運維方案，降低開發(fā)和管理成本。
統(tǒng)一的數據存儲和查詢：由于一般實時數據平臺多采用離線數倉和實時數倉同步運行的方式會導致開發(fā)成本翻倍、數據管理體系復雜等問題，使用以數據湖為基礎的流批一體的方式來替代原有的離線數倉和實時數倉，可以解決傳統(tǒng)架構中的存在的問題。通過流批一體的方式可以將流計算和批計算的存儲都統(tǒng)一到數據湖中，使得數據血緣關系、數據質量管理、元數據都可以統(tǒng)一在相同的數據管理體系下，系統(tǒng)代碼也可以統(tǒng)一進行開發(fā)和維護。在數據查詢方面，因為同樣采取分層架構和數據湖可以支持OLAP查詢引擎，依然可以在不同的中間層支持OLAP的實時查詢。
金融作為數字化程度最高的行業(yè)之一，其在實時數據平臺方面的探索和需求相較于其他行業(yè)更為領先，金融機構由于傳統(tǒng)的批處理數據量大，基礎實施架構復雜且業(yè)務場景眾多，在實時數據平臺的建設方面最好基于原有的批處理基礎上進行批處理的升級和流處理的新建，優(yōu)先選取重點業(yè)務場景進行實時數據處理和分析的試點，獲得成功經驗再逐步推廣到全機構中運行。
| 案例4: 某股份制銀行搭建實時應用支撐平臺，通過實時數據賦能業(yè)務價值提升隨著金融數字化時代的來臨，金融業(yè)務正在發(fā)生深刻的變化。國內某股份制銀行結合市場趨勢變化和自身情況，將大數據技術作為企業(yè)數字化戰(zhàn)略目標的基礎。該銀行目前處于業(yè)務發(fā)展的新階段，資產規(guī)模持續(xù)擴大，經營實力不斷增強，同時積極推進金融創(chuàng)新，而新業(yè)務模式的創(chuàng)新離不開數據的支持，也對核心數據能力提出了新要求。傳統(tǒng)的數據處理時效性和靈活性無法滿足業(yè)務發(fā)展需求在傳統(tǒng)的批處理方式下，通過T+1的全量或增量數據更新和處理可以滿足銀行內各部門對于經營情況和內部管理等數據分析的需求，但是隨著精準營銷、風險監(jiān)控和內控管理等場景對于數據時效性的要求越來越高，銀行內現(xiàn)有的批量式、準實時式數據處理效率無法滿足所有的業(yè)務場景，未來需要實現(xiàn)對交易、日志等流式數據的毫秒級實時采集、處理和計算能力。數字經濟時代下，銀行需要收集和管理的數據量也將持續(xù)高速增長，現(xiàn)有的數據基礎設施從性能和處理方式層面都難以滿足PB級海量、混合數據的存儲、整合、加工以及完成實時流式新增場景接入的要求，需針對現(xiàn)有的數據基礎設施進行維護和升級。在業(yè)務支撐方面，當前的數據交付方式復雜且低效，無法滿足快速變化的業(yè)務需求，需要提升快速、自主、迭代式平臺的交付能力。該股份制銀行綜合考慮自身業(yè)務情況和當前技術能力，提出了搭建實時應用支撐平臺來滿足海量數據的實時處理和分析，對于實時應用支撐平臺具體的需求如下：1.流處理接入和批處理升級實時應用支撐平臺需完成實時流式新增場景接入，需要以現(xiàn)有的flink方式，進行實時數據感知和獲取以及相關任務的下發(fā)；針對批處理任務場景，為配合完成實時需求，需針對配套的批量任務完成開發(fā)和改造，對于現(xiàn)有的批量任務要進行維護和升級。2.系統(tǒng)組件優(yōu)化升級完成傳統(tǒng)大數據服務平臺應用支撐集群流式平臺的系統(tǒng)升級和版本升級。應用支撐集群很多是自研和開源組件，新的實時應用支撐平臺需要在現(xiàn)有基礎上進行資源整合和優(yōu)化升級，包括集成自動化測試功能、集成門戶查詢功能、優(yōu)化ES存儲索引等。監(jiān)控方案制定和實施。統(tǒng)籌建立實時應用支撐平臺整體監(jiān)控方案，并完成相關指標的制定以及開發(fā)優(yōu)化，在現(xiàn)有的監(jiān)控指標基礎上完成系統(tǒng)、組件、應用、批、流全方位的監(jiān)控系統(tǒng)升級，保障系統(tǒng)穩(wěn)定運行和對外提供服務。3.集群擴容升級數據完整性保證。為保障數據完整性，配合實時應用支撐平臺擴容計劃，在承接更多實時場景的情況下，繼續(xù)保障集群可以在實時數據消費的同時進行數據備份，并且在集群出現(xiàn)重大問題或流消費有問題時，可以保障數據不丟失。數據安全保證。為配合平臺中實時數倉的建立，豐富目前的實時、準實時數據接出模式，需要建立配套的安全權限管理模式，進行數據安全管控。為滿足上述需求，該股份制銀行在實時應用支撐平臺搭建中，綜合技術能力、產品成熟度和過往經驗等多種考慮因素，最終選擇與九章云極DataCanvas展開合作。九章云極DataCanvas成立于2013年，是一家數據智能基礎軟件供應商，專注于自動化數據科學平臺的持續(xù)開發(fā)與建設，提供自動化機器學習分析和實時計算能力，為政府及企業(yè)智能化升級和轉型提供全面配套服務。通過開源產品搭建實時應用支撐平臺，利用低代碼環(huán)境提升數據開發(fā)效率在項目中，該銀行的IT團隊與九章云極DataCanvas共同合作，對全行的實時業(yè)務場景做了全面梳理，作為構建實時應用支撐平臺的基礎。在落地層面，借助九章云極DataCanvas成熟的企業(yè)分布式流數據實時處理，分析和決策產品（以下簡稱“DataCanvas RT實時決策中心“），依托主流互聯(lián)網大數據生態(tài)圈，引入開源社區(qū)軟件框架，采取自主和合作研發(fā)相結合，完成某銀行實時應用支撐平臺的搭建和基礎數據的準備，以此開展各業(yè)務應用工作。圖 11： 某股份制銀行全行級實時應用支撐平臺架構圖實時應用支撐平臺通過對批量數據和實時數據的處理、計算、分析，尤其是通過機器學習模型對實時數據進行分析獲取業(yè)務洞察，進而為下游的業(yè)務系統(tǒng)提供多樣化的數據服務。在實時數據應用支撐集群中，九章云極運用DataCanvas RT實時決策中心為該銀行提供實時指標引擎、模型引擎、數據資產管理、數據作業(yè)管理（算子作業(yè)、SQL作業(yè)、JAR作業(yè)）、數據服務、日志管理、多租戶及租戶資源、UDF管理功能等眾多模塊和功能。圖 12： 算子作業(yè)開發(fā)示意圖其中UDF的全稱為User Definition Function，是DataCanvas RT實時決策中心作為一個平臺級的產品基于Flink的框架下開發(fā)的低代碼數據開發(fā)功能，結合預置的算子，讓用戶可以用可視化拖拽的方式把算子在畫布中連接，組成數據開發(fā)任務。在實時應用支撐平臺項目中，該銀行IT人員利用UDF可以極大減少流式數據開發(fā)任務的難度，提升開發(fā)任務效率，使得實時場景的數據開發(fā)上線周期大大縮短。本次實時應用支撐平臺項目歷經初建、擴容和推廣三個階段：初建階段：初建階段主要是在該銀行原有的批處理架構基礎上，搭建以Hadoop為基礎的系統(tǒng)架構，結合多種開源大數據組件搭建具備實時數據處理和實時交易感知的系統(tǒng)，并在部分試點場景中上線運行。擴容階段：擴容階段在初建階段的系統(tǒng)基礎上融入DataCanvas RT實時決策中心，并擴容集群規(guī)模，在上線時即形成50臺節(jié)點的系統(tǒng)集群，線上運行20多類業(yè)務場景，并在后續(xù)逐步擴容至100臺節(jié)點的系統(tǒng)集群和80多個實時業(yè)務場景。推廣階段：推廣階段基于前期的系統(tǒng)建設基礎，遵照規(guī)范管理流程，接入更多業(yè)務場景，提供及時的數據服務，提升業(yè)務洞察能力。實時應用支撐平臺除了一般的技術和功能需求外，九章云極DataCanvas還針對該銀行的特殊需求對于DataCanvas RT實時決策中心進行定制化開發(fā)，包括：高可用流作業(yè)：在DataCanvas RT實時決策中心中添加高可用流作業(yè)功能，有效解決流作業(yè)重啟情況下導致的數據延遲問題，以及雙作業(yè)流場景中的基于第三方緩存Redis做的狀態(tài)一致性保障UDF，本次項目中研發(fā)的高可用流作業(yè)功能也已經和九章云極一起申請專利。多租戶需求：通過邏輯隔離和在預置算子外開發(fā)UDF算子如Redis狀態(tài)計算、去重算子、Hbase維表關聯(lián)等算子的方式滿足該銀行實時風險管理系統(tǒng)租戶、報表與信息服務平臺系統(tǒng)租戶、營銷管理系統(tǒng)租戶和標簽管理系統(tǒng)租戶的多租戶需求。實時應用支撐平臺優(yōu)化數據服務，提升業(yè)務洞察該股份制銀行通過九章云極DataCanvasRT實時決策中心搭建的實時應用支撐平臺，在投產后已實現(xiàn)無間斷運行近四年，并且可以有效應對海量數據處理和實時業(yè)務場景應用需求：1.實現(xiàn)了海量實時數據的處理和分發(fā)。該銀行在上線實時應用支撐平臺后，每日實時報文采集量和準實時數據日采集量有了顯著提升。類似于大額資金變動預警的實時場景中，實時數據經平臺規(guī)則處理后可以在0.2秒內輸出預警，目前日預警量達到千萬條，實時動帳交易日預警量約百萬條。2.極大提高了實時場景開發(fā)和上線的效率。隨著實時應用支撐平臺項目的實施，平臺上支撐的總體業(yè)務場景不斷增加，平均每2周就能上線一個實時業(yè)務場景，截止2022年3月已經上線了80多個實時業(yè)務場景，總體的需求提出部門達到了15個，包括運營管理部、信用卡中心、信息科技部、網絡金融部等，共涉及3種業(yè)務類型，包括營銷類、監(jiān)控類、監(jiān)管類，平臺在對用戶需求的支持上得到了顯著提升。3.適用業(yè)務發(fā)展需要的流數據計算架構。實時應用支撐平臺上線后，實現(xiàn)了十萬級以上的TPS峰值報文配對處理量，每日全行總線報文采集量加足跡數據采集量達到20億以上。并且隨著業(yè)務不斷發(fā)展，九章云極DataCanvas RT實時決策中心也對平臺架構進行持續(xù)優(yōu)化，例如最新版本的RT產品支持Flink SQL，可以有效提升實時數據的開發(fā)效率。流批一體的數據處理能力和低代碼環(huán)境可顯著提升實時數據處理平臺的落地效果實時數據平臺的數據處理能力和開發(fā)效率是決定其是否能夠滿足企業(yè)需求的核心要素，總結該股份制銀行的實時應用支撐平臺建設經驗，其他銀行在選擇實時數據平臺產品時應注意關注以下兩點：流批一體的數據處理能力。在選擇實時數據平臺產品時，能夠承載企業(yè)的流批一體數據處理工作，具備方便的橫向擴展能力，并且可以對產品架構持續(xù)優(yōu)化改進，不斷引入新的技術和功能，才可以保證該產品可以長期穩(wěn)定的滿足業(yè)務發(fā)展需求。低代碼開發(fā)環(huán)境提升開發(fā)效率。基于DataCanvas RT實時決策中心的低代碼開發(fā)環(huán)境，由成熟的測試團隊完成工作流的配置和測試。對于復雜業(yè)務場景則通過大數據開發(fā)工程師通過UDF算子開發(fā)的形式，完成部分數據處理難點的實現(xiàn)，后續(xù)將UDF算子交由測試團隊，通過可拖拽的方式構建數據開發(fā)工作流。 |
隨著數字化進程的深化、數據應用場景的拓展，越來越多的企業(yè)及機構發(fā)現(xiàn)僅挖掘內部數據價值不足以應對快速變化的市場環(huán)境及用戶需求，如金融機構需要借助其他機構數據完善風控模型、實現(xiàn)精準營銷；政府單位需要打通多部門數據提高政府治理水平、提升公共服務效能；醫(yī)院需聯(lián)合多家醫(yī)療機構共同完成罕見病全基因組關聯(lián)分析等。企業(yè)或機構需要通過數據共享協(xié)作提升運營效率、提升服務價值。
與此同時，對數據流通安全的擔憂成為數據共享協(xié)作的阻礙。一方面，國家加強對數據分享及利用的監(jiān)管，相繼頒布《數據安全法》及《個人信息保護法》，嚴格限制數據的不安全流通；另一方面，數據已經成為企業(yè)立身之本，企業(yè)需要保護自身數據資產，保護數據隱私。
圖 13： 隱私計算發(fā)展驅動因素
隱私計算能實現(xiàn)數據共享協(xié)作過程中的“可用不可見”，保護數據隱私安全、滿足合規(guī)要求，被企業(yè)廣泛采用。企業(yè)對隱私計算技術的需求主要體現(xiàn)在以下幾方面。
不同場景對隱私計算技術能力要求不同。如政務聯(lián)合計算場景下，同態(tài)加密即可滿足需求；金融風控場景下，需要具備聯(lián)邦學習、同態(tài)加密以及多方安全計算；而特殊醫(yī)療場景如全基因組分析場景下，要求更嚴格，解決方案需同時具備聯(lián)邦學習、多方安全計算、同態(tài)加密甚至可信執(zhí)行環(huán)境等多種隱私計算技術。一個普適的隱私計算平臺解決方案如下圖所示。
圖 14： 隱私計算平臺架構圖
| 案例5：某三甲醫(yī)院借力隱私計算開展多中心基因組學分析，取得突破研究成果某三甲醫(yī)院是一所集醫(yī)療、教學、科研為一體的綜合性三級甲等醫(yī)院，脊柱脊髓傷病診治、關節(jié)外傷修復重建、顱腦創(chuàng)傷救治、顱內腫瘤診療、器官移植、多發(fā)傷、多臟器功能衰竭救治等處于國內領先水平。其中脊柱外科是上海市醫(yī)學領先專業(yè)重點學科，該三甲醫(yī)院持續(xù)推進并引領脊髓型頸椎病研究。多中心醫(yī)療合作面臨數據安全、合規(guī)風險全基因組關聯(lián)分析（Genome-Wide Association Study, GWAS）指在全基因組水平上，以單核甘酸多態(tài)性(Single Nucleotide Polytide, SNP)作為分子遺傳標記，進行對照或關聯(lián)性分析，可篩選出與復雜性狀相關的突變基因位點，對于疾病預防、診療和新藥研發(fā)意義重大。該三甲醫(yī)院持續(xù)關注強直性脊柱炎（簡稱“AS”）疾病的預防及治療研究。由于該三甲醫(yī)院的樣本量不足以支撐一項全基因組關聯(lián)分析研究，因此需要聯(lián)合多家醫(yī)院及院校共享AS患者基因信息進行研究，以開展更好的疾病防治工作。但在跨機構AS基因數據協(xié)作和共享過程中存在數據隱私安全隱患、數據合規(guī)以及計算難度大等問題：數據合規(guī)趨嚴，醫(yī)療數據難流通隨著我國《數據安全法》及《個人信息保護法》的頒布，對數據安全監(jiān)管進一步加強，醫(yī)療健康信息被列為敏感個人信息，醫(yī)療數據的不安全流動被嚴格限制，只有在采取嚴格保護措施下方可處理敏感個人信息。目前醫(yī)院普遍通過數據脫敏隱去患者隱私，但在實際應用中，數據脫敏無明確規(guī)定，主觀性高，且已被證明存在保護漏洞，被隱去的信息可能被重新推斷出來導致患者身份或隱私泄露，無法達成現(xiàn)行法律所要求的“數據匿名化”。對醫(yī)療數據隱私泄露的擔憂及數據共享合規(guī)性上的不足成為生物醫(yī)療數據跨機構分享的阻礙。傳統(tǒng)多中心合作仍存在患者隱私泄露或數據篡改風險傳統(tǒng)的多中心合作通常將多家機構數據匯集到第三方平臺，由第三方平臺集中進行數據處理或計算以實現(xiàn)跨中心協(xié)作。但隨著參與方增多，數據泄露和被篡改的風險也隨之升高，如醫(yī)療數據安全保護的責任歸屬難界定、各個參與方的醫(yī)療權限劃分不明確，都有可能造成醫(yī)療數據共享過程中的泄露、侵犯患者個人隱私或是導致重大醫(yī)療事故。數據體量龐大，數據傳輸、計算及分析難度大基因數據具有高通量、高敏感度的特點，例如本案例中，單個個體的全基因組測序數據量接近300G，而全基因組分析需要幾百甚至幾千個樣本量，龐大的數據體量為數據存儲、傳輸、計算及分析帶來挑戰(zhàn)。隱私計算方案推動多中心AS全基因組研究順利開展為規(guī)避隱私泄露風險，實現(xiàn)基因數據分享和聯(lián)合分析，推動本次AS全基因組關聯(lián)分析項目順利開展，該三甲醫(yī)院決定采購隱私計算解決方案。經過綜合考慮產品功能、性能、安全以及團隊醫(yī)療專業(yè)素質等因素，最終選擇與锘崴科技進行合作。锘崴科技成立于2019年, 是一家專業(yè)的隱私保護計算技術服務提供商，由“海外高層次青年人才”、隱私計算專家王爽教授，前硅谷知名科學家鄭灝博士共同創(chuàng)立，具備深厚的隱私計算、生物醫(yī)療信息等領域的學術和實踐經驗，團隊成員多來自IBM、Google、Thermo Fisher等世界五百強企業(yè)，業(yè)務場景覆蓋醫(yī)療、金融、保險、政務、安防等。該三甲醫(yī)院隱私計算方案從確定需求、實現(xiàn)跨醫(yī)院平臺部署到完成全基因組關聯(lián)分析獲取研究成果，歷時近3個月。圖 15： 某三甲醫(yī)院及合作機構隱私計算部署示意圖明確AS全基因組關聯(lián)分析多中心合作需求為實現(xiàn)AS全基因組關聯(lián)分析，該三甲醫(yī)院及合作機構對锘崴科技主要提出三點需求：1）隱私計算解決方案能提供AS疾病全基因組關聯(lián)分析管道所需的模型和工具，并支持靈活組合；2）針對跨機構提供的3000個樣本、單個樣本300G的數據體量，解決方案應實現(xiàn)計算性能等價于明文計算性能；3）該方案保證數據安全合規(guī)。部署隱私計算一體機平臺锘崴科技的锘崴信?隱私保護計算一體機（以下簡稱：锘崴信?一體機）包含接口層、計算節(jié)點、加密層、協(xié)同層等，可實現(xiàn)接入醫(yī)院數據、完成本地計算、對計算結果加密、將加密后的信息通信至全局模型進行迭代，重復計算流程使模型反復迭代至收斂?；陲会诵?一體機，該三甲醫(yī)院及合作機構只需完成安裝、接通網絡、接通數據、配置規(guī)則等步驟即可“開箱即用”，簡化搭建應用隱私計算平臺的難度。其中針對數據接通環(huán)境，锘崴科技锘崴信?一體機提供豐富的數據接口，該三甲醫(yī)院及合作機構可以以文件、數據庫或者數據接口等形式將數據接入一體機，即可實現(xiàn)在安全可控的前提下與外部合作方進行數據價值交互。各數據使用方設計并構建全基因組分析管道為滿足AS全基因組關聯(lián)分析研究需求，锘崴科技開發(fā)出GWAS分布式計算技術框架iPRIVATES。該框架融合多種算法，包含可定制的基因組數據預處理模塊，基于主成分分析的聯(lián)邦人口分層模型、基于邏輯回歸和對數似然比檢驗的關聯(lián)分析模型等。該三甲醫(yī)院及合作方可靈活地集成和配置不同的全基因組關聯(lián)分析管道，方便識別SNPs與AS疾病特征之間的關聯(lián)，獲得統(tǒng)計學意義上顯著相關的基因位點信息，為后期的實驗室驗證、確定AS早篩生物標志物提供支持。實現(xiàn)隱私計算安全依托iPRIVATES框架，該三甲醫(yī)院實現(xiàn)與多個跨省合作機構的AS基因組數據鏈接和共享協(xié)作，并在多中心協(xié)作過程中，保障基因數據共享全鏈路隱私安全。一方面基于iPRIVATES框架中的安全聯(lián)邦學習技術，該三甲醫(yī)院和合作機構在本地終端節(jié)點對基因數據進行計算，僅共享交換經過加密后的中間統(tǒng)計值，不分享明文個體數據，保護數據隱私；另一方面，依托于iPRIVATES框架中可信執(zhí)行環(huán)境技術，該三甲醫(yī)院和合作機構能防御內部攻擊、避免因計算過程被篡改，實現(xiàn)對模型本身的保護。隱私計算推動多中心合作高效開展，并取得卓越研究成果依托锘崴科技隱私保護計算技術，該三甲醫(yī)院及合作機構在滿足數據安全合規(guī)要求的前提下完成多中心AS疾病全基因組關聯(lián)分析，取得重大研究成果，獲得業(yè)內高度認可；并在縮短評審周期、提高統(tǒng)計意義、降低資源消耗等方面有良好表現(xiàn)。研究成果獲廣泛認可：基于锘崴科技提供的iPRIVATES隱私計算框架，該三甲醫(yī)院關于強直性脊柱炎的研究成果發(fā)表在生物信息學頂級期刊Briefing in Bioinformatics上，同時獲得2019年度上海市科技進步獎一等獎，收到廣泛贊譽。計算結果的可靠性、準確度大幅提升：基于隱私計算解決方案，該三甲醫(yī)院最終與多家機構達成多中心合作，樣本量相較單中心模式提高3-5倍，統(tǒng)計意義也提高1個數量級，研究結果的準確性、普適性大幅提升，有利于AS疾病的預防和診治工作。計算效率顯著提升，計算結果等價：iPRIVATES框架在算法時間上等價于數據物理集中的方式，且研究成果的特征靶點也與集中式計算結果一致，驗證了隱私計算方法在解決生物醫(yī)療多中心數據協(xié)作方面的可行性和巨大潛力。大幅縮短數據風險評審周期，降低多中心合作時間成本：傳統(tǒng)模式下開展多中心研究前，需要各醫(yī)院機構評審數據共享風險，評審周期可能長達一至兩個季度。而隱私計算方案能實現(xiàn)在數據不出域的情況下完成多中心的合作，規(guī)避數據泄露風險，因此能大幅縮短醫(yī)院多中心合作的評審周期，減少管理流程成本，加速聯(lián)合研究。降低資源消耗：傳統(tǒng)多中心模式下，所有樣本數據需匯總到該三甲醫(yī)院再進行計算，對存儲、算力條件要求極高，而基于聯(lián)邦學習的多中心模式應用分布式計算框架，物理分散，邏輯集中，對參與方的計算資源損耗和計算條件要求下降。隱私計算廠商選型決定多中心醫(yī)療合作成敗隱私計算方案在該三甲醫(yī)院AS疾病研究中起到重要作用?；仡櫾撊揍t(yī)院實施隱私計算解決方案全流程，隱私計算廠商選型對隱私計算解決方案的成功具有決定性作用，因此對于同樣有多中心醫(yī)療研究需求的醫(yī)院，在選擇隱私計算廠商時，應注意以下三點廠商能力。選擇有完全自主知識產權，能兼顧性能、精度、安全等多方面實力的隱私計算廠商。由于醫(yī)療行業(yè)數據體量龐大、精度要求苛刻、數據安全風險高，要求隱私計算廠商除建模能力外，更要具備優(yōu)化調整隱私計算底座并發(fā)性、準確性、算法復雜性等方面的自主開發(fā)能力。選擇有豐富醫(yī)療經驗、具備專業(yè)醫(yī)療知識的廠商。醫(yī)療研究理論門檻高，因此要求隱私計算廠商具有醫(yī)療從業(yè)經驗或是具備專業(yè)醫(yī)療知識，準確理解不同醫(yī)療業(yè)務中的數據分析理論，進而提供對應的醫(yī)療算法和模型，如在全基因組關聯(lián)分析中能提供人口分層模型、關聯(lián)分析模型。甚至更進一步，允許不同醫(yī)療機構根據業(yè)務能、精度和安全等多方面平衡的解決方案。選擇具有豐富醫(yī)療數據源的廠商。生物醫(yī)療數據的各項科學研究通常都需要大量樣本，單一數據源的數據量很難滿足一項研究所需的樣本量，因此，能鏈接多方數據源，諸如醫(yī)院、第三方檢測公司、影像中心等，打通各醫(yī)院、藥企上下游數據網絡，為醫(yī)院聚合大量樣本，將能為醫(yī)院節(jié)省大量的資源和時間。 |
圖 16： 數據分析平臺趨勢及解決方案演進示意圖
數據分析平臺作為企業(yè)數據價值提煉和挖掘的最后一站，長期以來都是企業(yè)數字化建設的重中之重。然而，由于數據分析工作的專業(yè)性和復雜性，以及數據邏輯與業(yè)務邏輯之間的高度差異性，導致數據分析和業(yè)務之間存在較高的壁壘，這對企業(yè)的數據運營體系和數據文化提出了很高的要求。近年來，隨著外部市場環(huán)境不確定性的增強，以及企業(yè)數據應用的不斷深化，數據和業(yè)務之間的壁壘在很大程度上影響了企業(yè)數據價值的傳遞，具體而言：
面對個性化、場景化的分析需求，企業(yè)需要通過更加智能化、敏捷化的數據分析解決方案，提升分析的靈活性，填補業(yè)務和數據間的壁壘，真正讓數據分析能力下沉到一線業(yè)務人員和具體業(yè)務場景。
1）為業(yè)務人員和管理人員搭建新型智能化、自助化分析平臺。以智能化、自助化為特點，面向業(yè)務人員的新型分析引擎搭載NLP to SQL、機器學習、低代碼等技術，提供自然語言等新型交互方式，便捷地低代碼、零代碼數據分析模板搭建方式，從而簡化數據準備、數據挖掘和建模以及數據結果分發(fā)全流程操作，為業(yè)務人員提供強大的數據分析能力。具體而言，系統(tǒng)能幫助用戶輕松訪問數據，并實現(xiàn)實時分析，滿足業(yè)務實時分析需求；系統(tǒng)能幫助用戶通過托拉拽操作，生成豐富的可視化圖形，并支持指標和維度的切換，以及指標和數據的關聯(lián)分析，讓業(yè)務人員通過極為簡單的操作實現(xiàn)靈活的數據分析，大大降低數據使用門檻。
| 案例6：精準高效數據分析實現(xiàn)業(yè)務與數據深度融合某知名互聯(lián)網教育公司是我國最具影響力的綜合性教育集團，擁有素質教育、國際教育、成人及職業(yè)教育、教育服務與支持、在線電商等多個業(yè)務板塊。多重挑戰(zhàn)，數據分析體系面臨瓶頸作為行業(yè)領先的教育集團，該公司較早開啟了數字化探索，但由于缺少專門的數據管理及分析工具與科學的數據管理體系，在實際運行過程中存在諸多問題：1. 取數繁瑣，數據管理難統(tǒng)一。由于企業(yè)內部多系統(tǒng)間未在數據層面打通，數據權限管理不清晰，各分公司頻繁需要總部協(xié)助從多個系統(tǒng)導出數據并進行初步加工，集團側數據響應工作量大，反饋慢，效率低。2. 分析效率受限，個性需求難滿足。數據展示工具局限于Excel數據透視表，呈現(xiàn)形式單一，缺乏靈活性。因此，各地分公司在數據標準存在較大差異的情況下，很難滿足各分公司對數據分析的個性化需求。3. 分發(fā)不及時，推送慢成本高。在分析結果推送方面，原先數據人員需將分析結果手動發(fā)送至指定的群聊或郵箱，耗費大量人工成本，無法在數據分析結果產出第一時間推送到相關負責人。三措并舉，建設高效、精準的數據分析體系為解決上述問題，該公司決定面向整個集團搭建大數據分析與可視化平臺，以實現(xiàn)精準、高效的數據分析。在充分考慮自身管理模式與產品適配性、產品易用性等維度后，最終選擇觀遠數據作為合作伙伴，共建大數據分析與可視化平臺。觀遠數據作為一站式智能分析與服務提供商，依托在數據分析和商業(yè)智能領域多年實戰(zhàn)經驗，致力于為互聯(lián)網、金融、零售、消費、高科技、制造等行業(yè)的領先企業(yè)提供一站式數據分析與智能決策產品及解決方案。截至目前，觀遠數據已深入服務聯(lián)合利華、3M中國、招商銀行、安踏、華潤集團、揚子江藥業(yè)、元氣森林、小紅書、蜜雪冰城等400+行業(yè)領先客戶?；贐I平臺，雙方攜手搭建了集團——分公司數據分級管控體系，搭起數據分析管理和協(xié)作的完整“骨架”，并通過平臺強大功能，實現(xiàn)全面自助式分析、自動化推送預警，充盈了數據分析的內容。圖 17： 觀遠數據分析應用界面來源：觀遠數據1. 數據管理模式改革——中央廚房集中供給，分公司按需取用。首先將多系統(tǒng)數據統(tǒng)一錄入集團數據倉庫，再推送到觀遠BI平臺數據中心，形成集團統(tǒng)一的基礎數據層。隨后，集團作為“中央廚房”，統(tǒng)一管理各學校數據訪問權限，并依據權限管控機制將數據開放給各學校，無需人工干預；最后，集團將權限下放，由各個學校自主管理內部用戶，學校通過觀遠ETL將數據進行規(guī)則梳理和加工后形成各自獨有數據集，并基于自身數據集自助生成個性化看板。這種方式不僅保障了數據安全，提升取數效率，更提升了分公司和學校數據管理分析的靈活性。2. 數據分析能力提升——靈活開放的自助式分析。雙方以業(yè)務價值鏈和場景為基礎細化數據指標，搭建數據分析模型，并提供豐富的報表類型。首先將客戶全生命周期數據上線觀遠BI平臺，對多個內部細化節(jié)點形成對應數據和指標支撐；其次面向自身業(yè)務場景與角色劃分多個數據分析模塊，在對應模塊中進行該業(yè)務板塊的專題分析；同時模塊之間可以進行穿透和級聯(lián)分析，實現(xiàn)對某一數據的精準追溯歸因；最后，觀遠BI平臺提供豐富報表圖形，一目了然，便捷和精準定位問題環(huán)節(jié)。此外，觀遠BI平臺能夠面向不同角色提供自助式分析體驗。面向數據分析人員，觀遠BI平臺數據報表能夠自動更新，數據人員可根據自身需要靈活搭建數據看板，同時便捷的數據關聯(lián)和圖表穿透功能大大提升了數據人員進行數據指標關聯(lián)探索的主動性積極性。面向管理者，觀遠BI平臺為不同管理層級用戶提供多維度數據同環(huán)比分析，直觀的圖表貼合管理者信息提取習慣；同時，針對該公司學校管理者較少在PC端辦公的情況，觀遠數據提供移動端入口，使用者能夠通過簡單上下左右滑動方式查看數據及變化趨勢，進行數據穿透，具備極高的靈活性。3. 分析報表秒級推送——智能化訂閱和推送預警。首先，觀遠BI平臺和該公司內部統(tǒng)一認證的系統(tǒng)打通，實現(xiàn)統(tǒng)一登錄，精簡前端操作鏈路。其次，針對業(yè)務數據每日高頻刷新，而管理人員忙于日常辦公不能及時查看數據的問題，平臺支持自主訂閱式推送，降低人力成本；最后，針對重要業(yè)務指標，觀遠BI平臺提供預警功能，當某一指標突破閾值，消息能夠分秒級自動推送到對應負責人的釘釘，從而能夠對問題進行快速感知和響應。圖 18： 觀遠數據互聯(lián)網行業(yè)數字化運營解決方案 雙管齊下，數據分析平臺落地推廣在與觀遠數據合作后，該公司為激活集團內部活用數據的習慣，成立BI推廣小組，創(chuàng)造性地推出了集團與學校的三類合作模式，并面向整個集團舉辦BI挑戰(zhàn)賽。在BI平臺建設初期，公司總部為進行針對性賦能，更好地協(xié)助各地分公司實現(xiàn)其個性化數據分析需求，成立BI推廣小組，通過與各學校的深入交流了解其業(yè)務現(xiàn)狀和數據分析能力，最終形成集團與學校數據合作從重到輕的三類模式：圖 19： 集團總部與學校數據合作三類模式示意圖BI推廣小組成功將觀遠BI平臺推廣至公司各個城市，初步在集團內部形成以BI平臺為依托的數據文化。2.全面上線觀遠BI平臺后，為進一步提升覆蓋率，該公司舉辦了BI挑戰(zhàn)賽，各校區(qū)根據自身數據需求指定參賽命題，以物質獎勵吸引參賽，并各自選擇本校區(qū)優(yōu)秀選手在集團層進行比拼，通過評委的細致點評增強選手數據分析能力，同時沉淀優(yōu)秀作品進行復用。在集團總部的大力推廣下，全集團人員在觀遠BI平臺之上逐步挖掘出集團數據分析潛能，在內部形成了濃厚的數據文化。一以貫之，BI平臺賦能業(yè)務與數據深度融合通過BI平臺的全面鋪開，該公司原有經營分析邏輯在觀遠BI平臺完美兌現(xiàn)，業(yè)務與數據的融合程度逐漸加深，從而提升了整個集團開源節(jié)流、敏捷響應的能力。具體而言：1. 精準數據分析賦能精細化業(yè)務運營管控，實現(xiàn)開源節(jié)流。針對招生和成本兩大重要問題，觀遠BI平臺能夠讓該公司管理層對于企業(yè)關鍵數據指標進行精準分析和洞察，生源線索回訪支持從原來的一月后回訪精細到一周、兩周、三周后，從而實現(xiàn)精細化業(yè)務管控，更有針對性進行擴新，降低運營成本。2. 高效數據分析與推送賦能業(yè)務敏態(tài)調整，快速實現(xiàn)業(yè)務轉型。首先，觀遠BI平臺提升了取數、分析、可視化和結果推送全流程效率，使業(yè)務側從原來的事后響應轉變?yōu)槭轮杏行Ц深A，大大提升了業(yè)務的敏捷性。其次，受“雙減”影響，業(yè)務變革導致數據分析邏輯也要隨之進行重大調整，觀遠BI的輕量化數據分析能力支持數據分析需求靈活變更，有效節(jié)約變革的時間、人力、資金成本，幫助上下快速適應并投入新業(yè)務的運轉。 |
2）在不同業(yè)務場景選用嵌入數據分析能力的SaaS產品。
出于投入產出比的考慮，大量企業(yè)在財務、營銷、HR、供應鏈等各個業(yè)務場景中使用垂直領域廠商的SaaS產品進行協(xié)作與管理，而這些產品往往在自身領域已經形成高度成熟和體系化的業(yè)務邏輯沉淀，而在產品中嵌入數據分析能力則能夠幫助企業(yè)快速且具有針對性地實現(xiàn)垂直業(yè)務場景中的各類分析需求，在各個業(yè)務場景實現(xiàn)業(yè)務和數據的小閉環(huán)，提升精細化運營水平。
| 案例7：分貝通借助衡石科技數據分析 PaaS平臺快速落地數據分析能力，實現(xiàn)產品價值進階北京分貝通科技有限公司（以下簡稱“分貝通”）成立于2016年，致力于為企業(yè)提供整合費控、場景、支付、報銷于一體的新一代支出管理平臺，通過企業(yè)支付+員工墊付報銷，實現(xiàn)無死角覆蓋全部企業(yè)費用支出，幫助企業(yè)費用管理更高效，更優(yōu)化。目前已累計服務元氣森林、海底撈、湯臣倍健等數千家高成長企業(yè)。數據分析能力漸成客戶剛需，自研、外采均難以滿足在業(yè)財融合的大趨勢下，財務的工作重心正逐漸從基礎財會過渡為數據統(tǒng)計、經營分析，企業(yè)財務人員及管理層對數據分析和報表的需求強烈。因此，對于分貝通而言，SaaS產品數據分析功能的完備性直接影響到新客拓展與老客續(xù)約。在數據分析功能上線之前，為了解決客戶對數據分析報表的需求，分貝通只能通過系統(tǒng)+人工處理的方式，由分貝通的專業(yè)顧問幫助客戶做數據梳理，再以 PPT形式提供給客戶。每份報表需要數個人天的工作量，每月數十份定制報表的需求不僅為分貝通帶來了很大的負擔，同時也只能服務部分KA客戶，難以滿足所有客戶財務部門定期定量的數據分析、報表需求?；谏鲜鐾袋c，分貝通迫切需要在產品中增加數據分析能力，滿足各類客戶的業(yè)務人員和管理層對于數據分析的共性和個性化需求，同時提升公司內部對大客戶定制化報表的服務效率。然而分貝通發(fā)現(xiàn)，無論是自研還是采購市場上主流BI產品，均不能完全滿足當下需求。具體而言：1. 自研投入成本過高：分貝通產品需聚合20多個場景、API 直連 200家以上供應商，自研數據分析和報表功能需要投入數十位專業(yè)數據工程師持續(xù)研發(fā)6-12個月，且面臨較高的研發(fā)失敗風險；外采+自研的方案下，由于大多數BI廠商缺少產品功能模塊化輸出的能力，導致采購和維護費用高昂，且需要設置專門的報表團隊，成本總計過百萬元/年。2. 外采產品，個性化分析需求難滿足：分貝通客戶群體行業(yè)屬性和體量差異大，對于個性化分析需求，市面主流BI產品普遍需要由專業(yè)數據分析師根據需求重新搭建分析模型才能實現(xiàn)，無法由業(yè)務人員進行自助分析，使用這類產品無法改變分貝通需花費大量人工成本為客戶代勞的情況。嵌入衡石科技數據分析 PaaS 平臺，滿足場景化數據分析和多租戶管理需求經過多方探尋，分貝通接觸到衡石科技，經評估后認為，HENGSHI SENSE 數據分析 PaaS 平臺在技術先進性和產品成熟度方面具有明顯優(yōu)勢，能夠與 SaaS 軟件快速實現(xiàn)無縫對接，模板化沉淀分析場景，并一鍵發(fā)布給SaaS多租戶，完美貼合分貝通的需求，隨即與衡石科技展開合作。衡石科技是一家數據分析和 BI 領域的標準化軟件廠商，核心團隊來自Amazon、BAT、秒針等頂級高科技公司大數據部門，以 Analytics as a Service 形態(tài)，靈活高效地生成高價值的數據應用場景，賦能各行業(yè)客戶持續(xù)構建數據生產力。衡石科技為分貝通提供HENGSHI SENSE 數據分析 PaaS 平臺，以強大的數據全生命周期管理、分析和可視化能力，以及成熟的多租戶功能，幫助分貝通輕松搭建起既能滿足客戶多樣化大數據分析需求，又能實現(xiàn)平臺多租戶數據自動隔離的在線數據分析體系，全面提升客戶企業(yè)財務數據分析的便捷性、有效性，同時確保數據安全性。1. 覆蓋數據全生命周期，高效便捷滿足客戶多樣化個性化數據分析需求高效低門檻HQL語義建模：HENGSHI SENSE 按照 ELT + Embed 的新型分析范式，結合衡石科技獨創(chuàng)的 HQL 語義層徹底實現(xiàn)存算分離，數據分析無需依賴數據倉庫的數據處理性能，更加高效；統(tǒng)一數據定義及指標定義，大大降低數據分析門檻，真正實現(xiàn)將數據分析能力開放給業(yè)務人員使用。零代碼快速搭建業(yè)務分析場景：嵌入HENGSHI SENSE分析系統(tǒng)，具備低門檻，易上手的特點，能夠5 分鐘內拖拉拽完成自助式分析，幫助分貝通實現(xiàn)整個數據鏈路端到端的處理及搭建分析場景。豐富場景化模板和自定義分析功能一站式滿足分析需求：衡石科技將數據分析能力提供給分貝通，分貝通以多年積累的業(yè)財行業(yè) know-how與服務標桿客戶的需求洞察為基礎，對客戶所需分析維度進行整合，再配置到在線數據分析的產品模塊中，從而沉淀出豐富實用的數據分析場景。對于分貝通客戶可直接應用分貝通已搭建好的費用趨勢預測、多維消費對比、行為數據分析等多種多樣的分析場景模板，對于大型客戶則提供自定義 Dashboard 滿足更高階的財務分析需求。此外，衡石科技提供的數據分析功能支持多屏自適應，可以在手機端和 PC 端的快速上線分析場景。圖 20： 分貝通嵌入HENGSHI SENCE后的在線數據分析功能示意圖2. 強大的多租戶服務支持，適配SaaS產品數據安全與租戶數據管控需求在認證方式集成上，HENGSHI SENSE 內置了Oauth2、企業(yè)微信、釘釘、CAS、JWT 等多種認證方式，可實現(xiàn)快速對接，且對于不同的租戶可支持不同的認證方式。在租戶數據管控上，HENGSHI SENSE 首先建立了靈活的數據權限管控能力，基于復雜組織架構，給不同的租戶配置不同的用戶屬性值，并按賬戶進行最小粒度權限控制，實現(xiàn)千人千面的效果；其次，HENGSHI SENSE擁有完整的權限控制體系，可以采用租戶管理員自由管控、租戶屬性控制租戶數據庫連接等多種管控方式，快速幫助分貝通實現(xiàn)租戶數據的完全隔離，保障租戶數據安全、準確。圖 21： 衡石科技HENGSHI SENSE產品架構示意圖分貝通依托HENGSHI SENSE強大的開箱即用能力，短時間內完成產品部署和交付，無需專門的實施團隊。后續(xù)依靠分貝通的客戶成功團隊，在兩周內完成了與分貝通20個2C大平臺、150多個2B2代理、70多個終端供應商、自營直采 5000 多個 SKU的對接工作，相比傳統(tǒng)BI，部署時間提升10倍以上，有力推動了產品功能快速上線使用。低成本快速滿足客戶數據分析需求，帶來新客轉化與續(xù)約持續(xù)提升分貝通上線HENGSHI SENSE，不僅大大節(jié)約了分貝通的自研成本和人工制表成本，同時大幅提升了分貝通的市場競爭力，用高效便捷的數據分析能力吸引大批客戶，推動公司長遠發(fā)展。1. 節(jié)約人工成本與研發(fā)成本分貝通產品自此實現(xiàn)報表分鐘級創(chuàng)建，實時更新，并通過配置按權限直接批量發(fā)布，使分貝通數據分析效率提升十倍以上，無需數據工程師幫助，節(jié)省初期研發(fā)費用數百萬元。2. 快速迭代升級，提升產品競爭力分貝通能夠借助HENGSHI SENSE 架構的靈活性快速按照新的業(yè)務需求和想法迭代數據分析功能，2022年初上線在線數據分析功能后，分貝通在幾乎無需依賴衡石科技的情況下，1個月建成費控行業(yè)專業(yè)分析場景，3個月實現(xiàn)專業(yè)的數據分析功能反超業(yè)內其他費控SaaS廠商，產品競爭力大大提升。3. 真實降本，大幅提升客戶滿意度分貝通借助HENGSHI SENSE 滿足財務在進行費用管理時90%以上的數據分析需求，通過數據分析輔助規(guī)則設定后，為分貝通每家客戶平均節(jié)省20% 以上開支，直接優(yōu)化了終端企業(yè)的費用支出。同時，分貝通數據分析模塊可以直接生成業(yè)務回顧報告供財務人員高效匯報工作，將產品價值直接傳遞到客戶企業(yè)核心管理層，大大加深客戶對分貝通產品價值認同。 |
在數字化浪潮下，人們日常生產生活而成的數據與日俱增，數據逐步成為企業(yè)、政府部門開展業(yè)務的重要依據。企業(yè)紛紛進行數字化轉型，在采集數據、存儲數據、管理數據、計算數據層面已經建立了認知。
當下，企業(yè)面臨精細化運營需求，多變的用戶需求對企業(yè)決策效率提出更高的要求，復雜的應用場景增加了決策考慮難度。然而傳統(tǒng)的大數據和人工智能技術建模和分析只能識別現(xiàn)狀和問題，在根因分析、數據關系挖掘和決策支持方面作用有限，仍然需要大量人工介入才能給予業(yè)務反饋，不能滿足企業(yè)決策速度要求。企業(yè)對于數據智能應用需求正在從數據采集監(jiān)測、診斷性分析向決策支持轉變。
企業(yè)、政府部門需要運用更先進的人工智能技術高效精準地搭建算法模型進行業(yè)務判斷、識別以及預測，從廣度和深度上充分挖掘數據價值，為企業(yè)和政府部門業(yè)務開展高效賦能。企業(yè)和政府部門對數據智能解決方案有以下幾個層面的需求：
一是深度挖掘數據價值，提高數據利用率。廣泛收集、存儲、管理海量數據以后，在應用層面更需要對數據進行計算和分析，判斷數據性質，分析數據特征，結合各行業(yè)領域知識積累深度挖掘數據價值，為企業(yè)和政府部門提供決策參考。
二是精準快速出具最優(yōu)解決方案。決策場景遍布企業(yè)和政府部門業(yè)務環(huán)節(jié)，選擇哪個排產方案最優(yōu)？哪個出行方案最合理？哪個營銷方案效果最好？面對每個具體場景，能夠廣泛采集相關領域的信息，快速組合形成多項解決路徑，在場景的約束條件下出具優(yōu)決策方案。
三是深入應用場景，形成行業(yè)領域知識沉淀和工作方法論。數據基礎設施構建已經成為企業(yè)和政府部門數字化轉型過程中的必經之路，但行業(yè)應用解決方案還要與行業(yè)知識深度融合，充分運用專家經驗，形成行業(yè)領域知識沉淀和工作方法論，才能夠在具體業(yè)務場景中充分地、長久地發(fā)揮數據價值。
現(xiàn)階段，基于上述需求及痛點，運用機器學習、深度學習、強化學習、運籌優(yōu)化、知識圖譜等人工智能技術和大數據技術深度挖掘數據價值，識別判斷數據性質，構建數據知識網絡，綜合多項信息建立訓練模型，不斷優(yōu)化模型精準度，快速輸出優(yōu)質的決策方案，憑借更多樣的呈現(xiàn)形式以支持各領域企業(yè)或部門實現(xiàn)高效決策。
圖 22： 數據驅動的企業(yè)業(yè)務決策流程
在數據安全方面，可將數據存儲和分析模型不斷擴展形成存儲分析集群，對海量數據進行全量數據存儲和實時查詢、多維分析。通過訓練AI分析模型對安全數據進行判斷和分析，從海量數據中提取特征，完成風險判定，實時對已知和未知的安全威脅進行監(jiān)控預警。
| 案例8：某大型金融組織運用多級聯(lián)安全計算分析系統(tǒng)高效處理全流量安全數據某國內大型金融組織處于我國銀行產業(yè)的核心和樞紐地位，對我國銀行產業(yè)發(fā)展發(fā)揮著基礎性作用。截至2021年底，除總公司外，在全國范圍內設有30+家地方分支機構，創(chuàng)投分支機構，以及境外國際分公司等。對于這樣的金融樞紐企業(yè)而言，其管理與技術體系規(guī)模復雜且龐大。為應對場景日益復雜的銀行清算業(yè)務以及不法分子層出不窮的釣魚郵件、web攻擊等風險，該金融組織組織在網絡中構建了應對日益復雜多樣的風險與威脅的安全防護措施，在提升安全性的同時，也使得安全數據處理難度大幅提升。因此，在復雜網絡環(huán)境和海量日志中，如何對千億級數據進行全量數據存儲和實時查詢、多維分析，如何對已知和未知的安全威脅進行監(jiān)控預警，能否匹配IT集中化、數據集中化、基礎設施云化的發(fā)展趨勢，以及能否支持多級級聯(lián)部署、多分支機構安全管理等，是該大型金融對安全大數據解決方案的考察重點?；谝陨峡紤]，該大型金融組織需要能夠采集、整合、治理、分析、監(jiān)測大規(guī)模安全數據的多級級聯(lián)部署的安全計算分析平臺，通過可行性研究和對眾多技術方案的遴選，最終選擇了斗象科技作為合作伙伴。斗象科技成立于2014年，是中國領先的網絡安全數據智能與安全運營提供商，為政府及企業(yè)提供安全數據智能與安全運營產品的解決方案。該大型金融組織與斗象科技合作搭建的安全大數據項目需要實現(xiàn)以下目標：圖 23： 某大型金融組織安全大數據項目目標1）大規(guī)模的網絡流量采集：解決方案能夠支持該金融組織大規(guī)模網絡流量采集、檢測與分析，適應未來5-10年集團網絡發(fā)展規(guī)劃；2）高可用、可水平擴展的系統(tǒng)：在業(yè)務活動流量激增、異常等情況下，系統(tǒng)還具有高可用性、支持水平靈活擴展，能夠滿足處理性能提升和存儲擴容的需求；3）大數據溯源、取證：系統(tǒng)以大數據技術為基礎，對網絡報文進行高速捕獲、深度解析與存儲，支持異常事件的回溯分析以及調查取證；4）支持多級級聯(lián)部署、多分支機構安全管理：系統(tǒng)以數據分析為核心，驅動常態(tài)化攻防體系不斷建設和完善，實現(xiàn)不同層級防御系統(tǒng)之間的協(xié)作與聯(lián)防聯(lián)控。根據現(xiàn)有架構和外部經驗，建設多級聯(lián)安全計算分析平臺在安全大數據項目中，該大型金融組織的IT團隊與斗象科技團隊共同合作，對集團總部、分支機構安全業(yè)務進行了整體梳理，構建了以數據分析為核心的PRS“中心計算+區(qū)域節(jié)點”級聯(lián)解決方案架構。PRS“中心計算+區(qū)域節(jié)點”級聯(lián)架構是由上海、北京的全網絡流量安全分析系統(tǒng)控制臺和部署在全國32個全網絡流量安全分析系統(tǒng)引擎組成。圖 24： PRS“中心計算+區(qū)域節(jié)點”級聯(lián)架構斗象科技提供的解決方案中，上海、北京總部的PRS-NTA系統(tǒng)控制臺可以實現(xiàn)整體級聯(lián)方案的數據匯總、分析與管理，省級分公司可以向總部控制臺同步各分區(qū)的威脅告警信息、配置信息等。兩臺高可用的管理控制臺可以保證若其中一臺出現(xiàn)故障，另一臺也能正常管理流量安全分析引擎，并保持所有功能正常使用。32個省級分公司的PRS-NTA安全分析引擎可以進行區(qū)域流量的協(xié)議解析、威脅檢測及數據加工存儲，包括引擎管理模塊、流量偵測模塊、數據存儲模塊、模型檢測模塊等。安全分析引擎將流量日志保存在本地，最終將風險信息通過互聯(lián)專線上送到上海、北京的全網絡流量安全分析系統(tǒng)控制臺中，控制臺可對所有引擎的所有風險信息統(tǒng)一管控。斗象科技的PRS-NTA安全分析存儲集群可以實現(xiàn)海量數據處理能力。在數據采集層利用DPDK進行數據包捕獲，利用最小的資源捕獲最全的數據包，進而通過消息傳輸層的Kafka集群將數據包傳遞給安全智能分析引擎的業(yè)務應用中，滿足對網絡流量數據的全面管理。再通過數據解析層將原始流量數據進行深度報文解析和基礎安全識別，可進行特征分析、統(tǒng)計分析、智能安全分析、攻擊畫像分析、調查畫布分析和異常行為分析，將分析數據用歸一化格式存儲在安全數據湖中。除了實時分析數據外，安全數據湖還可存儲原始數據和系統(tǒng)數據，能夠為所有級別的計算與決策制定提供所有類型數據集合的支撐。該級聯(lián)方案設計對控制臺、引擎之間互聯(lián)專線的帶寬負載并不會造成壓力，當控制臺需要查詢對應的風險數據詳情時，可直接免密訪問各區(qū)域引擎的流量日志，最大化保證安全風險集中管控的時效性。同時，控制臺、引擎之間的數據都會以加密的方式傳輸，保證數據的安全性、可靠性、完整性。安全計算分析平臺滿足穩(wěn)定采集、全量存儲、精準回溯、集中管控安全數據的多層次需求-該大型金融組織通過分支試點建設、全面落地安全計算分析平臺，在安全數據檢測與分析上實現(xiàn)了以下價值和效果：第一，穩(wěn)定的數據采集性能，具備全量數據存儲、高速檢索以及靈活的擴容能力。分析平臺能夠采集并實時處置60-80Gbps的數據，日均流量日志數達百億條。分析平臺可對數據進行冷、熱分離處理，滿足了集團PB級數據存儲與秒級檢索的需求。安全分析引擎系統(tǒng)可以支持橫向無縫擴展，能夠滿足未來5-10年的安全建設擴容需求。第二，能夠進行安全事件回溯與調查取證。全流量安全計算分析平臺可對協(xié)議上下文與協(xié)議內容進行調查取證，可以快速定位風險事件與協(xié)議事件的關系。同時，還可以觸發(fā)告警事件，通過查看告警事件分析，可以追溯攻擊事件發(fā)生的時間、IT資產、攻擊類型等。第三，能夠實現(xiàn)級聯(lián)部署和集中管控。落地的安全計算分析平臺支持級聯(lián)部署和集中管控，分公司可以通過互聯(lián)專線將告警事件上送，在總控平臺上查看告警信息。不僅如此，在總控平臺上可以對原始數據選定區(qū)域后進行查詢，能夠連接到下層分析平臺進行查詢，實現(xiàn)安全數據的集中管控。全流量安全計算分析平臺有效降低人力參與成本、提高安全運營效能1、借助AI賦能安全應用，降低人力參與成本。人工智能可以直接利用原始數據進行訓練，從大量的數據中提取特征，自動完成分類判定的工作。在保障監(jiān)測效果的同時，還能夠對人工、非智能技術手段起部分替代作用，從而降低成本。2、通過人機結合的方式，建立多維度的網絡安全防御體系。該大型金融安全計算分析平臺PRS能夠在第一時間發(fā)現(xiàn)和識別威脅，其智能檢測機制有助于簡化流程、降低成本。同時，能夠全面提高網絡空間各類威脅的響應和應對速度，全面提高風險防范的預見性和準確性。3、改善安全防御體系和提高安全運營效能。全流量安全計算分析平臺PRS能夠全面提高威脅攻擊的識別、響應和應對速度，提升風險防范的預見性和準確性，極大地改善了企業(yè)安全防御體系，提高了安全運營效能。 |
融媒體平臺是數據中臺與媒體業(yè)務結合的產物，幫助企業(yè)融合多源異構數據，匯聚媒體企業(yè)歷史數據資產、接受外部共享的數據信息、實現(xiàn)內部資源開放互通，構建媒體領域知識體系，為內容創(chuàng)新持續(xù)賦能。
| 案例9：新華社建立智慧中臺，實現(xiàn)融媒體數據、業(yè)務、渠道高效統(tǒng)籌新華社媒體融合生產技術與系統(tǒng)國家重點實驗室（以下簡稱“新華社國家重點實驗室”）是在中宣部指導下、科技部批準建設的媒體融合生產領域首個國家重點實驗室。新華社國家重點實驗室順應了全程媒體、全息媒體、全員媒體、全效媒體發(fā)展趨勢，重點圍繞人工智能在新聞生產流程中的應用，面向跨媒體信息分析與推理、人機協(xié)同復雜問題分析、響應及評估等方向，開展媒體融合生產技術與系統(tǒng)應用基礎理論研究。在“加快推進媒體融合發(fā)展，建設國際一流新型全媒體機構”的背景下，新華社國家重點實驗室的建設圍繞以下三個問題展開：國際一流的新型群體機構需要怎樣的技術體系？如何建設新一代技術體系？如何運用先進技術推動國際一流新型全媒體機構建設？根據上述明確要求，新華社從技術底層、技術應用、技術輸出三個層面發(fā)力，進一步探索融媒體技術研發(fā)以及創(chuàng)新性融媒體技術應用，賦能自身媒體業(yè)務智能化轉型的同時，助力全行業(yè)媒體融合的一體化發(fā)展。傳統(tǒng)媒體管理平臺無法適應當下日益多元的媒資管理需求傳統(tǒng)媒體管理平臺普遍存在數據孤島、編目傳統(tǒng)、生產效率低、審核困難、利用率低等痛點：1）數據孤島：傳統(tǒng)媒體資產管理平臺與平臺間互相獨立且封閉，無法滿足媒體融合發(fā)展互融互通的需要；2）編目傳統(tǒng)：傳統(tǒng)的編目方式成本高、體系復雜，時效性低，無法適應當下媒體的發(fā)展變化；3）生產效率低：現(xiàn)有的內容生產工具效率低下、無法適應日益新增的海量素材和二次制作內容制作情況；4）審核困難：新媒體多模態(tài)數據量快速提升，在引入和輸出方面都對審核工作造成巨大壓力，傳統(tǒng)的審核手段效果差；5）利用率低：傳統(tǒng)媒體資產內容庫含有大量數據，標簽體系不一，檢索維度少、準確度較低。相對于傳統(tǒng)媒體管理平臺面對的諸多難題，新一輪科技革命興起，5G、大數據、人工智能等應用到新聞領域，讓傳媒業(yè)實現(xiàn)了深度變革。作為國家通訊社，新華社亟需將5G、大數據、人工智能等先進科技，運用在新聞采集、生產、分發(fā)、接收、反饋全流程，解決融媒體信息資源管理難題，通過知識圖譜、自然語言理解、多模態(tài)語義知識搜索與推薦等核心技術能力，搭建整合新華社內外數據資源、實現(xiàn)融媒體業(yè)務數據化的智慧中臺，將數據資產、知識資產融合共享，通過中臺實現(xiàn)對各類應用的數據賦能、AI賦能、運營賦能、決策賦能，由此推進媒體移動化、數字化、智能化進程，為提升傳播力、引導力、影響力、公信力提供技術支撐。“2服務6中臺”助力新華社構建新型融媒體機構為加快推進融合發(fā)展轉型升級，新華社國家重點實驗室青睞的合作廠商需要具備以下能力要素：1）能夠在媒體領域長期深耕，對融媒體機構如何建設新一代技術體系擁有獨到見解；2）能夠充分理解新華社媒體業(yè)務，以國際一流新型全媒體機構建設提供個性化整套解決方案為出發(fā)點；3）自主掌控核心技術，其技術研發(fā)能力行業(yè)領先。通過對眾多廠商方案的可行性研究和對比，新華社國家重點實驗室最終選擇了中科聞歌作為此次智慧中臺項目的合作伙伴。中科聞歌是中國科學院旗下企業(yè)，成立于2017年，是一家數據與決策智能服務商。中科聞歌團隊深耕數據智能+人工智能+運籌科學領域十余年，研發(fā)團隊吸納了各領域高水平技術人才，經過了中科院“弘光專項”、 國家科技創(chuàng)新2030 “新一代人工智能”、北京冬奧會等數十個國家級重大項目的檢驗，融媒體領域豐富的研究實踐經驗和高層次的技術水平為中科聞歌的智慧中臺解決方案提供了有力保障。此次智慧中臺項目由新華社和中科聞歌聯(lián)合孵化，組建了研發(fā)團隊、算法團隊、CV團隊、研究團隊、用戶團隊以及產品團隊，共同研究各類中臺和擴展性應用的定位和目標市場，面向媒體行業(yè)輸出一套智能全媒體信息創(chuàng)新思路，提供基于主流媒體算法相關的包含政策、資訊、運營等在內的定制化服務。項目雙方在方法論、標準體系、組織機制、運營體系、評價體系、技術平臺和產品工具幾方面持續(xù)研究，推動新型全媒體機構數字化轉型能力提升的中臺戰(zhàn)略性工程，形成了“2服務6中臺”建設模式：圖 25： “2服務6中臺”整體建設內容智慧中臺解決方案統(tǒng)籌新華社全量媒體資源此次新華社和中科聞歌搭建的智慧中臺，基于中科聞歌自研”天湖“數據智算平臺的數據處理能力，可以統(tǒng)籌超3億條文字、圖片、視頻形式的內容以及100余種算法資源，中臺存儲超過2.5PB媒體數據，涵蓋了60余個媒體場景，支撐了媒體融合生產、傳播、運營、數字化報道工作室、算法大賽、多模態(tài)知識搜索、領域知識體系建設等創(chuàng)新應用，進一步實現(xiàn)了以下價值成果：1）實現(xiàn)了新華社內資源開放互通：通過智慧中臺充分調動了新華社各部門專業(yè)人才、內容生產、行業(yè)研究、領域調研、行業(yè)合作資源間的協(xié)同配合與高效復用；2）搭建了各領域完善的知識體系：通過智慧中臺研究推進了知識融合方法、標準、工具和機制，不斷吸納融合構建通用知識和領域知識，通過媒體大數據與多源異構數據的萃取、分析與知識處理算法與技術，沉淀了如人物知識、事件知識、核心報道知識、政策法規(guī)知識、內容安全知識等，作為數字化轉型和數據業(yè)務化、業(yè)務數據化的基礎，充分發(fā)揮數據要素化、數據資產化對創(chuàng)新生產方式、傳播形式、產品形態(tài)、服務樣態(tài)的作用；3）構建了新華社內外多方創(chuàng)新協(xié)同機制：圍繞用戶和場景衍生服務，通過智慧中臺構建產品服務創(chuàng)新的孵化機制，創(chuàng)新構建全媒體產業(yè)鏈價值評估、流通和分配機制，促進全員媒體、全程媒體、全息媒體、全效媒體有效協(xié)同，圍繞用戶和場景推進“新聞+政務服務商務”創(chuàng)新產品和服務模式試點。在媒體領域、大數據領域、人工智能領域的技術和人才積累是智慧中臺建設的有力支撐，是建成、建好此次融媒體智慧中臺的核心要素?；谥锌坡劯枞诿襟w領域的成熟產品體系，“天湖”數據智算平臺支撐了整個智慧中臺各類數據的匯聚、處理，知識圖譜、數據標注等成熟的AI產品為知識加工提供了智能、快速的技術平臺；媒體、國際關系、人工智能等領域專家對智慧中臺的領域知識數據進行收集、梳理、歸類，形成領域知識體系，為中臺的業(yè)務化、智能化運行提供了知識體系保障。 |
在產品營銷業(yè)務過程中，可運用大數據技術和科學算法，廣發(fā)收集和分析線上社交媒體平臺和電商平臺的用戶數據，迅速捕捉市場趨勢和消費者需求，挖掘潛力趨勢，輔助產品營銷決策。
| 案例10：安利（中國）研發(fā)中心打造智能營銷產品創(chuàng)新平臺，實現(xiàn)產品創(chuàng)新亮點挖掘安利（中國）研發(fā)中心成立于2004年12月，是安利全球研發(fā)部門的重要組成部分。安利全球研發(fā)團隊在全球健康領域擁有超過50年的領導者地位，中國研發(fā)基地主要負責新概念研究、毒理研究、配方設計、產品功效驗證、臨床試驗、消費者洞察等。多學科多交叉點的結構以及與全球產品團隊合作的氛圍，讓安利（中國）研發(fā)中心的研發(fā)力量在業(yè)內名列前茅。消費者反饋評價和市場熱點趨勢都是各類型消費品研發(fā)過程中的重要參考因素。安利（中國）研發(fā)中心以往通過消費者調研、桌面分析以及專家意見等調研方式了解用戶評價和市場關注點，這樣的傳統(tǒng)調研方式存在調研結果紛繁復雜、調研周期長、投入資金成本和人力成本高等諸多痛點。基于內部分析討論和綜合判斷，安利（中國）研發(fā)中心期望通過運用更高效更系統(tǒng)的大數據手段了解消費者市場，協(xié)助安利深入了解當下消費者使用保健食品時關注的具體功效和原料成分等概念元素，降低創(chuàng)新戰(zhàn)略階段的調研成本，為產品研發(fā)創(chuàng)新高效賦能。安利（中國）研發(fā)中心認為，基于大數據的產品創(chuàng)新解決方案需要具備以下條件：1）解決方案可以借助大數據能力，運用科學算法，全面迅速捕捉市場趨勢和消費者需求，自動發(fā)掘新興潛力趨勢，為研發(fā)人員提供更多創(chuàng)新靈感。2）其次，解決方案可以通過對社媒、電商等數據的廣泛收集和分析，深度挖掘具備潛力的產品創(chuàng)新機會在市場中的綜合情況，輔助決策下一步行動。3）最后，通過此次項目可以總結出科學可行的產品創(chuàng)新研究方法論和研究體系，以支持后續(xù)產品創(chuàng)新研發(fā)過程。基于以上考慮因素，安利（中國）研發(fā)中心最終選擇與數說故事共同搭建智能營銷產品創(chuàng)新平臺。數說故事成立于2015年，員工800+人，60%+為大數據和AI研發(fā)團隊，在“認知AI”領域占據領先地位。公司構建了從數據收集、處理、分析、建模到商業(yè)應用的全價值鏈解決方案，完整覆蓋產品創(chuàng)新、品牌營銷、內容營銷、渠道銷售、用戶運營、風險預警、投資顧問等豐富的商業(yè)場景，幫助10+行業(yè)的500+頭部企業(yè)完成營銷數字化轉型。安利智能營銷產品創(chuàng)新平臺，精準匹配產品創(chuàng)新趨勢洞察需求數說故事憑借對安利（中國）研發(fā)中心工作內容的深入了解和訴求解讀，設計了在產品研發(fā)階段可以高效洞察市場趨勢和創(chuàng)新點的解決方案，該解決方案主要運用了自有產品數說雷達進行智能營銷產品創(chuàng)新系統(tǒng)的構建，主要包括創(chuàng)新趨勢發(fā)現(xiàn)和創(chuàng)新趨勢研究兩個業(yè)務方向：圖 26： 安利智能營銷產品創(chuàng)新平臺架構創(chuàng)新趨勢發(fā)現(xiàn)主要由趨勢榜單來體現(xiàn)，通過對品類、趨勢類型和推薦指數的判斷和篩選進一步形成趨勢榜單，趨勢榜單由上升指數、熱度指數、萌芽榜單等模塊組成。創(chuàng)新趨勢研究方向下主要實現(xiàn)趨勢洞察功能，通過對榜單維度的進一步篩選，形成了趨勢概覽（社交媒體聲量趨勢、店鋪SKU分布、情感分布、產品趨勢、同類品牌對比等）、人群和場景洞察（性別、年齡、地域、時間等）以及使用反饋（滿意度表現(xiàn)、情感表現(xiàn)、正負向詞云）發(fā)現(xiàn)產品創(chuàng)新趨勢及熱點。安利智能營銷產品創(chuàng)新系統(tǒng)的工作路徑具體分為6個步驟：第一步，數據構建。通過社媒（微博、微信、新聞、論壇、小紅書、抖音等）和電商（天貓、京東）等公開渠道和合作渠道，大范圍持續(xù)收集產品原料、功效、銷量、用戶反饋等維度的實時合規(guī)數據，為概念識別、分類、挖掘、分析打造良好的數據基礎。第二步，概念識別。安利智能營銷產品創(chuàng)新系統(tǒng)在落地前憑借過往數據構建了行業(yè)庫，行業(yè)庫內實現(xiàn)各層級模塊細分，例如蛋白類下有植物蛋白模塊和動物蛋白模塊，運用概念識別模型根據安利（中國）研發(fā)中心需要的植物蛋白成分類別剔除非核心的動物蛋白概念數據。接著運用關系識別算法，對數據進行二次采集和篩選，盡可能的保留植物蛋白相關實時數據。然后通過訓練趨勢識別算法判斷產品成分、功效的熱門程度，在原料、成分、功效、科技、工藝等偏產品研發(fā)創(chuàng)新的維度進行概念升級和處理。第三步，概念分類。通過算法模型對已經識別出的維度進行分類，幫助產品研發(fā)中心快速識別當下植物類產品的熱門話題維度和創(chuàng)新維度。第四步，概念挖掘。通過算法模型實現(xiàn)概念挖掘，參考權威機構和企業(yè)發(fā)布的產品榜單或正在討論的創(chuàng)新產品原料、成分、功效概念。第五步，概念分析。深度分析社媒、電商平臺里消費者反饋的當前趨勢，包括各類型植物類產品的銷量和使用效果評價，綜合消費者偏好及關注點，運用口碑評估體系評估產品成分及功效，從而給予安利（中國）研發(fā)中心產品原料、成分、功效的前期評估參考。第六步，知識積累。智能營銷產品創(chuàng)新系統(tǒng)識別出當下產品的市場趨勢后，運用知識圖譜技術持續(xù)形成行業(yè)底層知識積累，知識圖譜會隨著產品熱點和創(chuàng)新點的出現(xiàn)持續(xù)更新，以便研發(fā)人員或審查人研究人員在瀏覽產品知識或信息時能夠快速擴展其他知識類別，為產品創(chuàng)新提供更多靈感來源。以上6個步驟實現(xiàn)智能營銷產品創(chuàng)新系統(tǒng)的協(xié)助工作，為安利（中國）研發(fā)中心產品研發(fā)創(chuàng)新高效賦能。安利智能營銷產品創(chuàng)新系統(tǒng)讓產品研發(fā)前期調研覆蓋更廣、效率更高安利（中國）研發(fā)中心與數說故事共建的智能營銷產品創(chuàng)新解決方案覆蓋數據范圍廣泛、維度多樣，有效降低調研階段人工投入成本，并為創(chuàng)意戰(zhàn)略階段持續(xù)賦能。1）智能營銷產品創(chuàng)新解決方案采集到的數據覆蓋范圍廣泛、維度多樣，在遍及用戶生活的社交媒體和眾多電商平臺上實時采集產品原料、成分、功效、銷量等維度評價，前期調研的廣度和速度得到優(yōu)化。2）智能營銷產品創(chuàng)新系統(tǒng)可釋放大量人力價值，免除低效人工識別工作。產品研發(fā)支持系統(tǒng)實現(xiàn)了超過85%的實體識別準確率，免除了大量人工挑選的低效工作，實體識別算法還可隨市場發(fā)展實時優(yōu)化，持續(xù)發(fā)現(xiàn)和挖掘產品熱點。通過算法自動識別新詞，從而發(fā)現(xiàn)產品研發(fā)創(chuàng)新方面的未來趨勢。3）智能營銷產品創(chuàng)新解決方案可為產品創(chuàng)新提供衍生知識參考，產品研發(fā)支持系統(tǒng)可為核心概念持續(xù)鏈接衍生知識，進而形成網狀結構的知識圖譜，提高了知識的關聯(lián)探索能力，在前期創(chuàng)意戰(zhàn)略階段，為實現(xiàn)要素重組提供豐富的靈感。強有力的大數據技術+科學可行的研究方法論+精準的項目訴求解讀=成功的智能營銷產品創(chuàng)新解決方案此次安利智能營銷產品創(chuàng)新項目的成功是建立在扎實的數據能力、科學可行的研究方法論和精準的項目訴求解讀基礎上的。在大數據技術層面，數說故事提供的產品基礎數據能力扎實，數據采集能力和算法能力優(yōu)勢明顯，能夠為產品創(chuàng)新研發(fā)系統(tǒng)提供持續(xù)穩(wěn)定的信息采集技術。在產品創(chuàng)新研究方法論層面，此前合作的植物原料研究思路和此次產品創(chuàng)新解決方案思路一致，安利（中國）研發(fā)中心和數說故事探討出研究方法論科學可行，只需將一次性的研究報告進一步升級成實時可用的智能營銷產品創(chuàng)新系統(tǒng)，可為安利（中國）研發(fā)中心全線產品提供更全面更廣泛的研究支持。在項目訴求解讀方面，安利（中國）研發(fā)中心在過往研究項目中與數說故事建立了良好合作關系，熟悉了彼此的工作風格及具體訴求，讓安利對數說故事建立了較高的認可度，有效降低了此次項目的前期溝通成本。 |
在醫(yī)療領域，可運用人工智能影像技術和醫(yī)療大數據管理技術輔助癌癥篩查工作，覆蓋更多篩查人群，提高癌癥篩查效率，降低人工篩查成本。醫(yī)療大數據管理技術有效幫助相關部門實現(xiàn)數據管理，數據互通共享，輔助實現(xiàn)健康決策，同時為后續(xù)的醫(yī)學大數據研究打下堅實的基礎。
| 案例11：“AI健康地圖”助力構建浙江省癌癥篩查信息平臺浙江省腫瘤防治辦公室從屬浙江省腫瘤醫(yī)院，浙江省腫瘤醫(yī)院始建于1963年，是新中國成立最早的四所腫瘤醫(yī)院之一, 是中國科學院首個以腫瘤醫(yī)學為主要研究方向的專業(yè)研究機構，集腫瘤預防、醫(yī)療、科研、教學、康復于一體，承擔著國家腫瘤防治重任，在全國的腫瘤防治工作中發(fā)揮著龍頭作用。2016年中共中央及國務院印發(fā)了《“健康中國2030”規(guī)劃綱要》，明確指出對慢性病實施綜合防控戰(zhàn)略：“強化慢性病篩查和早期發(fā)現(xiàn)，針對高發(fā)地區(qū)重點癌癥開展早診早治工作，推動癌癥、腦卒中等慢性病的機會性篩查?；緦崿F(xiàn)高血壓、糖尿病患者管理干預全覆蓋，逐步將符合條件的癌癥、腦卒中等重大慢性病早診早治適宜技術納入診療常規(guī)。到2030年，實現(xiàn)全人群、全生命周期的慢性病健康管理，總體癌癥5年生存率提高15%?！闭憬∧[瘤防治辦公室和疾控中心為響應《“健康中國2030”規(guī)劃綱要》 “全民健康 共建共享”的戰(zhàn)略目標，計劃通過早篩查、早診斷、早治療惡性疾病的方式來降低人群疾病負擔。然而傳統(tǒng)人工篩查癌癥方式存在眾多痛點：傳統(tǒng)篩查方式依賴人工填寫各類文書，篩查效率低，工作人員篩查成本較高；癌癥篩查涉及的人群數量龐大，數據管理難度較大；從事腫瘤防治的一線工作人員缺乏專業(yè)的篩查系統(tǒng)等?；谝陨峡紤]，浙江省腫瘤防治辦公室尋求人工智能影像和醫(yī)療大數據管理技術輔助進行早期癌癥篩查工作，通過可行性研究和對技術方案的評選，最終選擇了深睿醫(yī)療作為合作伙伴。深睿醫(yī)療深耕智慧醫(yī)療領域，致力于通過人工智能“深度學習”技術及自主研發(fā)的核心算法為國內外醫(yī)療機構提供人工智能和互聯(lián)網醫(yī)療解決方案。其研究院國內外學術領域成果突出，累計影響因子超1200，獲得了700多個專利及軟著，顱內動脈瘤自動化分割與檢測方向的科研成果被Nature Communications (IF 17.694)收錄。深睿醫(yī)療牽頭參與了7項科技部重點研發(fā)計劃，9項國家自然科學基金， 30多個省市級科研項目，2021年深睿醫(yī)療與國內多家知名醫(yī)療機構聯(lián)合申報成功4個國家自然項目。今年，深睿醫(yī)療牽頭或參與的6個項目上榜工業(yè)和信息化部和國家藥品監(jiān)督管理局公示的人工智能醫(yī)療器械創(chuàng)新任務揭榜單位名單“AI健康地圖”推動腫瘤篩查工作流程完善、篩查信息統(tǒng)一管理“AI健康地圖”推動腫瘤篩查工作流程重塑。為響應浙江省數字化改革的號召，浙江省腫瘤防治辦公室在2020年開始著手腫瘤篩查平臺的打造，并對腫瘤篩查業(yè)務流程進行重塑，包括風險人群入組、評估/初篩、精準篩查、隨訪等完整的篩查流程，并超前考慮到所有與腫瘤防治相關的所有參與單位，包括政府主管部門、各地腫瘤防辦、定點醫(yī)院、社區(qū)醫(yī)院?！癆I健康地圖”實現(xiàn)全省腫瘤篩查一盤棋。目前浙江省腫瘤篩查平臺已接入了130個管理機構、292個篩查機構、1423個招募機構（超90%的浙江省社區(qū)醫(yī)院），形成了一套組織嚴密的腫瘤篩查網絡，可以持續(xù)開展不同腫瘤的大規(guī)模篩查。浙江省腫瘤篩查平臺包括3類終端（醫(yī)生電腦端/醫(yī)生移動端/居民移動端）、30個高頻應用（包括受試者招募、篩查項目預約、腫瘤篩查、隨訪等篩查全鏈路環(huán)節(jié)的一體化服務功能）、N個腫瘤篩查模塊（結直腸癌篩查/肺癌篩查/上消化道癌篩查）浙江省腫瘤篩查平臺的功能模塊有系統(tǒng)管理（機構管理/用戶和權限管理/登錄管理/行政區(qū)劃管理/系統(tǒng)幫助）、任務管理（公告管理/待辦事項管理/任務管理）、受試者管理（受試者信息總覽/受試者查詢/受試者信息導出）、目標人群管理（新增目標人員/修改目標人員/導入目標人群）、評估管理（評估資格審核/知情同意書管理/問卷管理/評估結果展示）、檢驗管理（檢驗耗材管理/檢驗結果錄入/檢驗狀態(tài)追蹤）、預約管理（檢查預約/簽到管理/動員管理/放號管理）、篩查管理（篩查結果錄入/篩查結果查詢/篩查狀態(tài)追蹤/AI影像輔助診斷）、隨訪管理（隨訪錄入/隨訪提醒/隨訪結果管理/隨訪查詢）、數據管理（數據駕駛艙/業(yè)務指標統(tǒng)計/數據使用管理/數據導出）等30個應用模塊。憑借“AI健康地圖”，浙江省腫瘤篩查工作實現(xiàn)效率躍升AI健康地圖”可篩查不同病變階段的患者，有效節(jié)約醫(yī)藥費用。截止到浙江重點人群結直腸癌篩查項目累計完成風險評估和便潛血檢查（FIT） 4,58余萬人，結腸鏡檢查近30萬例，篩查出結直腸癌3,110人，進展期腺瘤31,947人，非進展期腺瘤57,306人。通過信息平臺及早救治了1000多名患者，節(jié)省群眾的醫(yī)藥費用、減輕群眾的負擔，為醫(yī)保節(jié)約費用28億多元?！癆I健康地圖”可對潛在癌癥人群進行提示和預警。篩查項目在實現(xiàn)了結直腸癌的早期診斷，還對處于“早早期”的結直腸癌進行了提示和預警，臨床的提前干預直接將癌癥扼殺在萌芽之中。截止目前浙江省重點人群結直腸癌篩查項目累計完成風險評估和便潛血檢查（FIT）近460萬人，篩查出結直腸癌3,110人及近９萬處于早期病變不同階段的患者?！癆I健康地圖”可促進癌癥篩查和早診早治一體化及標準化。癌癥篩查信息平臺通過實現(xiàn)省域內信息統(tǒng)一接入與管理，使篩查數據實現(xiàn)高效質控、互聯(lián)互通及便捷共享，為浙江省后續(xù)癌種、區(qū)域的拓展及醫(yī)學大數據研究打下堅實的基礎?！癆I健康地圖”可賦能疾病預防控制和健康決策。癌癥篩查信息平臺內沉淀了大量的區(qū)域癌癥篩查數據，可通過人工智能技術對醫(yī)療大數據進行治理及智能分析，最終賦能疾控和健康決策。通過“AI健康地圖”腫瘤防治工作實現(xiàn)了模式創(chuàng)新、技術創(chuàng)新和場景創(chuàng)新此次癌癥篩查平臺搭建過程中實現(xiàn)了產學研用相結合，創(chuàng)新性地應用了人工智能技術，提高了居民癌癥篩查參與率，實現(xiàn)了疾病診斷關口前移，在腫瘤防治工作層面實現(xiàn)了模式創(chuàng)新、技術創(chuàng)新和場景創(chuàng)新。1）模式創(chuàng)新：實現(xiàn)篩查業(yè)務數字化流轉，減少工作人員從的重復工作，加速項目推進，提升篩查信息管理效率；腫瘤篩查遵循浙江省統(tǒng)一的篩查技術方案，實現(xiàn)從省級到地市到區(qū)縣的統(tǒng)一，擁有一致的工作流程和標準規(guī)則；針對不同腫瘤篩查設計專門的統(tǒng)計指標，通過對比分析各類指標在全省各篩查單位的差異程度，可幫助管理機構及時指導篩查機構進行整改，有效保證各癌種的篩查質量。2）技術創(chuàng)新：充分運用5G、云計算、AI等先進的新興技術，構建全省乃至全國獨樹一幟的智能腫瘤篩查云，可以支撐全省不斷開展各種不同腫瘤的大規(guī)模人群篩查；采用AI與云計算結合的技術，居民做完檢查后影像可自動轉發(fā)至云端，并通過影像AI技術自動計算篩查結果，篩查準確性相當于中高年資醫(yī)生水平。AI分析結果按篩查要求自動回填醫(yī)生診斷所需填寫的字段內容，極大節(jié)省篩查診斷醫(yī)生的閱片錄入數據的工作量。3）場景創(chuàng)新：創(chuàng)新應用醫(yī)生移動端篩查，方便醫(yī)務工作者在人民群眾家門口開展腫瘤篩查工作。靈活支持高風險人群在日常就醫(yī)過程中隨時參與腫瘤機會性篩查，進一步拓寬腫瘤篩查渠道，增強腫瘤篩查的人群覆蓋面。對于重點風險人群及家屬，支持線上參與腫瘤篩查，廣泛提升居民對腫瘤防治的知曉率和參與度。 |
當前，出于政策合規(guī)、采購習慣和認知等方面的原因，中國企業(yè)尤其是中大型企業(yè)對于公有云的采納進展仍處于早期，但基礎設施上云的趨勢仍在穩(wěn)步推進。未來，隨著基礎設施上云，基于云上的數據分析和應用，以及跨組織、跨區(qū)域的數據共享和消費是值得關注的趨勢。
同時，隨著區(qū)塊鏈、隱私計算等技術的滲透，政策對于數據要素流通的倡導，以及數據資產定價機制的探索，相關基礎設施將逐步走向成熟，為數據要素的高效流通和應用、釋放更大的價值帶來可能
