行業(yè)
金融服務
公司背景
Citigroup擁有全世界最大的零售銀行，根據(jù)用戶的財務需求為其量身定做專業(yè)的解決方案。Citigroup在德國擁有近300個分支機構(gòu)。該銀行隸屬于Citigroup—-世界上最大的金融服務提供商，在五大洲的超過100個國家設有辦事機構(gòu)，擁有275，000名雇員和2億用戶。Citigroup在其德國的零售銀行部門雇用了超過5900名員工，并擁有3百萬用戶。
歷史數(shù)據(jù)不再沉睡
大約在兩年以前，由于法律的變更和對數(shù)據(jù)保存需求的不斷加大，Citigroup 全球市場部需要重新審視其在德國的數(shù)據(jù)保留政策。所有部門都被要求分析自身的業(yè)務流程并確定哪些數(shù)據(jù)需要被存儲起來以備將來的管理需求、這些數(shù)據(jù)的保留時限、需要訪問數(shù)據(jù)的級別。數(shù)據(jù)保留期限因數(shù)據(jù)類型不同而定，交易、財務報表、客戶帳務數(shù)據(jù)、信用報告等等都會有不同的時限。例如，人力資源數(shù)據(jù)需要保存30年，而交易信息只需保存10年。以每天12,000筆證券交易量計，可以很方便地估算出多年的數(shù)據(jù)量將是如何的巨大。
更嚴格的法律約束
政府及行業(yè)管理機構(gòu)總是不斷地對公司的存檔管理人員提出新的要求。公司全球管理運營模式也不斷向著集中化方向發(fā)展。而數(shù)據(jù)保存策略對于以上這些要求而言是至關(guān)重要的。
Sarbanes-Oxley Act (SOA) 法案，于2002年7月在美國通過，在此之前的會計丑聞對此起了推動作用。SOA用于保護上市公司的投資者，避免其利益被公司管理人員的欺詐行為所損害。這個法案將更仔細地監(jiān)控相關(guān)的證券交易數(shù)據(jù)，同時必須在規(guī)定的時限內(nèi)保存，而且在需要的時候還必須可以快速恢復并被訪問。
專家一致認為Sarbanes-Oxley法規(guī)將產(chǎn)生新的國際標準，并對全球公司治理模式帶來影響。這個法律最基本的條款同時還覆蓋那些在美國上市的公司的海外機構(gòu)。而且，通?？梢约僭O如果必要的話那些大的審計機構(gòu)可以對公司使用更嚴格的標準，而SOA并未直接提供這些標準。在同一時間，歐洲也頒布了類似的法律。
其實無論有無這些法規(guī)，Bundesanstalt für Finanzdienstleistungsaufsicht (BAFin ?C German Financial Supervisory Authority，德國金融監(jiān)管局) 和其它監(jiān)管機構(gòu)對于數(shù)據(jù)保存已有極為嚴格的政策。尤其在2001年9月11日后頒布了一些新的規(guī)定，例如：一些國家要求保留過去3到4年的貿(mào)易和交易的紀錄。稅務機關(guān)同時要求公司不僅保存很長時間的財務數(shù)據(jù)，還要同時保存生成資產(chǎn)負債表的原始數(shù)據(jù)，以便將來審計。最后，法院亦保護投資者獲得過去發(fā)生的交易行為信息的權(quán)利。所有這些法規(guī)對于不同類型的數(shù)據(jù)的保留期的要求都不盡相同。
當過去的交易被記錄下來后，數(shù)據(jù)不斷地累積起來。當數(shù)據(jù)保留時間越來越長時，對于存儲空間的需求也變得永無止境。如果存儲的文件僅僅是簡單的堆放在一起，這還不是什么大問題。然而，現(xiàn)在不斷涌現(xiàn)的需求是要能夠快速恢復歷史數(shù)據(jù)以便于在線訪問。同時這意味著不僅僅是單據(jù)、合同和人力資源文檔等，還包括日常業(yè)務數(shù)據(jù)—-e-mails、業(yè)務系統(tǒng)產(chǎn)生的交易數(shù)據(jù)、股票交易雙方通信往來信息和更多的數(shù)據(jù)都要被很好地管理起來。這個過程將產(chǎn)生海量的數(shù)據(jù)，而且還要確保能夠快速恢復數(shù)據(jù)，并在線獲得特定的信息。
修正的數(shù)據(jù)保留政策
“這就是Citigroup需要一個全新的存檔管理系統(tǒng)的原因?！?，Szafran Athey說, 他是集團第一副總裁兼 CitiTech Frankfurt總經(jīng)理(Citigroup中專門提供IT服務的部門)?！斑^去使用的方式可以滿足以前的需求，如書面文件存檔、數(shù)據(jù)庫摘錄和磁帶連續(xù)備份文件等。然而由于數(shù)據(jù)規(guī)模不斷增長、保留期限越來越長和檢索要求越來越快，原來的方法已不堪重負，而且安全地保存?zhèn)浞荽艓馁M大量人力物力，所以成本會十分高昂。對于數(shù)據(jù)查詢同樣如此，如果要查詢幾年前的數(shù)據(jù)，那么由于軟件系統(tǒng)和硬件系統(tǒng)版本有可能升級，后臺系統(tǒng)的兼容性難以保證，將很難恢復這些數(shù)據(jù)。由于這個原因，我們不得不保存所有的軟件版本。以前是無法快速訪問特定歷史數(shù)據(jù)、的。用戶僅僅可以在磁帶上查詢一兩年前的數(shù)據(jù)，而且需要大量的時間。但在十年以上的數(shù)據(jù)中搜索特定信息是幾乎不可能的。”
基于法規(guī)的要求，Citigroup需要能夠快速提供歷史數(shù)據(jù)—-例如在過去4年中特定用戶的所有股票交易記錄，這可能意味著數(shù)千條的紀錄。實時業(yè)務系統(tǒng)本身一般僅僅在線存儲有限的交易數(shù)據(jù)，有可能最多6個星期的交易數(shù)據(jù)，而且已存檔的數(shù)據(jù)必須是可更改的，比如Citigroup在交易記錄存檔后發(fā)現(xiàn)交易有錯誤（例如錯誤的價格或副本），當然這種情況很少發(fā)生，但系統(tǒng)必須提供修正的功能。
Citigroup因此將面對這種快速定位和修改大量數(shù)據(jù)的挑戰(zhàn)，例如：像處理當前數(shù)據(jù)一樣處理存檔數(shù)據(jù)—-當然，由于性能的原因不能將這些歷史數(shù)據(jù)存儲在操作型數(shù)據(jù)庫中。因此無縫集成數(shù)據(jù)倉庫和交易型數(shù)據(jù)庫將是必要的步驟。
利用Sybase IQ實現(xiàn)歷史記錄存檔系統(tǒng)
Citigroup因此決定用動態(tài)存檔系統(tǒng)代替以前的靜態(tài)存檔系統(tǒng)。管理層選擇了Sybase IQ作為實施平臺。IQ入選的最重要的原因是，Szafran Athey說：“該產(chǎn)品使用的技術(shù)即使在針對海量數(shù)據(jù)的查詢操作中也能提供極短的響應時間，同時數(shù)據(jù)還可以以非常高的壓縮比進行高效的存儲?！眰鹘y(tǒng)的關(guān)系型數(shù)據(jù)庫是為了事務處理而優(yōu)化。當用戶執(zhí)行一個查詢時，是通過鍵值（索引）對應特定的行來選擇數(shù)據(jù)。
然而這將產(chǎn)生額外的開銷。由于每次都需要讀取整行的數(shù)據(jù)，反應時間將隨著數(shù)據(jù)量的增長而加長。Sybase IQ，另辟蹊徑，利用垂直存儲而不是以行為單位存儲。為了搜索特定的字段，無需搜索數(shù)據(jù)行，只需查找相關(guān)的數(shù)據(jù)列，這會使得數(shù)據(jù)訪問更加快捷。在每一個列上形成特定的索引，這樣可以減少由于分割索引帶來的問題。同時，數(shù)據(jù)也可以被更高效地壓縮存儲起來。
Szafran Athey 為此列舉了一些數(shù)字加以說明?！癈itigroup德國現(xiàn)在存儲著4年的交易數(shù)據(jù)，共計1320 萬條記錄。每一條記錄包括388 字節(jié)。在通常的SQL數(shù)據(jù)庫中，這些數(shù)據(jù)由于索引的冗余而膨脹到405字節(jié)。與此相反，Sybase IQ 數(shù)據(jù)庫僅僅用了208字節(jié)存儲同樣的信息，這意味著壓縮比為43%。我們的目標是利用Sybase IQ，使10年的交易數(shù)據(jù)可以隨時在線訪問?！?BR>
“盡管Sybase IQ存儲數(shù)據(jù)的方式大相徑庭，但它擁有和其它關(guān)系型數(shù)據(jù)庫一樣的應用程序接口。這一點也是我們決定購買它的重要因素?！?Szafran Athey說，“這意味著可以用SQL直接訪問數(shù)據(jù)。每一個應用程序因此可以無縫地訪問當前和歷史數(shù)據(jù)。用戶可以實時查詢存檔的數(shù)據(jù)，如果需要（例如發(fā)現(xiàn)錯誤），還可以將數(shù)據(jù)導出至關(guān)系型數(shù)據(jù)庫中（應用中使用ASE），修改數(shù)據(jù)并且在此將其歸檔。在交易數(shù)據(jù)庫中對交易記錄進行修改，可以跟蹤這些更改。歷史數(shù)據(jù)從此不再沉睡?！?BR>
成本節(jié)省還表現(xiàn)在其它方面，如業(yè)務部門的最終用戶現(xiàn)在可以自己訪問歷史數(shù)據(jù)，這在以前必須借助于IT部門的人員來完成。存檔的過程現(xiàn)在完全自動化了，符合復雜的存檔條件的數(shù)據(jù)將以天為基準，由ASE導出至IQ數(shù)據(jù)倉庫，這些條件包括：交易的期限、記錄被最后修改的時間、結(jié)算時間等。
更高質(zhì)量的查詢服務
在線歷史記錄存檔系統(tǒng)基本上是為了響應外部法規(guī)的需要而實施?！霸趯嶋H應用中，這些歷史記錄同時為我們促進業(yè)務打開了新的思路”，Szafran Athey說道。“明顯的例子是標準在線報表。以前，如果忘記或由于某種原因沒有作報表，用戶就無法在數(shù)據(jù)存檔以后，再利用這些數(shù)據(jù)生成報表。然而現(xiàn)在這已經(jīng)不成問題。大量新的分析應運而生，無需考慮由于時間和成本的因素必須立刻生成?；旧?，對過去活動的系統(tǒng)分析沒有任何的限制—-無論是統(tǒng)計、市場趨勢分析和客戶關(guān)系管理、或是流程自動化—-現(xiàn)在這些歷史數(shù)據(jù)可以被實時地在線分析?！?BR>
不僅如此，業(yè)界對“標記數(shù)據(jù)庫”的夢想已經(jīng)成為現(xiàn)實，該數(shù)據(jù)庫可以記錄一只股票在一個交易日中的所有價格變化。Szafran Athey說：“因為在這種情況下，將會產(chǎn)生大量的數(shù)據(jù)，我們現(xiàn)在只記錄日收盤價。然而，理論上現(xiàn)在的歷史記錄數(shù)據(jù)庫可以讓我們記錄長達一年，而不是僅僅一天的單只股票的日價格變動。這將為我們的業(yè)務和客戶增加價值?！?BR>
外部的需求也在水漲船高。監(jiān)管機構(gòu)知道現(xiàn)在可以要求公司去實現(xiàn)那些在以前無法實現(xiàn)的工作和流程，這多虧高技術(shù)的應用。而在線歷史記錄存檔系統(tǒng)將成為行業(yè)標準。
