ODS（Operational Data Store，操作性數據存儲）的概念最早是由“數據倉庫之父”Bill Inmon提出的。Bill Inmon認為，業務應用環境中的數據經過轉換和整合進入ODS，提供了一種全局的、集成的和即時的企業操作視圖，能夠支持企業及時性的決策需求，同時，能夠在分散的業務系統和支撐決策分析的數據倉庫之間構建一個緩沖，使得數據之間的轉換變得相對簡單和可控。

        而Kimball（Ralph Kimball是數據倉庫和商務智能領域的權威專家）認為ODS在兩種情況下是需要的：第一種情況是提供操作型報表，這些報表需要提供面向主題的、集成的數據，所以操作型的源系統無法提供；另外這些報表和數據倉庫中的報表也不相同，因為它們可以是一些定制好的、寫死在程序中的報表。第二種情況是需要提供實時的信息時，由于EDW的更新頻率一般都是24小時，而用戶會有更急切的需求來了解數據源的信息，這時，建立操作數據存儲是很有必要的。

        ODS是企業數據架構中最為復雜的一種形態，既要滿足數據事務操作要求，又要滿足數據分析要求，因此ODS系統的建設也是一項具有挑戰性的工作。根據數據刷新實時性的不同，ODS系統可劃分為以下幾類：Ⅰ類ODS：數據延遲為1～2秒，實時或近似實時；Ⅱ類ODS：數據延遲為2～4小時；Ⅲ類ODS：數據延遲為12～24小時。目前，國內保險業ODS需求基本均為Ⅲ類ODS系統。數據延遲時間越短，ODS建設難度和成本越高，但是，實時性可以為企業決策提供最為及時的分析數據。所以，如何高效地對海量數據的變化進行及時的捕捉、采集并加載到ODS系統是問題的關鍵。在國內已經在運行的ODS系統中，Ⅰ類ODS幾乎很難看到。

系統功能和目標

        隨著數據量的增長以及對數據質量要求的提升，單純的OLTP（聯機事務處理系統）查詢已經無法滿足保險業務對數據的使用需求。監管報送、統計分析、決策支持、業務拓展等管理類系統在原數據中心體系下暴露出各種問題，如：業務系統間處理過程不一致、相同或相近功能重復建設、管理標準不統一、應用分析需要來自多個業務系統的數據做支撐等等。為解決上述問題，實現跨部門、跨業務系統數據的集中和共享，提供準確一致、統一且標準化的數據服務，并實現有效的數據質量監控與檢查，ODS系統的建設，顯得愈加重要和迫切。保險ODS 系統具備以下功能。

        • 統一規范操作數據模型，整合已有數據，建設統一的數據交換及處理平臺。

        • 建立一體化的數據服務機制，實現數據服務的提供、管理、發布和使用功能，支持技術擴展和業務應用的快速判斷。 

        • 減少各業務系統數據之間的傳輸環節，提高數據使用效率，實現業務數據的主題維度規劃，提高數據共享效率。

        • 統一實施共性的數據加工活動，減少基礎設施應用的重復開發，提高整體實施效率，降低整體開發成本。

        保險ODS系統的功能如下：

        • 隔離業務系統和應用系統，降低數據交換的復雜性和風險。

        • 轉移部分業務系統細節查詢的功能,減輕業務系統的查詢訪問壓力。

        • 全面覆蓋各業務系統，形成統一優質的數據中心。

        • 建立數據標準，提供統一的業務數據口徑。

        ODS系統的ETL處理平臺其目標是形成一個數據交換中心，對于各個業務系統間批量數據的交換，不再由各數據的需求方系統直接連接數據供應方的數據庫去取得，各個業務系統可以直接向ODS系統數據處理平臺供數,或者ODS數據可以主動從各個業務系統做數據采集（存量數據采集和增量數據采集）。后期由ODS系統統一向各個應用分析系統（如EDW，ECIF，BAS等）提供接口數據支撐，無需數據應用分析系統從各個業務系統中采集數據。這樣將系統間數據交換的網狀模式，改為星形模式，減少了系統間數據耦合度，并為將來進行企業級的元數據統一及管理提供基礎平臺。

        作為企業的數據總線，ODS每日采集各業務系統源數據，加載到ODS，進入下一個處理環節。在管理歷史數據的同時，對數據進行標準化處理和匯總加工，構建統一數據模型，支持各類集市與應用。各業務部門可按權限共享使用全部業務數據，為業務拓展、管理分析、決策支持提供豐富、統一的數據支持。

        ODS系統在業務系統和應用分析系統（EDW、ECIF、BAS、CRM等）間形成一個隔離層。在ODS建設之前，大量的報表、分析是由業務系統直接支持的，但一些比較復雜的報表生成過程中，對業務系統的運行產生相當大的壓力。ODS的數據從粒度、組織方式等各個方面都保持了與業務系統的一致，那么原來由業務系統產生的報表、細節數據的查詢自然能夠在ODS中進行，從而降低業務系統的查詢壓力。

 1 2 3 4 下一頁 尾頁

掃碼即可手機
閱讀轉發此文