資料生命週期
資料通常被視為靜態的東西,輸入資料庫並稍後查詢。但在許多環境中,資料實際上更類似於裝配線中的產品,從一個環境移動到另一個環境並且在此過程中正在進行轉換。
https://i.stack.imgur.com/h4tDL.jpg
■OLTP:線上事務處理
■DSA:資料暫存區域
■DW:資料倉儲
■BISM:商業智慧語義模型
■DM:資料探勘
■ETL:提取,轉換和載入
■MDX:多維表示式
■DAX:資料分析表示式
■DMX:資料探勘擴充套件
線上交易處理
資料最初輸入到線上事務處理(OLTP)系統中。OLTP 系統的重點是資料輸入,而不是報告 - 事務主要是插入,更新和刪除資料。但是,OLTP 環境不適合報告目的,因為規範化模型通常涉及具有複雜關係的許多表(每個實體一個)。即使是簡單的報告也需要連線多個表,導致查詢複雜且效能不佳。
資料倉儲
資料倉儲(DW)是專為資料檢索和報告目的而設計的環境。當它服務於整個組織; 這樣的環境稱為資料倉儲; 當它僅服務於組織的一部分或組織中的主題領域時,它被稱為資料集市。資料倉儲的資料模型的設計和優化主要是為了支援資料檢索需求。與 OLTP 環境相比,該模型具有有意冗餘,更少的表和更簡單的關係,最終使查詢更簡單,更高效。
從源系統(OLTP 和其他系統)提取資料,運算元據並將其載入到資料倉儲中的過程稱為提取,轉換和載入,或 ETL。
ETL 過程通常涉及在 OLTP 和 DW 之間使用資料暫存區域(DSA)。DSA 通常駐留在關聯式資料庫(如 SQL Server 資料庫)中,並用作資料清理區域。DSA 不向終端使用者開放。
商業智慧語義模型
商業智慧語義模型(BISM)是 Microsoft 支援整個 BI 堆疊應用程式的最新模型。我們的想法是提供豐富,靈活,高效和可擴充套件的分析和報告功能。其架構包括三層:
- 資料模型
- 業務邏輯和查詢
- 資料訪問
模型的部署可以在 Analysis Services 伺服器或 PowerPivot 中。使用 Analysis Services,你可以使用多維資料模型或表格(關係)資料模型。使用 PowerPivot,你可以使用表格資料模型。
業務邏輯和查詢使用兩種語言:基於多維概念的多維表示式(MDX)和基於表格概念的資料分析表示式(DAX)。
資料訪問層可以從不同的源獲取其資料:關聯式資料庫,如 DW,檔案,雲服務,業務線(LOB)應用程式,OData 源等。資料訪問層可以在本地快取資料,也可以直接從資料來源充當傳遞層。
BISM 為使用者提供了所有可能問題的答案,但使用者的任務是提出正確的問題 - 從資料海洋中篩選出異常,趨勢和其他有用資訊。
資料探勘
資料探勘(DM)是下一步; 資料探勘模型可以為使用者執行此操作,而不是讓使用者在資料海洋中查詢有用資訊。也就是說,資料探勘演算法梳理資料並從中篩選出有用的資訊。用於管理和查詢資料探勘模型的語言是 Data Mining Extensions(DMX)
。