什么是數據倉庫?
一、什么是數據倉庫
數據倉庫是一種面向商務智能 (BI) 活動(尤其是分析)的數據管理系統,它僅適用于查詢和分析,通常涉及大量的歷史數據。在實際應用中,數據倉庫中的數據一般來自應用日志文件和事務應用等廣泛來源。
數據倉庫能夠集中、整合多個來源的大量數據,借助數據倉庫的分析功能,企業(yè)可從數據中獲得寶貴的業(yè)務洞察,改善決策。同時,隨著時間推移,它還會建立一個對于數據科學家和業(yè)務分析人員極具價值的歷史記錄。得益于這些強大的功能,數據倉庫可為企業(yè)提供一個“單一信息源”。
一個數據倉庫通常包含以下要素:
一個用于存儲和管理數據的關系數據庫一個用于分析前數據準備的提取、加載和轉換 (ELT) 解決方案統計分析、報告和數據挖掘功能用于數據可視化和展現的客戶端分析工具其他更復雜的分析應用通過應用數據科學和人工智能 (AI) 算法或圖形和空間功能來生成切實可行的信息,從而支持對數據進行更多類型的大規(guī)模分析二、數據倉庫的優(yōu)勢
數據倉庫在高效分析大量不同的數據,提取數據價值并保留歷史記錄方面擁有獨一無二的強大優(yōu)勢。
數據倉庫之父兼計算機科學家 William Inmon 定義了數據倉庫的 4 大特征,這 4 大特征為數據倉庫的強大優(yōu)勢奠定了堅實基礎。根據定義,數據倉庫具有以下特點:
1、面向主題
數據倉庫可以高效分析關于特定主題或職能領域(例如銷售)的數據。
2、集成
數據倉庫可在不同來源的不同數據類型之間建立一致性。
3、相對穩(wěn)定
進入數據倉庫后,數據將保持穩(wěn)定,不會發(fā)生改變。
4、反映歷史變化
數據倉庫分析著眼于反映歷史變化。
一個精心設計的數據倉庫支持高速查詢、高數據吞吐量,能夠憑借出色的靈活性幫助用戶細分數據或降低數據量,進而執(zhí)行更加細致的數據檢查,滿足高層級和精細化數據管理等各種需求。同時,它還能為中間件 BI 環(huán)境(為最終用戶提供報告、儀表盤和更多其他界面)提供一個堅實的功能性基礎。
三、數據倉庫的架構
數據倉庫的架構取決于企業(yè)的需求。通用數據倉庫架構具有以下特點:
1、簡單
所有數據倉庫都采用同一基本設計,將元數據、概要數據和原始數據全部存儲在中央信息庫中。信息庫一端由數據源饋送信息,另一端則供最終用戶訪問,以便進行分析、報告和數據挖掘。
2、通過暫存區(qū)簡化數據準備
將操作型數據置入數據倉庫之前,必須首先進行清理和處理。這一步驟可通過編程方式完成,但很多數據倉庫會創(chuàng)建一個暫存區(qū)來簡化數據準備工作。
3、星型結構
通過在中央信息庫和最終用戶之間創(chuàng)建數據集市,企業(yè)可以對數據倉庫進行自定義,靈活滿足各種業(yè)務線的需求。換言之,準備就緒后,數據不會立即進入數據倉庫,而是會被移至適當的數據集市。
4、沙盒
沙盒可提供一個專有的安全區(qū)域,幫助企業(yè)快速、非正式地探索新的數據集或新的數據分析方式,而無需遵守或遵循數據倉庫的正式規(guī)則和協議。
四、數據倉庫的進化
數據倉庫首次出現于 20 世紀 80 年代末,其最初目的是幫助數據從操作系統“流入”決策支持系統 (DSS)。早期的數據倉庫需要大量冗余:大多數企業(yè)為了滿足各種用戶的需求而采用多個 DSS 環(huán)境,雖然各個 DSS 環(huán)境使用的數據大部分相同,但通常還是要分別執(zhí)行數據收集、清理和集成。
而后,隨著效率不斷提升,數據倉庫也從服務傳統 BI 平臺的信息存儲庫變成了服務一系列廣泛應用(例如運營分析和績效管理)的分析基礎設施。
如今,經過長期迭代,數據倉庫取得了長足的發(fā)展,企業(yè)級數據倉庫 (EDW)?能夠為企業(yè)創(chuàng)造越來越多的價值。
數據倉庫每發(fā)展進入一個新的階段,都離不開更多類型的數據集,最后三個階段尤其需要更廣泛的數據和分析功能。
如今,人工智能和機器學習正在深刻改變幾乎每一個行業(yè)和每一種服務與企業(yè)資產,數據倉庫自然也不例外。大數據的擴展和新興數字技術的應用正在推動數據倉庫的需求和功能發(fā)生變化。
自治數據倉庫就是這一發(fā)展進程的最新成果。它能夠盡可能降低成本,提高數據倉庫的可靠性和性能,助力企業(yè)從數據中汲取更多價值。
五、什么是云數據倉庫
云數據倉庫使用云技術來提取和存儲不同數據源的數據。
原始數據倉庫一開始是構建在本地服務器上?,F在,這些本地數據倉庫仍然擁有很多優(yōu)勢,在許多情況下可以提供更高的治理水平、安全性、數據主權以及較低延遲。然而,本地數據倉庫的彈性較低,需要企業(yè)通過復雜的預測來確定如何擴展數據倉庫,以滿足未來需求。另外,本地數據倉庫在管理上也非常復雜。
相比之下,云數據倉庫可提供以下優(yōu)勢:
提供彈性的可擴展支持,可滿足大型或可變計算或存儲需求簡單易用易于管理節(jié)約成本理想的云數據倉庫應當支持完全托管和自治駕駛,確保即使是初學者也只需數次單擊操作就能創(chuàng)建和使用數據倉庫。有一種簡單方法可以遷移到云數據倉庫,那就是在符合數據主權和安全要求的數據中心防火墻后面運行本地云數據倉庫。
此外,大多數云數據倉庫采用“按量計費”模式,可節(jié)省更多成本。
六、什么是現代數據倉庫
企業(yè)中不同用戶(例如 IT 部門、數據工程、業(yè)務分析和數據科學團隊的成員)對數據倉庫的需求各不相同。
現代數據架構可有效管理所有數據類型、負載和分析,滿足這些需求。它包含架構模式以及符合行業(yè)優(yōu)異實踐的必要集成組件?,F代數據倉庫包括:
融合數據庫,可簡化所有數據類型的管理并支持多種數據使用方法自助式數據提取和轉換服務支持 SQL、機器學習、圖形和空間處理多種分析選項,可輕松使用數據而無需移動數據自動化流程,可簡化供應、擴展和管理現代數據倉庫可高效簡化數據工作流,任何其他倉庫都無法企及。這意味著從分析師、數據工程師到數據科學家和 IT 團隊的每一個人都可以更加有效地開展工作和創(chuàng)新,從而推動企業(yè)發(fā)展,而不會發(fā)生不計其數的延遲和復雜性。
七、如何設計一個數據倉庫
在開始設計數據倉庫前,您首先需要明確業(yè)務需求,就業(yè)務范圍達成一致并擬定概念設計,然后為數據倉庫創(chuàng)建邏輯和物理設計。其中,邏輯設計關注對象之間的關系,物理設計則關注如何以優(yōu)異方式存儲和檢索對象。當然,物理設計還包含傳輸、備份和恢復流程。
任何數據倉庫設計都必須解決以下問題:
具體的數據內容各數據組內部及相互之間的關系支撐數據倉庫的系統環(huán)境數據轉換類型數據刷新頻率此外,最終用戶的需求也是數據倉庫設計中的一個重要問題。通常來說,大多數最終用戶關注的是執(zhí)行分析和查看匯總數據,而不是各個事務。而事實上,直到具體的需求出現時,最終用戶才明確知道自己想要什么。因此,請在計劃流程中盡可能探索和預測最終用戶的需求。最后,數據倉庫設計應當留出足夠的擴展和發(fā)展空間,以適應不斷變化的最終用戶需求。
云和數據倉庫
云數據倉庫不僅具有本地數據倉庫的杰出特性,同時又有云計算的強大優(yōu)勢,例如出色的靈活性、可擴展性、敏捷性和安全性,以及更低的成本。利用云數據倉庫,企業(yè)可以專注挖掘數據價值,而不必耗費時間和精力去構建、管理相關的硬件和軟件基礎設施。
八、數據倉庫與數據湖
企業(yè)可以使用數據湖和數據倉庫來存儲來自各種信息源的大量數據。而何時使用數據湖,何時使用數據倉庫,取決于具體的數據處理需求。以下是數據湖和數據倉庫各自的適用場景:
1、數據湖
數據湖適用于存儲大量迥然不同、未經篩選的數據以供未來特定目的使用。從業(yè)務線應用、移動應用、社交媒體、IoT 設備等來源捕獲的數據將作為原始數據存儲在數據湖中,分析人員只有在分析時才獲取各種數據集的結構、完整性、集合和格式。當需要低成本地存儲多個來源的無格式、非結構化數據時,數據湖是您的理想選擇。
2、數據倉庫
數據倉庫專用于數據分析,其處理的對象是已經過數據準備(包括收集、上下文關聯和轉換)的數據,其目的是基于分析生成洞察。此外,數據倉庫還擅長處理來自各種來源的大量數據。當需要利用整個企業(yè)中多個來源的歷史數據進行分析或高級分析時,數據倉庫是您的理想選擇。
以上就是關于什么是數據倉庫、數據倉庫的優(yōu)勢、數據倉庫的架構、數據倉庫的進化、什么是云數據倉庫、什么是現代數據倉庫、如何設計一個數據倉庫、數據倉庫與數據湖的全部內容了,希望對你有所幫助。

相關推薦HOT
更多>>
Java9和Java11區(qū)別大嗎?
一、Java9和Java11區(qū)別Java 9的新特性java模塊系統 (Java Platform Module System)。模塊系統的使用:HTTP 2 客戶端:HTTP/2標準是HTTP協議的詳情>>
2023-10-11 23:00:28
合約機和裸機有哪些區(qū)別?
一、合約機和裸機的區(qū)別1、定義不同合約機指的是運營商為了吸引用戶而推出的優(yōu)惠購機的活動,它需要用戶使用特定的套餐,并且套餐時間有限制,...詳情>>
2023-10-11 22:28:38
struts2和springmvc區(qū)別?
一、struts2和springmvc區(qū)別1.框架機制Struts2采用Filter(StrutsPrepareAndExecuteFilter)實現,SpringMVC(DispatcherServ詳情>>
2023-10-11 21:59:06
Java是什么?
一、什么是Java?首先Java是一種廣泛使用的計算機編程語言,程序員用它來和計算機交流,把要求和設想Java語言表達出來,這個過程就是我們所說的...詳情>>
2023-10-11 21:33:35熱門推薦
技術干貨







快速通道 更多>>
-
課程介紹
點擊獲取大綱 -
就業(yè)前景
查看就業(yè)薪資 -
學習費用
了解課程價格 -
優(yōu)惠活動
領取優(yōu)惠券 -
學習資源
領3000G教程 -
師資團隊
了解師資團隊 -
實戰(zhàn)項目
獲取項目源碼 -
開班地區(qū)
查看來校路線