一、什么是 ETL

ETL 代表提取、轉換和加載，是組織將多個系統中的數據組合到單個數據庫、數據存儲空間、數據倉庫或數據湖中的傳統方法。ETL 可用于存儲舊數據，或者（如現今更為常見的那樣）匯總數據并分析以及制定業務決策。  

幾十年來，組織一直都在使用 ETL。但新趨勢是，數據源以及目標數據庫現在都在向云端遷移。

此外，我們還看到了流式 ETL 流水線的出現，現在，流式 ETL 流水線與批處理流水線是統一的，即實時處理連續數據流的流水線與匯總批處理數據的流水線。一些企業通過結合批量回填或再處理流水線來運行連續的流處理流程。

ETL 描述的是一個端到端流程，在此流程中，公司獲取所有數據（由世界上任何地方任何數量的團隊管理的結構化和非結構化數據），然后對其進行處理，將其轉換為對業務目的有用的數據。當今的現代化 ETL 解決方案必須應對不斷增長的數據量和速度。此外，能夠從任何來源（無論是本地還是在云中）實時提取、豐富和管理事務，同時支持結構化和非結構化數據是現今企業 ETL 解決方案的基本要求。

二、基于云的 ETL 的工作原理

1、提取

提取是從一個或多個來源（在線、本地、舊版、SaaS 或其他）中檢索數據的過程。檢索或提取完成后，數據將被加載到暫存區中。

2、轉換

轉換包括獲取數據、清理數據并將其轉換為通用格式，以便將其存儲在目標數據庫、數據存儲區、數據倉庫或數據湖中。清理通常包括刪除重復、不完整或明顯有錯誤的記錄。

3、加載

加載是將轉換格式后的數據插入目標數據庫、數據存儲區、數據倉庫或數據湖的過程。

三、ETL 使用場景

ETL 是將所有相關數據放在同一個地方以便分析，并使高管、經理和其他利益相關者能夠根據數據做出明智的業務決策的一種重要方法。ETL 通常用于以下幾個方面：

1、數據倉儲

數據倉庫是一個合并了各種來源的數據，以便出于業務目的對數據進行統一分析的數據庫。ETL 通常用于將數據移至數據倉庫。

2、機器學習和人工智能

機器學習 (ML) 是一種無需明確編排分析模型即可了解數據的方法。系統使用人工智能技術從數據中獲取信息。ETL 可用于將數據移動至單個位置以實現機器學習。

3、營銷數據集成

營銷數據集成包括將所有營銷數據（例如客戶、社交網絡和網絡分析數據）移動到一個地方，以便您對其進行分析并制定未來計劃。ETL 可用于收集和準備營銷數據。

4、物聯網數據集成

物聯網是能夠通過硬件中嵌入的傳感器收集和傳輸數據的互連設備的集合。物聯網設備包括工廠設備、網絡服務器、智能手機或各種各樣的其他機器，甚至包括可穿戴設備和植入設備。ETL 有助于將數據從多個物聯網數據源移動到一個地方以便進行分析。

5、數據庫復制

數據庫復制從您的源數據庫（例如 Oracle、Cloud SQL for MySQL、Microsoft SQL Server、Cloud SQL for PostgreSQL、MongoDB 或其他數據庫）獲取數據，并將其復制到您的云數據倉庫中。當數據更新時，這可以是一次性操作，也可以持續執行，ETL 可用于復制數據。

6、云遷移

越來越多的公司將其數據和應用從本地遷移到云端以節省資金、提高應用的可伸縮性并保護其數據，ETL 通常用于運行這些遷移作業。

以上就是關于什么是 ETL、基于云的 ETL 的工作原理以及ETL 使用場景的全部內容了，希望對你有所幫助。

上一篇

數字孿生有哪些好處?

下一篇

什么是工業4.0?