在當(dāng)前數(shù)據(jù)量激增傳統(tǒng)的時(shí)代，不同的業(yè)務(wù)場(chǎng)景都有大量的業(yè)務(wù)數(shù)據(jù)產(chǎn)生，對(duì)于這些不斷產(chǎn)生的數(shù)據(jù)應(yīng)該如何進(jìn)行有效地處理，成為當(dāng)下大多數(shù)公司所面臨的問題。企業(yè)需要能夠同時(shí)支持高吞吐、低延遲、高性能的流處理技術(shù)來處理日益增長(zhǎng)的數(shù)據(jù)。所以Flink框架成了熱門，千鋒長(zhǎng)沙Java培訓(xùn)班講師這么理解的：

        相對(duì)于傳統(tǒng)的數(shù)據(jù)處理模式，流式數(shù)據(jù)處理則有著更高的處理效率和成本控制。Apache Flink就是近年來在開源社區(qū)發(fā)展不斷發(fā)展的能夠支持同時(shí)支持高吞吐、低延遲、高性能分布式處理框架。Flink在近年來逐步被人們所熟知和使用，其主要原因不僅因?yàn)樘峁┩瑫r(shí)支持高吞吐、低延遲和exactly-once語義的實(shí)時(shí)計(jì)算能力，同時(shí)Flink還提供了基于流式計(jì)算引擎處理批量數(shù)據(jù)的計(jì)算能力，真正意義實(shí)現(xiàn)了批流統(tǒng)一，同時(shí)隨著Alibaba對(duì)Blink的開源，極大地增強(qiáng)了Flink對(duì)批計(jì)算領(lǐng)域的支持。

       目前在全球范圍內(nèi)，越來越多的公司開始使用Flink，在國(guó)內(nèi)比較出名的互聯(lián)網(wǎng)公司如Alibaba，美團(tuán)，滴滴等，都在大規(guī)模的使用Flink作為企業(yè)的分布式大數(shù)據(jù)處理引擎。到底什么Flink？今天就帶大家認(rèn)識(shí)一下：

       Apache Flink是由Apache軟件基金會(huì)開發(fā)的開源流處理框架，其核心是用Java和Scala編寫的分布式流數(shù)據(jù)流引擎。Flink以數(shù)據(jù)并行和流水線方式執(zhí)行任意流數(shù)據(jù)程序，F(xiàn)link的流水線運(yùn)行時(shí)系統(tǒng)可以執(zhí)行批處理和流處理程序。此外，F(xiàn)link的運(yùn)行時(shí)本身也支持迭代算法的執(zhí)行。Flink支持消息隊(duì)列的Events（支持實(shí)時(shí)的事件）的輸入，上游源源不斷產(chǎn)生數(shù)據(jù)放入消息隊(duì)列，F(xiàn)link不斷消費(fèi)、處理消息隊(duì)列中的數(shù)據(jù)，處理完成之后數(shù)據(jù)寫入下游系統(tǒng)，這個(gè)過程是不斷持續(xù)的進(jìn)行。

       那么Flink都有哪些優(yōu)勢(shì)？

       （1）同時(shí)支持高吞吐、低延遲、高性能，Flink是一套集高吞吐，低延遲，高性能三者于一身的分布式流式數(shù)據(jù)處理框架。非常成熟的計(jì)算框架Apache Spark也只能兼顧高吞吐和高性能特性，在Spark Streaming流式計(jì)算中無法做到低延遲保障;而Apache Storm只能支持低延遲和高性能特性，但是無法滿足高吞吐的要求。而對(duì)于滿足高吞吐，低延遲，高性能這三個(gè)目標(biāo)對(duì)分布式流式計(jì)算框架是非常重要的。

        （2）支持事件時(shí)間(Event Time)概念，在流式計(jì)算領(lǐng)域中，窗口計(jì)算的地位舉足輕重，但目前大多數(shù)計(jì)算框架窗口計(jì)算所采用的都是系統(tǒng)時(shí)間(Process Time)，也是事件傳輸?shù)接?jì)算框架處理時(shí)，系統(tǒng)主機(jī)的當(dāng)前時(shí)間，F(xiàn)link能夠支持基于事件時(shí)間(Event Time)語義的進(jìn)行窗口計(jì)算，就是使用事件產(chǎn)生的時(shí)間，這種時(shí)間機(jī)制使得事件即使無序到達(dá)甚至延遲到達(dá)，數(shù)據(jù)流都能夠計(jì)算出精確的結(jié)果，同時(shí)保持了事件原本產(chǎn)生時(shí)的在時(shí)間維度的特點(diǎn)，而不受網(wǎng)絡(luò)傳輸或者計(jì)算框架的影響。

       （3）支持有狀態(tài)計(jì)算。Flink在1.4版本中實(shí)現(xiàn)了狀態(tài)管理，所謂狀態(tài)就是在流式計(jì)算過程中將算子的中間結(jié)果數(shù)據(jù)的保存在內(nèi)存或者DB中，等下一個(gè)事件進(jìn)入接著從狀態(tài)中獲取中間結(jié)果進(jìn)行計(jì)算，從而無需基于全部的原始數(shù)據(jù)統(tǒng)計(jì)結(jié)果，這種做法極大地提升了系統(tǒng)的性能，同時(shí)也降低了計(jì)算過程的耗時(shí)。對(duì)于數(shù)據(jù)量非常大且邏輯運(yùn)算非常復(fù)雜的流式運(yùn)算，基于狀態(tài)的流式計(jì)算則顯得非常使用。

        （4）支持高度靈活的窗口(Window)操作，在流處理應(yīng)用中，數(shù)據(jù)是連續(xù)不斷的，需要通過窗口的方式對(duì)流數(shù)據(jù)進(jìn)行一定范圍的聚合計(jì)算，例如統(tǒng)計(jì)在過去的1分鐘內(nèi)有多少用戶點(diǎn)擊了某一網(wǎng)頁(yè)，在這種情況下，我們必須定義一個(gè)窗口，用來收集最近一分鐘內(nèi)的數(shù)據(jù)，并對(duì)這個(gè)窗口內(nèi)的數(shù)據(jù)再進(jìn)行計(jì)算。Flink將窗口劃分為基于Time、Count、Session，以及Data-driven等類型的窗口操作，窗口能夠用靈活的觸發(fā)條件定制化從而達(dá)到對(duì)復(fù)雜的流傳輸模式的支持，不同的窗口操作應(yīng)用能夠反饋出真實(shí)事件產(chǎn)生的情況，用戶可以定義不同的窗口觸發(fā)機(jī)制來滿足不同的需求。

        （5）基于輕量級(jí)分布式快照(Snapshot)實(shí)現(xiàn)的容錯(cuò)，Flink能夠分布式運(yùn)行在上千個(gè)節(jié)點(diǎn)之上，將一個(gè)大型計(jì)算的流程拆解成小的計(jì)算過程，然后將計(jì)算過程分布到單臺(tái)并行節(jié)點(diǎn)上進(jìn)行處理。在任務(wù)執(zhí)行過程中，能夠自動(dòng)的發(fā)現(xiàn)事件處理過程中的錯(cuò)誤而導(dǎo)致數(shù)據(jù)不一致的問題，常見的錯(cuò)誤類型例如：節(jié)點(diǎn)宕機(jī)，或者網(wǎng)路傳輸問題，或是由于用戶因?yàn)樯?jí)或修復(fù)問題而導(dǎo)致計(jì)算服務(wù)重啟等。在這些情況下，通過基于分布式快照技術(shù)的Checkpoints，將執(zhí)行過程中的任務(wù)信息進(jìn)行持久化存儲(chǔ)，一旦任務(wù)出現(xiàn)異常宕機(jī)，F(xiàn)link能夠進(jìn)行任務(wù)的自動(dòng)恢復(fù)，從而確保數(shù)據(jù)在處理過程中的一致性。

        （6）基于JVM實(shí)現(xiàn)獨(dú)立的內(nèi)存管理，內(nèi)存管理是每套計(jì)算框架需要重點(diǎn)考慮的領(lǐng)域，尤其對(duì)于計(jì)算量比較大的計(jì)算場(chǎng)景，數(shù)據(jù)在內(nèi)存中該如何進(jìn)行管理，針對(duì)內(nèi)存管理這塊，F(xiàn)link實(shí)現(xiàn)了自身管理內(nèi)存的機(jī)制，盡可能減少Full GC對(duì)系統(tǒng)的影響。另外通過自定義序列化/反序列化方法將所有的對(duì)象轉(zhuǎn)換成二進(jìn)制在內(nèi)存中存儲(chǔ)，降低數(shù)據(jù)存儲(chǔ)的大小，更加有效的對(duì)內(nèi)存空間進(jìn)行利用，降低GC所帶來的性能下降或者任務(wù)停止的風(fēng)險(xiǎn)，同時(shí)提升了分布式處理過數(shù)據(jù)傳輸?shù)男阅堋?/span>因此Flink較其他分布式處理的框架則會(huì)顯得更加穩(wěn)定，不會(huì)因?yàn)镴VM GC等問題而導(dǎo)致整個(gè)應(yīng)用宕機(jī)的問題。

       正是由于Flink的這些優(yōu)勢(shì)，也吸引了眾多的企業(yè)參與研發(fā)和使用Flink這項(xiàng)技術(shù)。因此，大家也都把Flink稱為：下一代大數(shù)據(jù)處理框架的標(biāo)準(zhǔn)。既然Flink在大數(shù)據(jù)處理中那么重要，那么該如何入門學(xué)習(xí)呢？關(guān)于Flink你是不是有了更深的了解呢？想要獲取全套教程的小伙伴點(diǎn)擊右下角咨詢獲取哦！

上一篇

千鋒長(zhǎng)沙Java培訓(xùn)班集合容器超新知識(shí)點(diǎn)超強(qiáng)總結(jié)

下一篇

千鋒長(zhǎng)沙Web前端培訓(xùn)班VUE教程免費(fèi)領(lǐng)取！