基于Apache Flink的流處理
崔星燦 譯
出版時(shí)間:2020年01月
頁數(shù):328
帶你走近Apache Flink,一個(gè)為全世界多個(gè)最大規(guī)模級(jí)別的流處理應(yīng)用提供支持的開源框架。通過本書,你將探索并行流處理的基本概念并了解該技術(shù)與傳統(tǒng)批處理的區(qū)別。
Apache Flink項(xiàng)目的資深貢獻(xiàn)者Fabian Hueske和Vasiliki Kalavri展示了如何使用Flink DataStream API實(shí)現(xiàn)可伸縮的流式應(yīng)用,以及怎樣在業(yè)務(wù)環(huán)境中持續(xù)運(yùn)行和維護(hù)這些應(yīng)用。流處理的理想應(yīng)用場景有很多,包括低延遲ETL、流式分析、實(shí)時(shí)儀表盤以及欺詐檢測、異常檢測和報(bào)警等。你可以在任意類型的持續(xù)數(shù)據(jù)(包括用戶交互、金融交易和物聯(lián)網(wǎng)等數(shù)據(jù))生成后,立即對它們進(jìn)行處理。
● 了解有關(guān)分布式狀態(tài)化流處理的概念和挑戰(zhàn)。
● 探索Flink的系統(tǒng)架構(gòu),包括事件時(shí)間處理模式和容錯(cuò)模型。
● 理解DataStream API的基礎(chǔ)知識(shí)和構(gòu)成要素,包括基于時(shí)間和有狀態(tài)的算子。
● 以一次精確的一致性讀寫外部系統(tǒng)。
● 部署和配置Flink集群。
● 對持續(xù)運(yùn)行的流式應(yīng)用進(jìn)行運(yùn)維。
- 前言
- 第1章 狀態(tài)化流處理概述
- 傳統(tǒng)數(shù)據(jù)處理架構(gòu)
- 事務(wù)型處理
- 狀態(tài)化流處理
- 開源流處理的演變
- Flink快覽
- 小結(jié)
- 第2章 流處理基礎(chǔ)
- Dataflow編程概述
- 并行流處理
- 時(shí)間語義
- 狀態(tài)和一致性模型
- 小結(jié)
- 第3章 Apache Flink架構(gòu)
- 系統(tǒng)架構(gòu)
- Flink中的數(shù)據(jù)傳輸
- 事件時(shí)間處理
- 狀態(tài)管理
- 檢查點(diǎn)、保存點(diǎn)及狀態(tài)恢復(fù)
- 小結(jié)
- 第4章 設(shè)置Apache Flink開發(fā)環(huán)境
- 所需軟件
- 在IDE中運(yùn)行和調(diào)試Flink程序
- 在IDE中調(diào)試Flink程序
- 創(chuàng)建Flink Maven項(xiàng)目
- 小結(jié)
- 第5章 DataStream API (1.7版本)
- Hello, Flink!
- 轉(zhuǎn)換操作
- 設(shè)置并行度
- 類型
- 定義鍵值和引用字段
- 實(shí)現(xiàn)函數(shù)
- 導(dǎo)入外部和Flink依賴
- 小結(jié)
- 第6章 基于時(shí)間和窗口的算子
- 配置時(shí)間特性
- 處理函數(shù)
- 窗口算子
- 基于時(shí)間的雙流Join
- 處理遲到數(shù)據(jù)
- 小結(jié)
- 第7章 有狀態(tài)算子和應(yīng)用
- 實(shí)現(xiàn)有狀態(tài)函數(shù)
- 為有狀態(tài)的應(yīng)用開啟故障恢復(fù)
- 確保有狀態(tài)應(yīng)用的可維護(hù)性
- 有狀態(tài)應(yīng)用的性能及魯棒性
- 更新有狀態(tài)應(yīng)用
- 小結(jié)
- 第8章 讀寫外部系統(tǒng)
- 應(yīng)用的一致性保障
- 內(nèi)置連接器
- 實(shí)現(xiàn)自定義數(shù)據(jù)源函數(shù)
- 實(shí)現(xiàn)自定義數(shù)據(jù)匯函數(shù)
- 異步訪問外部系統(tǒng)
- 小結(jié)
- 第9章 搭建Flink運(yùn)行流式應(yīng)用
- 部署模式
- 高可用性設(shè)置
- 集成Hadoop組件
- 文件系統(tǒng)配置
- 系統(tǒng)配置
- 小結(jié)
- 第10章 Flink和流式應(yīng)用運(yùn)維
- 運(yùn)行并管理流式應(yīng)用
- 控制任務(wù)調(diào)度
- 調(diào)整檢查點(diǎn)及恢復(fù)
- 監(jiān)控Flink集群和應(yīng)用
- 配置日志行為
- 小結(jié)
- 第11章 還有什么?
- Flink生態(tài)的其他組成部分
- 歡迎加入社區(qū)
書名:基于Apache Flink的流處理
譯者:崔星燦 譯
國內(nèi)出版社:中國電力出版社
出版時(shí)間:2020年01月
頁數(shù):328
書號(hào):978-7-5198-4011-2
原版書書名:Stream Processing with Apache Flink
原版書出版商:O'Reilly Media
Fabian Hueske
Fabian Hueske作為最早參與Flink建設(shè)的幾人之一,是Apache Flink項(xiàng)目的Committer及PMC成員。他同時(shí)還是Ververica(前身為data Artisans)的聯(lián)合創(chuàng)始人和軟件工程師。該公司是一家總部位于柏林的創(chuàng)業(yè)公司,一直以來都致力于為Flink項(xiàng)目和社區(qū)發(fā)展提供支持。費(fèi)比安在柏林工業(yè)大學(xué)取得了計(jì)算機(jī)科學(xué)博士學(xué)位。
Vasiliki Kalavri
Vasiliki Kalavri是蘇黎世聯(lián)邦理工學(xué)院系統(tǒng)組的博士后研究員,平日里會(huì)將Apache Flink廣泛用于流式系統(tǒng)研究及教學(xué)工作。Vasia同樣是Apache Flink項(xiàng)目的PMC成員。作為Flink早期的貢獻(xiàn)者,她參與了圖計(jì)算庫Gelly以及初期版本Table API和流式SQL的建設(shè)工作。
本書封面上的動(dòng)物是歐亞紅松鼠(學(xué)名Sciurus vulgaris)。絕大多數(shù)生存在亞洲溫帶、歐洲以及美洲的樹棲松鼠都屬Sciurus屬。vulgaris在拉丁文中是“尋?!钡囊馑迹瑲W亞紅松鼠在歐洲和亞洲北部地區(qū)十分常見。
歐亞紅松鼠的眼睛周圍有一個(gè)白色的環(huán),尾巴大而濃密,耳端有一簇毛。它們頭部和背部的顏色從淺紅色到黑色不等,胸腹部的皮毛則是奶油色或白色。在冬天,松鼠的皮毛會(huì)略微長長,高于耳朵并覆蓋爪子,從而可以保護(hù)自己免受寒冷。它們在冬日的大部分時(shí)間里都會(huì)蜷縮在名為Dreys的巢穴中。
除非它們正在交配或需要撫育幼崽,否則每個(gè)Dreys內(nèi)就只會(huì)住有一只歐亞紅松鼠。雖然它們都各自居住,但由于數(shù)量眾多,松鼠們的活動(dòng)范圍經(jīng)常重疊。平均下來,雌性松鼠每年生產(chǎn)兩次,每胎5仔。松鼠幼崽會(huì)在出生后大約兩個(gè)月的時(shí)候離開母巢。歐亞紅松鼠的天敵眾多,包括鳥類、蛇類以及哺乳動(dòng)物等,因此只有四分之一的小松鼠才能長到一歲。
歐亞紅松鼠平日依靠種子、橡子以及堅(jiān)果來維持生計(jì)。它們有時(shí)也會(huì)舔舐樹汁,但不會(huì)經(jīng)常嘗試新的食物。這種松鼠的頭部和身體長約9~10英尺,尾巴長度也大致與此相同。它們的體重約為8~12盎司,壽命最長可達(dá)12年。但在野外,它們的預(yù)期壽命只有4~7歲。
這些生活在樹上的小家伙之所以能夠攀爬樹干,輕松倒立,并越過伸展的樹枝,是因?yàn)樗鼈冇袕澢睦蛯挻笈钏傻奈舶?。歐亞紅松鼠的敏捷性和平衡性非常強(qiáng)。
許多奧萊利書籍封面上的動(dòng)物都瀕臨滅絕,它們對于這個(gè)世界十分重要。要了解更多如何提供幫助的信息,請?jiān)L問animals.oreilly.com。
封面插圖由Karen Montgomery,基于Wood’s Animate Creation的黑白雕刻設(shè)計(jì)而來。