精通Apache Pulsar:可伸縮云原生事件流實(shí)踐
蔡正昕, 王殿進(jìn), 徐文濤 譯
出版時間:2023年12月
頁數(shù):224
“用戶要有豐富的經(jīng)驗才能知道何時及如何使用Pulsar。Jowanza Joseph正是這樣一位有著豐富經(jīng)驗的開發(fā)者。閱讀本書有助于縮短構(gòu)建和部署Pulsar應(yīng)用程序的時間?!?br />
——Johnny Nelson, generativist的高級機(jī)器學(xué)習(xí)工程師
所有企業(yè)級應(yīng)用程序都會產(chǎn)生日志消息、指標(biāo)、用戶活動記錄和輸出消息等數(shù)據(jù)。了解如何傳輸這些數(shù)據(jù)與了解數(shù)據(jù)本身同樣重要。如果你是對Apache Pulsar還不太熟悉的應(yīng)用程序架構(gòu)師、開發(fā)者或者產(chǎn)品工程師,那這本實(shí)踐指南會引導(dǎo)你借助這一開源事件流平臺來處理實(shí)時數(shù)據(jù)流。
在本書中,就職于Finicity的主管工程師Jowanza Joseph解釋了如何部署生產(chǎn)級別的Pulsar集群,如何編寫可靠的事件流應(yīng)用程序,以及如何基于Pulsar構(gòu)建可擴(kuò)展的實(shí)時數(shù)據(jù)處理管道。讀者可以通過詳盡的示例來學(xué)習(xí)Pulsar的設(shè)計理念、可靠性保證、核心的API,以及包括復(fù)制協(xié)議、負(fù)載均衡管理和存儲層在內(nèi)的架構(gòu)細(xì)節(jié)。
本書將幫助讀者:
● 理解事件流在大數(shù)據(jù)生態(tài)系統(tǒng)中的作用。
● 使用Pulsar生產(chǎn)者、消費(fèi)者和讀者來寫入和讀取事件。
● 通過將Pulsar接入外部系統(tǒng)來構(gòu)建可擴(kuò)展的數(shù)據(jù)處理管道。
● 利用Pulsar Functions簡化事件流應(yīng)用程序的構(gòu)建流程。
● 管理Pulsar集群,包括監(jiān)控、調(diào)優(yōu)及維護(hù)等任務(wù)。
● 根據(jù)Pulsar提供的運(yùn)維指標(biāo)來維護(hù)生產(chǎn)級別的集群。
● 利用Flink處理事件流,以及利用Presto查詢事件流。
- 前言
- 第1章 實(shí)時消息的價值
- 流動的數(shù)據(jù)
- 資源效率
- 使用場景
- 小結(jié)
- 第2章 事件流和事件代理
- 發(fā)布/訂閱
- 隊列
- 故障類型
- 推送與輪詢
- 為什么需要Pulsar
- 小結(jié)
- 第3章 認(rèn)識Pulsar
- Pulsar的起源
- Pulsar的設(shè)計理念
- Pulsar生態(tài)
- Pulsar成功案例
- 小結(jié)
- 第4章 Pulsar內(nèi)部組件
- Broker
- Apache BookKeeper
- Apache ZooKeeper
- Pulsar Proxy
- Java 虛擬機(jī)(JVM)
- 小結(jié)
- 第5章 消費(fèi)者
- 成為消費(fèi)者意味著什么
- 訂閱
- 確認(rèn)
- Schema
- 消費(fèi)模式
- 高級配置
- 配置消費(fèi)者
- 小結(jié)
- 第6 章 生產(chǎn)者
- 同步生產(chǎn)者
- 異步生產(chǎn)者
- 生產(chǎn)者路由
- 生產(chǎn)者配置
- Schema on Write
- 非持久化主題
- 事務(wù)
- 小結(jié)
- 第7章 Pulsar IO
- Pulsar IO架構(gòu)
- 使用場景
- 考量
- 示例
- 創(chuàng)建自己的連接器
- 小結(jié)
- 第8章 Pulsar Functions
- 流處理
- Pulsar Functions架構(gòu)
- 在Kubernetes上部署Pulsar Functions的隔離性
- 使用場景
- 小結(jié)
- 第9章 分層存儲
- 在云端存儲數(shù)據(jù)
- 使用場景
- 卸載數(shù)據(jù)
- 檢索已卸載的數(shù)據(jù)
- 小結(jié)
- 第10章 Pulsar SQL
- 流即表
- SQL-on-Anything引擎
- Pulsar SQL的工作原理
- 配置Pulsar SQL
- 性能考量
- 小結(jié)
- 第11章 部署Pulsar
- Docker
- 裸金屬
- 公有云廠商
- Kubernetes
- 小結(jié)
- 第12章 運(yùn)維Pulsar
- Apache BookKeeper指標(biāo)
- Apache ZooKeeper指標(biāo)
- 主題指標(biāo)
- 消費(fèi)者指標(biāo)
- Pulsar事務(wù)指標(biāo)
- Pulsar Functions指標(biāo)
- 高級運(yùn)維技巧
- 指標(biāo)轉(zhuǎn)發(fā)
- 小結(jié)
- 第13章 未來
- 編程語言支持
- 小結(jié)
- 附錄A Pulsar Admin API
- 附錄B Pulsar Admin CLI
- 附錄C 跨地域復(fù)制
- 附錄D Pulsar中的安全、認(rèn)證和鑒權(quán)
書名:精通Apache Pulsar:可伸縮云原生事件流實(shí)踐
譯者:蔡正昕, 王殿進(jìn), 徐文濤 譯
國內(nèi)出版社:電子工業(yè)出版社
出版時間:2023年12月
頁數(shù):224
書號:978-7-121-46717-2
原版書書名:Mastering Apache Pulsar
原版書出版商:O'Reilly Media
Jowanza Joseph
Jowanza Joseph是一位就職于Finicity的軟件工程師,他負(fù)責(zé)領(lǐng)導(dǎo)Finicity開放銀行平臺的網(wǎng)格開發(fā)。Jowanza曾在多個項目中使用Apache Pulsar,并利用基于Pulsar構(gòu)建的全托管消息和流處理平臺實(shí)現(xiàn)了日均處理十億量級的消息。近十年中,Jowanza在Pluralsight等公司的工作中都使用過Apache Kafka、Akka、Kubernetes及其他流技術(shù)與消息技術(shù)。他還曾在Strange Loop、Abstractions、開源峰會及O’Reilly的Strata Data & AI大會上做過技術(shù)分享。