91精品国产综合久久四虎久久_国产成人午夜高潮毛片_99er视频精品免费观看_2020亚洲熟女在线观看_日本女优人体写真_国内黄色毛片_年轻的老师中文版在线_丰满女邻居做爰_久久久久久精品成人免费图片

 
基于Apache Spark的流處理
基于Apache Spark的流處理
Gerard Maas, Francois Garillot 著
陳志鵬 譯
出版時(shí)間：2021年04月
頁數(shù)：422
“這本書將帶你了解Spark在流處理方面的支持，從早期的 DStream API到后來基于SQL 的Structured Streaming。本書是學(xué)習(xí)這些知識必備的權(quán)威指南。”
——Dean Wampler
Lightbend副總裁、負(fù)責(zé)快速數(shù)據(jù)工程建設(shè)， 《Programming Scala》的共同作者
利用分析工具可以快速獲取商業(yè)洞察，為此你需要了解如何對數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。通過這本實(shí)用指南，對于熟悉Apache Spark的讀者來說，你們將了解如何將這個(gè)內(nèi)存框架應(yīng)用于流數(shù)據(jù)。你會發(fā)現(xiàn)Spark讓你幾乎可以像面對批處理作業(yè)一樣來開發(fā)流處理作業(yè)。
本書介紹了Apache Spark的理論基礎(chǔ)。這本綜合指南通過兩個(gè)部分比較了Spark支持的流處理AP：早期的Spark Streaming和后來的 Structured Streaming。
● 學(xué)習(xí)流處理的基本概念、研究各種流處理架構(gòu)。
● 通過具體實(shí)例來研究Structured Streaming、深入理解流處理概念。
● 通過Spark Streaming創(chuàng)建并管理流作業(yè)，使用其他Spark API與Spark Streaming集成。
● 學(xué)習(xí)Spark Streaming高級技巧，包括近似算法和機(jī)器學(xué)習(xí)算法。
● 將Apache Spark與其他流處理項(xiàng)目比較，包括Apache Storm、Apache Flink和Apache Kafka Streams。
  1. 序
  2. 前言
  3. 第一部分 Apache Spark流處理的基本原理
  4. 第1章 流處理概述
  5. 什么是流處理
  6. 流處理案例
  7. 分布式流處理
  8. Apache Spark概述
  9. 接下來？
  10. 第2章 流處理模型
  11. 數(shù)據(jù)源與接收器
  12. 不可變流
  13. 轉(zhuǎn)換與聚合
  14. 窗口聚合
  15. 無狀態(tài)處理與有狀態(tài)處理
  16. 有狀態(tài)的流
  17. 案例：Scala中的本地狀態(tài)計(jì)算
  18. 無狀態(tài)流，還是有狀態(tài)流？
  19. 時(shí)間效應(yīng)
  20. 小結(jié)
  21. 第3章 流處理架構(gòu)
  22. 數(shù)據(jù)平臺的組件
  23. 體系模型
  24. 在流處理應(yīng)用中使用批處理組件
  25. 流處理架構(gòu)參考
  26. 流處理算法與批處理算法
  27. 小結(jié)
  28. 第4章 流處理引擎Apache Spark
  29. 兩種API的由來
  30. Spark的內(nèi)存使用
  31. 延遲
  32. 面向吞吐的數(shù)據(jù)處理
  33. Spark的多語言API
  34. 快速實(shí)現(xiàn)數(shù)據(jù)分析
  35. 更多關(guān)于Spark的內(nèi)容
  36. 小結(jié)
  37. 第5章 Spark分布式處理模型
  38. 通過集群管理器來運(yùn)行Apache Spark
  39. Spark的集群管理器
  40. 分布式系統(tǒng)的彈性與容錯(cuò)
  41. 數(shù)據(jù)交付語義
  42. 微批處理與一次處理一個(gè)
  43. 微批處理與一次處理一個(gè)方式地結(jié)合
  44. 動態(tài)的批次間隔
  45. Structured Streaming處理模型
  46. 第6章 Spark彈性模型
  47. Spark中的彈性分布式數(shù)據(jù)集
  48. Spark組件
  49. Spark容錯(cuò)保證
  50. 小結(jié)
  51. 參考文獻(xiàn)
  52. 第二部分 Structured Streaming
  53. 第7章 Structured Streaming概述
  54. 學(xué)習(xí)Structured Streaming之前
  55. 批處理分析
  56. 流分析
  57. 小結(jié)
  58. 第8章 Structured Streaming編程模型
  59. 初始化Spark實(shí)例
  60. source：接收流數(shù)據(jù)
  61. 流數(shù)據(jù)的轉(zhuǎn)換
  62. sink：輸出結(jié)果數(shù)據(jù)
  63. 小結(jié)
  64. 第9章 Structured Streaming實(shí)戰(zhàn)
  65. 消費(fèi)流source
  66. 程序邏輯
  67. 寫入流sink
  68. 小結(jié)
  69. 第10章 Structured Streaming的Source
  70. source概述
  71. 可用的source
  72. 文件source
  73. Kafka source
  74. Socket source
  75. Rate source
  76. 第11章 Structured Streaming的Sink
  77. sink概述
  78. 可用的sink
  79. 文件sink
  80. Kafka sink
  81. 內(nèi)存sink
  82. 控制臺sink
  83. Foreach sink
  84. 第12章 基于事件時(shí)間的流處理
  85. Structured Streaming中的事件時(shí)間
  86. 事件時(shí)間
  87. 處理時(shí)間
  88. 水位線
  89. 基于時(shí)間的窗口聚合
  90. 記錄去重
  91. 小結(jié)
  92. 第13章 高級狀態(tài)操作
  93. 案例：車隊(duì)管理
  94. 分組狀態(tài)操作
  95. 使用MapGroupsWithState
  96. 使用FlatMapGroupsWithState
  97. 小結(jié)
  98. 第14章 Structured Streaming 應(yīng)用監(jiān)控
  99. Spark指標(biāo)子系統(tǒng)
  100. StreamingQuery實(shí)例
  101. StreamingQueryListener接口
  102. 第15章 實(shí)驗(yàn)性模塊：連續(xù)處理與機(jī)器學(xué)習(xí)
  103. 連續(xù)處理
  104. 機(jī)器學(xué)習(xí)
  105. 參考文獻(xiàn)
  106. 第三部分 Spark Streaming
  107. 第16章 Spark Streaming概述
  108. DStream抽象
  109. Spark Streaming程序結(jié)構(gòu)
  110. 小結(jié)
  111. 第17章 Spark Streaming編程模型
  112. RDD，DStream的底層抽象
  113. DStream轉(zhuǎn)換操作
  114. 元素級別的DStream轉(zhuǎn)換
  115. RDD級別的DStream轉(zhuǎn)換
  116. Count操作
  117. 修改結(jié)構(gòu)的轉(zhuǎn)換操作
  118. 小結(jié)
  119. 第18章 Spark Streaming執(zhí)行模型
  120. 整體同步架構(gòu)
  121. Receiver模型
  122. 無Receiver（Direct）模式
  123. 小結(jié)
  124. 第19章 Spark Streaming的Source
  125. source分類
  126. 常用source
  127. 文件source
  128. 隊(duì)列source
  129. 工作流程
  130. Socket source
  131. Kafka source
  132. 哪里有更多的source
  133. 第20章 Spark Streaming的Sink
  134. 輸出操作
  135. 內(nèi)置的輸出操作
  136. 使用foreachRDD編寫自定義sink
  137. 第三方輸出操作
  138. 第21章 基于時(shí)間的流處理
  139. 窗口聚合
  140. 滾動窗口
  141. 滑動窗口
  142. 使用窗口還是較長的批次間隔
  143. 窗口上的reduce操作
  144. 可逆的窗口聚合操作
  145. 流的分片
  146. 小結(jié)
  147. 第22章 任意有狀態(tài)的流處理
  148. 流的狀態(tài)性
  149. updateStateByKey
  150. updateStateByKey的局限性
  151. 使用mapwithState進(jìn)行有狀態(tài)的計(jì)算
  152. 使用mapWithState
  153. 使用mapWithState進(jìn)行基于事件時(shí)間的流計(jì)算
  154. 第23章 使用Spark SQL
  155. Spark SQL
  156. 在Spark Streaming中使用Spark SQL函數(shù)
  157. 靜態(tài)數(shù)據(jù)處理
  158. Join優(yōu)化
  159. 更新流處理程序中的參考數(shù)據(jù)集
  160. 小結(jié)
  161. 第24章 checkpoint機(jī)制
  162. checkpoint的使用
  163. DStream的checkpoint機(jī)制
  164. 從checkpoint中恢復(fù)
  165. checkpoint的代價(jià)
  166. checkpoint調(diào)優(yōu)
  167. 第25章 Spark Streaming應(yīng)用監(jiān)控
  168. Streaming UI
  169. 通過Streaming UI了解作業(yè)性能
  170. 監(jiān)控REST API
  171. 指標(biāo)子系統(tǒng)
  172. 內(nèi)部事件總線
  173. 小結(jié)
  174. 第26章 性能調(diào)優(yōu)
  175. Spark Streaming中的性能平衡
  176. 影響作業(yè)性能的外部因素
  177. 如何提高性能
  178. 調(diào)整批次間隔
  179. 以固定速率對數(shù)據(jù)攝入限流
  180. 反壓
  181. 動態(tài)限流
  182. 緩存
  183. 推測執(zhí)行
  184. 參考文獻(xiàn)
  185. 第四部分 Spark Streaming高級技巧
  186. 第27章 流式近似與抽樣算法
  187. 準(zhǔn)確性、實(shí)時(shí)性與大數(shù)據(jù)
  188. 準(zhǔn)確性、實(shí)時(shí)性與大數(shù)據(jù)之間的三角關(guān)系
  189. 近似算法
  190. 哈希與素描
  191. 去重統(tǒng)計(jì)：HyperLogLog
  192. 統(tǒng)計(jì)元素頻率：Count-min Sketch
  193. 排名與分位數(shù)：T-Digest算法
  194. 減少元素?cái)?shù)量：抽樣
  195. 第28章 實(shí)時(shí)機(jī)器學(xué)習(xí)
  196. 利用樸素貝葉斯進(jìn)行流分類
  197. 決策樹介紹
  198. Hoeffding樹
  199. 使用在線K-means進(jìn)行流聚類
  200. 參考文獻(xiàn)
  201. 第五部分 Apache Spark 之外的世界
  202. 第29章 其他分布式實(shí)時(shí)流處理系統(tǒng)
  203. Apache Storm
  204. Apache Flink
  205. Kafka Streams
  206. 云上的流處理系統(tǒng)
  207. 第30章 展望
  208. 緊隨Spark項(xiàng)目
  209. 參加交流會
  210. 貢獻(xiàn)Apache Spark項(xiàng)目
  211. 參考文獻(xiàn)
  212. 作者介紹
  213. 封面介紹
書名：基于Apache Spark的流處理
譯者：陳志鵬 譯
國內(nèi)出版社：中國電力出版社
出版時(shí)間：2021年04月
頁數(shù)：422
書號：978-7-5198-5294-8
原版書書名：Stream Processing with Apache Spark
原版書出版商：O'Reilly Media
Gerard Maas
 
Gerard Maas是Lightbend的首席工程師，致力于將Structured Streaming與其他可擴(kuò)展的流處理技術(shù)無縫地集成到Lightbend平臺上。此前他在一家云原生物聯(lián)網(wǎng)創(chuàng)業(yè)公司工作，帶領(lǐng)數(shù)據(jù)處理團(tuán)隊(duì)構(gòu)建流式管道，將Spark Streaming的吞吐量推上了極限。當(dāng)時(shí)還發(fā)布了第一篇關(guān)于Spark Streaming性能調(diào)優(yōu)的全面指南。
Gerard曾在幾家創(chuàng)業(yè)公司和大型企業(yè)中擔(dān)任領(lǐng)導(dǎo)角色，構(gòu)建數(shù)據(jù)科學(xué)管理、云原生物聯(lián)網(wǎng)平臺、電信平臺，以及可擴(kuò)展的API。此外經(jīng)常在技術(shù)會議上發(fā)言，并參與貢獻(xiàn)各種大大小小的開源項(xiàng)目。Gerard擁有委內(nèi)瑞拉的西蒙玻利瓦爾大學(xué)的計(jì)算機(jī)工程學(xué)位。你可以通過推特@maasg找到他。
 
 
Francois Garillot
 
Francois Garillot住在西雅圖，在Facebook從事于分布式計(jì)算。于2011在巴黎綜合理工學(xué)院獲得博士學(xué)位，曾于2015年在Lightbend從事Spark Streaming反壓機(jī)制研究。他的興趣包括類型系統(tǒng)、利用編程語言簡化分析的表示方法，熱愛Scala、Spark以及阿拉比卡（咖啡豆）烘焙。不工作的時(shí)候，喜歡在太平洋西北部的山脈享受生活。
 
 
本書封面上的動物是歐亞喜鵲（學(xué)名：Pica pica），遍布于北歐與亞洲，從西班牙、愛爾蘭一直到俄羅斯東北部的堪察加半島。在英語中，鵲（magpie）指的是歐亞喜鵲，不過它們在歐洲、亞洲、中東、北非以及北美各地的鴉族中都有不同的說法。
歐洲喜鵲的雄性和雌性都有引人注目的羽毛。腹部和肩部都是明亮的白色，與光滑、黑色的頭部、胸部以及翅膀形成對比。這些黑色區(qū)域會根據(jù)光線不同閃爍著藍(lán)色或綠色的光澤。雄性喜鵲身長17~18英寸（尾巴約占一半），翼展為20~24英寸；雌性略小一些。喜鵲通常會避開人類，但你可能聽過它們響亮的叫聲。
歐亞喜鵲是雜食動物。它們以昆蟲、腐肉、小型哺乳動物，甚至其他鳥類的幼鳥和蛋、谷物、種子等為食。它們是所有動物中最聰明的一種，擁有像類人猿那樣的認(rèn)知能力：使用工具、記憶、推理以及社會交往。這些特點(diǎn)導(dǎo)致了對喜鵲的一些迷信。歐洲和斯堪的納維亞文化將它們與偷竊甚至巫術(shù)聯(lián)系起來。在亞洲則相反，人們將它們與好運(yùn)及客人的光臨聯(lián)系在一起。
雖然歐亞喜鵲種群分布廣泛、數(shù)量眾多，但是O'Reilly出版物封面上的許多動物都瀕臨滅絕。所有這些動物對世界來說都是很重要的。如果你想了解更多關(guān)于如何為它們提供幫助，請?jiān)L問animals.oreilly.com。
封面的彩色插圖由Karen Montgomery根據(jù)“Meyers Kleines詞典”中的黑白版畫創(chuàng)作而成。
購買選項(xiàng)
定價(jià)：128.00元
書號：978-7-5198-5294-8
出版社：中國電力出版社