日韩精品成人无码专区免费-国产99久久久久久免费看-国产精品丝袜久久久久久不卡-国产精品无码一区二区三区

如何進行Apache Kafka 2.7.0加速移除Zookeeper的分析

發布時間:2025-10-01 點擊:44
這篇文章給大家介紹如何進行apache kafka 2.7.0加速移除zookeeper的分析,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
分布式發布與訂閱系統apache kafka社區,發布了2.7.0這個遲來的版本,該版本的幾個重點更新,包括持續將apache kafka中的zookeeper替換掉,加入了新的內部代理api,并且增加新的core raft共識演算法,現在apache kafka中具有單獨包含核心共識協定的core raft模塊。另外,分層儲存的工作也持續進行中,以提供無限擴展和更快達到重新均衡的能力。
zookeeper原本是在apache kafka中,扮演協調代理的角色,所有代理服務器啟動時,都會連接到zookeeper進行注冊,當代理狀態發生變化時,zookeeper便會儲存這些數據,kafka的代理會通過zookeeper與其他代理溝通進行同步,也就是說kafka沒有zookeeper,也就無法順利運行。
不過,zookeeper并非kafka的一部分,因此運行每一個kafka集群,都必須部署兩套系統,這產生了許多問題,包括造成多余資源的耗費,包括更多網路、監控功能以及安全性等資源配置,而kafka集群規模增加,也就代表zookeeper必須要跟著擴展,必須使用更多的存取,且zookeeper作為外部的數據儲存服務,當數據越來越多,使得控制器載入時間越來越長,限制了kafka集群的規模擴展。
因此在2019年的時候,apache kafka社區就開始移除zookeeper的工作,要由kafka本身提供數據管理功能,而apache kafka 2.7.0總共有7個更新,與移除zookeeper工作有關,包括了kip-497新增內部代理api,來替換原本的內部同步副本(in-sync replica,isr)。
目前kafka分區負責程序(partition leader)和isr信息,皆儲存在zookeeper中,控制器與分區負責程序都可以更新此狀態,但由于任一方都可以更新狀態,也就存在共享信息的機制,而這會使isr的更新出現延遲,也就代表數據請求可能會收到舊信息。
apache kafka 2.7.0加入了一個新的alterisr api,賦予控制器獨占能力,更新分區負責程序和isr的狀態,新api的好處是讓數據請求,總能獲得最新的狀態。官方提到,要刪除zookeeper,添加此api是重要的一步。
因為kafka集群的規模日益增加,用戶需要在kafka中儲存更多的數據,因此他們開始引入分層儲存的概念。kafka的儲存現在分為本地端與遠端兩層,用戶可以將數據在本地暫存之后,丟到遠端進行較長期的儲存,如此,本地端儲存層留存資料的時間,將會從數天降到數小時,使用hdfs或s3等儲存系統的遠端層,就可以將資料留存數天甚至數月的時間。
關于如何進行apache kafka 2.7.0加速移除zookeeper的分析就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

cdn為什么能加速
數據庫沒法連接-虛擬主機/數據庫問題
云主機租賃
IE瀏覽器出現脫機工作怎么恢復?修復IE瀏覽器脫機工作的方法
阿里云服務器1g多少錢
百度還是企業做流量首選渠道嗎?
云服務器價格比對
網站掛馬了-云服務器問題