kafka手動提交偏移量 JAVA面試如何保證消息不被重復消費?如何保證消息消費的冪等性?
JAVA面試如何保證消息不被重復消費?如何保證消息消費的冪等性?我沒事,來這里玩,開始在各種網絡上尋找技術信息,之后以“頭條”為主。從尋找信息到交朋友。因為我覺得事情落后于時代,有人認為,是因為自己水
JAVA面試如何保證消息不被重復消費?如何保證消息消費的冪等性?
我沒事,來這里玩,開始在各種網絡上尋找技術信息,之后以“頭條”為主。從尋找信息到交朋友。因為我覺得事情落后于時代,有人認為,是因為自己水平不高。只是在心里想,無法實現(xiàn)現(xiàn)實
如何獲取kafka某一topic中最新的offset?
如果您使用的是0.9或更高版本,則可以使用最新的客戶機消費者.seekToEnd() / 消費者地位()可用于獲取最新偏移量:${日志.dirs}/復制偏移檢查點有兩種方案。
Scheme 1 Local message transaction table
生產者需要添加一個事務消息表。具體步驟如下:[1。生產者執(zhí)行業(yè)務邏輯并將事務記錄插入到消息表中。這兩個操作在一個本地事務中
2。啟動后臺線程定期輪詢消息表并將消息發(fā)送到消息隊列
3。刪除消息表中的消息,直到發(fā)送成功。
方案2需要消息隊列支持,業(yè)務端提供回溯接口
1。生產端將準備好的消息發(fā)送到消息隊列
2。在本地事務中,業(yè)務邏輯
3。根據(jù)執(zhí)行結果確認或取消準備好的消息
4。消息隊列將確保準備好的消息被確認或取消,并且消息隊列將不斷地向生產端請求執(zhí)行結果,這要求生產端提供類似的回調函數(shù)。
在方案2中,消息隊列取代了方案1中的消息表和后臺線程輪詢功能,但并非所有消息隊列都支持此功能。支持Rocketmq。
方案1的開發(fā)工作量大,外部依賴性小
方案2的開發(fā)工作量小,但依賴于特定的消息隊列。