這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)如何分析Kafka Consumer，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),博白企業(yè)網(wǎng)站建設(shè),博白品牌網(wǎng)站建設(shè),網(wǎng)站定制,博白網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,博白網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

Kafka Consumer消費(fèi)以組的方式劃分，Topic中的每一個(gè)分區(qū)只會(huì)分給同一個(gè)組中的其中一個(gè)實(shí)例。這是基于隊(duì)列模式，如果想基于發(fā)布訂閱模式，那訂閱同一個(gè)Topic的實(shí)例需要指定不同的組名。

必需參數(shù)

bootstrap.servers

Kafka服務(wù)器

group.id

Consumer Group的名字，唯一標(biāo)識(shí)一個(gè)consumer group

key.deserializer

Key的反序列化，二進(jìn)制的消息Key轉(zhuǎn)換成具體的類型

value.desrializer

Value的反序列化，二進(jìn)制的消息內(nèi)容轉(zhuǎn)換成具體的類型

主要參數(shù)

session.timeout.ms

coordinator檢測(cè)失敗的時(shí)間，通常需要設(shè)置一個(gè)較小的值，這樣可以快速檢測(cè)到consumer崩潰的情況，盡快開啟rebalance。

max.poll.interval.ms

用于設(shè)置消息處理邏輯的最大時(shí)間

auto.offset.reset

consumer group無位移信息和位移越界時(shí)Kafka對(duì)應(yīng)的策略。consumer group重啟不會(huì)使用該策略，因?yàn)镵afka已經(jīng)記錄了group的唯一信息

• earliest:從最早的位移開始消費(fèi)，不一定就是0

• latest:從最新位移處開始消費(fèi)

• none:如果無位移信息和位移越界，拋出異常。

enable.auto.commit

指定consumer是否自動(dòng)提交位移，默認(rèn)為true

fetch.max.bytes

指定consumer單次獲取數(shù)據(jù)的最大字節(jié)數(shù)

max.poll.records

控制poll方法返回的最大消息數(shù)量

heartbeat.interval.ms

控制consumer group中成員感知rebalance的時(shí)間。

connections.max.idle.ms

空閑連接空閑時(shí)間超過該參數(shù)，會(huì)被關(guān)閉。

auto.commit.interval.ms

后臺(tái)自動(dòng)提交位移的時(shí)間間隔

消息輪詢Poll

新版Consumer采用了類似Linux I/O模型Poll，使用一個(gè)線程管理多個(gè)socket連接，然后循環(huán)Poll消息。

poll方法返回的條件是要不獲得了足夠多的數(shù)據(jù)，或者超過了指定的超時(shí)時(shí)間。

位移管理

新版本的consumer位移已交由內(nèi)部topic管理(_consumeroffsets)，該Topic有多個(gè)分區(qū)，每個(gè)分區(qū)有多個(gè)副本(可以通過參數(shù)控制)。該內(nèi)部Topic存在的唯一目的保存consumer提交的位移。

手動(dòng)提交位移支持同步和異步，提交需要位移需要指定一個(gè)Map，key是TopicPartition，value是OffsetAndMetadata，里面存儲(chǔ)了下一條待消費(fèi)消息的offset。

上述就是小編為大家分享的如何分析Kafka Consumer了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享名稱：如何分析KafkaConsumer
網(wǎng)頁鏈接：http://www.yijiale78.com/article28/pcppcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、商城網(wǎng)站、標(biāo)簽優(yōu)化、ChatGPT、網(wǎng)站設(shè)計(jì)、網(wǎng)頁設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)