什么？你告诉我 Kafka 会丢消息？

Kafka 会丢失信息吗？DeD28资讯网——每日最新资讯28at.com

许多开发人员普遍认为，Kafka 的设计本身就能保证不会丢失消息。然而，Kafka 架构和配置的细微差别会导致消息的丢失。我们需要了解它如何以及何时可能丢失消息，并防止此类情况的发生。DeD28资讯网——每日最新资讯28at.com

下图显示了消息在 Kafka 的生命周期中可能丢失的场景。DeD28资讯网——每日最新资讯28at.com

图片DeD28资讯网——每日最新资讯28at.com

01 生产者（Producer）

当我们调用 producer.send() 发送消息时，消息不会直接发送到代理。DeD28资讯网——每日最新资讯28at.com

消息发送过程涉及两个线程和一个队列：DeD28资讯网——每日最新资讯28at.com

1. 应用程序线程
2. 消息累加器
3. 发送线程（I/O 线程）

我们需要为生产者配置适当的 "acks "和 "retries"，以确保消息被发送到代理。DeD28资讯网——每日最新资讯28at.com

02 消息代理（Broker）

当代理集群正常运行时，它不应该丢失消息。但是，我们需要了解哪些极端情况可能会导致消息丢失：DeD28资讯网——每日最新资讯28at.com

1. 为了提高 I/O 吞吐量，消息通常会异步刷到磁盘上，因此如果实例在刷新之前宕机，消息就会丢失。
2. Kafka 集群中的副本需要正确配置，以保持数据的有效副本。数据同步的确定性非常重要。

03 消费者（Consumer）

Kafka 提供了不同的提交消息的方式。自动提交可能会在实际处理记录之前确认对记录的处理。当消费者在处理过程中宕机时，有些记录可能永远不会被处理。DeD28资讯网——每日最新资讯28at.com

一个好的做法是将同步提交和异步提交结合起来，在处理消息的循环中使用异步提交以提高吞吐量，在异常处理中使用同步提交以确保最后的偏移始终被提交。DeD28资讯网——每日最新资讯28at.com

下图是这个方法的伪代码：DeD28资讯网——每日最新资讯28at.com

try {    while (true) {    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));    for (ConsumerRecord<String, String> record : records) {        // process records one by one    }    consumer.commitAsync();    }} catch (Exception e){    // exception handling } finally {    try {        consumer.commitSync();    } finally {        consumer.close();    }      }

DeD28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-26-82370-0.html什么？你告诉我 Kafka 会丢消息？

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 配置Nginx访问阿里云OSS资源踩坑之路

下一篇： 我们一起聊聊如何使用Spring Boot 3 和 Redis 实现实时智能客服系统