当前位置：首页 > 科技 > 软件

彻底搞懂Kafka生产消费流程，这篇文章就够了！

来源：责编：时间：2024-07-05 11:44:11 63观看

导读引言Hey, 小伙伴们！今天小米给大家带来一篇关于Kafka生产消费基本流程的揭秘，内容超干货！让我们一起揭开Kafka神秘的面纱，探索它的工作原理吧！图片Producer创建及其内部结构当我们创建一个Kafka Producer时，Kafka会为我们创

引言

Hey, 小伙伴们！今天小米给大家带来一篇关于Kafka生产消费基本流程的揭秘，内容超干货！让我们一起揭开Kafka神秘的面纱，探索它的工作原理吧！

图片

Producer创建及其内部结构

当我们创建一个Kafka Producer时，Kafka会为我们创建一个叫做Sender的线程，并将其设置为守护线程（Daemon Thread）。这个线程的主要工作就是不断地从缓冲区中取出消息并发送给Kafka Broker。守护线程的好处在于，它会随着主线程的结束而自动结束，不需要我们手动去管理它的生命周期。

消息的处理流程

在Producer发送消息的过程中，消息会依次经过以下几个步骤：

拦截器（Interceptor）：首先，消息会通过一系列的拦截器进行处理。拦截器可以用来在消息发送之前或之后做一些额外的操作，比如修改消息内容、统计日志等。
序列化器（Serializer）：然后，消息会经过序列化器，将消息对象转换为字节数组，以便于网络传输。
分区器（Partitioner）：接下来，分区器会根据消息的Key或者其他策略将消息分配到指定的分区上。
缓冲区（Buffer Pool）：最后，消息会被放入到Producer的缓冲区中等待发送。

批次发送的条件

Kafka的Producer会将消息进行批量发送，以提高传输效率和吞吐量。具体的批次发送条件如下：

当缓冲区中的数据大小达到batch.size时，Producer会将这些消息组成一个批次进行发送。
当消息在缓冲区中的等待时间超过linger.ms时，即使缓冲区中的数据大小没有达到batch.size，Producer也会将这些消息组成一个批次进行发送。

消息发送及落盘

当批次发送的条件满足时，Producer会将消息发往指定的分区，然后落盘到Kafka Broker中。消息发送的可靠性可以通过acks参数进行控制：

acks=0：当acks设置为0时，Producer只要将消息放到缓冲区，就认为消息已经发送完成。这个模式下的消息发送速度最快，但可靠性最低，因为Producer不会等待任何确认，消息有可能会丢失。
acks=1：当acks设置为1时，消息只需要写到主分区（Leader Partition）即可。在这种情况下，如果主分区收到消息确认之后就宕机了，而副本分区（Follower Partition）还没来得及同步该消息，则该消息会丢失。
acks=all（默认）：当acks设置为all（默认值）时，Leader分区会等待所有的ISR副本分区（In-Sync Replica）确认记录。这种模式下，只要有一个ISR副本分区存活，消息就不会丢失，是可靠性最高的一种设置。

消息重试机制

如果生产者配置了retries参数大于0，并且未收到消息的确认，那么Producer客户端会对该消息进行重试。重试机制能够有效提高消息发送的可靠性，避免由于网络波动或临时故障导致的消息丢失。

消息落盘及元数据返回

当消息成功落盘到Kafka Broker后，Broker会返回生产元数据给Producer。这个元数据包含了消息的主题、分区、偏移量等信息。Producer可以通过这些信息进行消息的追踪和管理。

END

好了，以上就是Kafka生产消费基本流程的详细揭秘啦！希望小伙伴们通过这篇文章对Kafka的工作原理有更深入的了解。如果你对Kafka还有其他疑问或者想要了解更多技术干货，欢迎在评论区留言，小米会及时回复大家哦！

图片

本文链接：http://www.28at.com/showinfo-26-99017-0.html彻底搞懂Kafka生产消费流程，这篇文章就够了！

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 35 周年季走进 Garmin 佳明总部，创新科技“让运动发生”

下一篇：深入理解 Git：checkout 的本质与原理深度解析

标签：

热门焦点

一加Ace2 Pro官宣：普及16G内存引领24G

一加官方今天继续为本月发布的新机一加Ace2 Pro带来预热，公布了内存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引领，还有呢？#一加Ace2Pro#，2023 年 8 月，敬请期待。”同时
6月iOS设备性能榜：M2稳居榜首 A系列只能等一手3nm来救

没有新品发布，自然iOS设备性能榜的上榜设备就没有什么更替，仅仅只有跑分变化而产生的排名变动，毕竟苹果新品的发布节奏就是这样的，一年下来也就几个移动端新品，不会像安卓厂商，一
太卷！Redmi MAX 100英寸电视便宜了：12999元买Redmi史上最大屏

8月5日消息，从小米商城了解到，Redmi MAX 100英寸巨屏电视日前迎来官方优惠，到手价12999元，比发布价便宜了7000元，在大屏电视市场开卷。据了解，Redmi MAX 100
印度登月最关键一步！月船三号今晚进入环月轨道

8月5日消息，据印度官方消息，月船三号将于北京时间今晚21时30分左右开始近月制动进入环月轨道。这是该探测器能够成功的最关键步骤之一，如果成功将开始围
三言两语说透设计模式的艺术-简单工厂模式

一、写在前面工厂模式是最常见的一种创建型设计模式，通常说的工厂模式指的是工厂方法模式，是使用频率最高的工厂模式。简单工厂模式又称为静态工厂方法模式，不属于GoF 23种设计
Flowable工作流引擎的科普与实践

一.引言当我们在日常工作和业务中需要进行各种审批流程时，可能会面临一系列技术和业务上的挑战。手动处理这些审批流程可能会导致开发成本的增加以及业务复杂度的上升。在这
机构称Q2国内智能手机销量同比下滑4% vivo份额重回第1

7月29日消息，根据市场调查机构Counterpoint Research公布的最新报告，2023年第2季度中国智能手机销量同比下降4%，创新自2014年以来第2季度销量新低。报
自研Exynos回归！三星Galaxy S24系列将提供Exynos和骁龙双版本

年初，全新的三星Galaxy S23系列发布，包含Galaxy S23、Galaxy S23+和Galaxy S23 Ultra三个版本，全系搭载超频版骁龙8 Gen 2，虽同样采用台积电4nm工艺制
荣耀Magic4 至臻版首创智慧隐私通话强劲影音系统

2022年第一季度临近尾声，在该季度内，许多品牌陆续发布自己的最新产品，让大家从全新的角度来了解当今的手机技术。手机是电子设备中，更新迭代十分迅速的一款产品，基