当前位置:首页 > 科技  > 软件

三分钟白话RocketMQ系列—— 如何保证消息顺序性

来源: 责编: 时间:2023-09-21 20:48:20 405观看
导读关键字摘要全局有序局部有序局部有序能一直有序吗顺序消息的限制Q1:什么是全局有序?如何实现全局有序?适用于性能要求不高,所有的消息严格按照先进先出(FIFO)的原则来发布和消费的场景。例如,在证券处理中,以人民币兑换美元为

Rbf28资讯网——每日最新资讯28at.com

关键字摘要

  • 全局有序
  • 局部有序
  • 局部有序能一直有序吗
  • 顺序消息的限制

Q1:什么是全局有序?如何实现全局有序?

适用于性能要求不高,所有的消息严格按照先进先出(FIFO)的原则来发布和消费的场景。Rbf28资讯网——每日最新资讯28at.com

例如,在证券处理中,以人民币兑换美元为Topic,在价格相同的情况下,先出价者优先处理,则可以按照FIFO的方式发布和消费全局顺序消息。Rbf28资讯网——每日最新资讯28at.com

要实现全局有序,必须控制Topic只有一个队列queue,才能实现全局有序。Rbf28资讯网——每日最新资讯28at.com

由于只有一个队列存在,这种方式虽然保证了全局有序,但是性能不高,无法扩展。Rbf28资讯网——每日最新资讯28at.com

Q2:什么是局部有序?如何实现局部有序?

适用于性能要求高,以Sharding Key作为分区字段,在同一个队列queue中严格地按照FIFO原则进行消息发布和消费的场景。Rbf28资讯网——每日最新资讯28at.com

例如,用户注册需要发送发验证码,以用户ID作为Sharding Key,那么同一个用户发送的消息都会按照发布的先后顺序来消费。Rbf28资讯网——每日最新资讯28at.com

保证「消息生产」的顺序性,则必须满足以下条件:Rbf28资讯网——每日最新资讯28at.com

  • 单一生产者:消息生产的顺序性仅支持单一生产者,不同生产者分布在不同的系统,即使设置相同的分区键,不同生产者之间产生的消息也无法判定其先后顺序。
  • 串行发送:生产者客户端支持多线程安全访问,但如果生产者使用多线程并行发送,则不同线程间产生的消息将无法判定其先后顺序。

满足以上条件的生产者,将 「顺序消息」 发送至服务端后,会保证设置了同一分区键的消息,按照发送顺序存储在同一队列中。Rbf28资讯网——每日最新资讯28at.com

局部有序(分区有序)Rbf28资讯网——每日最新资讯28at.com

注意,在RocketMQ 5.x版本中,新增了「消息组」概念,顺序消息发送必须要设置消息组。Rbf28资讯网——每日最新资讯28at.com

保证「消息消费」的顺序性,则必须满足以下条件:Rbf28资讯网——每日最新资讯28at.com

  • 语义正确。业务方消费消息时需要严格按照 接收---处理---应答 的语义处理消息,避免因异步处理导致消息乱序。
  • 有限重试。顺序消息消费投递次数限定有限范围内,即一条消息如果超过最大重试次数后,将跳过这条消息消费,不会一直阻塞后续消息处理。

对于需要严格保证消费顺序的场景,请务必设置合理的重试次数,避免参数不合理导致消息乱序。Rbf28资讯网——每日最新资讯28at.com

Q3:如果Broker掉线,局部有序还能保持有序吗?

如果一个Broker掉线,那么此时队列总数是否会发化?Rbf28资讯网——每日最新资讯28at.com

如果发生变化,那么同一个 ShardingKey 的消息就会发送到不同的队列上,造成乱序。Rbf28资讯网——每日最新资讯28at.com

如果不发生变化,那消息将会发送到掉线Broker的队列上,必然是失败的。Rbf28资讯网——每日最新资讯28at.com

因此 Apache RocketMQ 提供了两种模式,如果要保证严格顺序而不是可用性,创建 Topic 是要指定 -o 参数(--order)为true,表示顺序消息:Rbf28资讯网——每日最新资讯28at.com

$ sh bin/mqadmin updateTopic -c DefaultCluster -t TopicTest -o true -n 127.0.0.1:9876create topic to 127.0.0.1:10911 success.TopicConfig [topicName=TopicTest, readQueueNums=8, writeQueueNums=8, perm=RW-, topicFilterType=SINGLE_TAG, topicSysFlag=0, order=true, attributes=null]

其次,要保证NameServer中的配置 orderMessageEnable 和 returnOrderTopicConfigToBroker 必须是 true。Rbf28资讯网——每日最新资讯28at.com

如果上述任意一个条件不满足,则是保证可用性而不是严格顺序。Rbf28资讯网——每日最新资讯28at.com

Q4: 顺序消息有哪些限制?

同一条消息是否可以既是顺序消息,又是定时消息和事务消息?Rbf28资讯网——每日最新资讯28at.com

不可以。顺序消息、定时消息、事务消息是不同的消息类型,三者是互斥关系,不能叠加在一起使用。Rbf28资讯网——每日最新资讯28at.com

为什么全局顺序消息性能一般?Rbf28资讯网——每日最新资讯28at.com

全局顺序消息是严格按照FIFO的消息阻塞原则,即上一条消息没有被成功消费,那么下一条消息会一直被存储到Topic队列中。Rbf28资讯网——每日最新资讯28at.com

关键字总结

  • 全局有序:必须控制Topic只有一个队列queue,才能实现全局有序,性能一般。
  • 局部有序:性能较好,需要确保「生产有序」和「消费有序」,同时注意Broker掉线时的 可用性 与 有序性 权衡。

本文链接:http://www.28at.com/showinfo-26-10904-0.html三分钟白话RocketMQ系列—— 如何保证消息顺序性

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 实用!Python数据去重与唯一值提取:高效整理数据

下一篇: 什么是 Merge Queue,为什么要使用它?

标签:
  • 热门焦点
  • MIX Fold3包装盒泄露 新机本月登场

    小米的全新折叠屏旗舰MIX Fold3将于本月发布,近日该机的真机包装盒在网上泄露。从图上来看,新的MIX Fold3包装盒在外观设计方面延续了之前的方案,变化不大,这也是目前小米旗舰
  • 官方承诺:K60至尊版将会首批升级MIUI 15

    全新的MIUI 15今天也有了消息,在官宣了K60至尊版将会搭载天玑9200+处理器和独显芯片X7的同时,Redmi给出了官方承诺,K60至尊重大更新首批升级,会首批推送MIUI 15。也就是说虽然
  • K60至尊版狂暴引擎2.0加持:超177万跑分斩获性能第一

    Redmi的后性能时代战略发布会今天下午如期举办,在本次发布会上,Redmi公布了多项关于和联发科的深度合作,以及新机K60 Ultra在软件和硬件方面的特性,例如:“K60 至尊版,双芯旗舰
  • 7月安卓手机好评榜:三星S23Ultra好评率第一

    性能榜和性价比榜之后,我们来看最后的安卓手机好评榜,数据来源安兔兔评测,收集时间2023年7月1日至7月31日,仅限国内市场。第一名:三星Galaxy S23 Ultra好评率:95.71%在即将迎来新
  • 8月总票房已突破10亿!《封神》第一:口碑已经成了

    8月5日消息,据灯塔专业版数据,截至8月5日9时35分,8月总票房(含预售)已突破10亿。其中,《封神》以大比分的优势领先。根据官方消息,目前该片总票房已经超过14.
  • 三言两语说透设计模式的艺术-简单工厂模式

    一、写在前面工厂模式是最常见的一种创建型设计模式,通常说的工厂模式指的是工厂方法模式,是使用频率最高的工厂模式。简单工厂模式又称为静态工厂方法模式,不属于GoF 23种设计
  • 如何正确使用:Has和:Nth-Last-Child

    我们可以用CSS检查,以了解一组元素的数量是否小于或等于一个数字。例如,一个拥有三个或更多子项的grid。你可能会想,为什么需要这样做呢?在某些情况下,一个组件或一个布局可能会
  • 之家push系统迭代之路

    前言在这个信息爆炸的互联网时代,能够及时准确获取信息是当今社会要解决的关键问题之一。随着之家用户体量和内容规模的不断增大,传统的靠"主动拉"获取信息的方式已不能满足用
  • 上海举办人工智能大会活动,建设人工智能新高地

    人工智能大会在上海浦江两岸隆重拉开帷幕,人工智能新技术、新产品、新应用、新理念集中亮相。8月30日晚,作为大会的特色活动之一的上海人工智能发展盛典人工
Top