当前位置:首页 > 科技  > 软件

消息队列备选架构选择,你选择哪个?

来源: 责编: 时间:2023-11-30 09:27:58 347观看
导读备选架构1 - 开源方案评估kafka:人力成本:测试代表倾向于引入 Kafka,因为 Kafka 比较成熟,无须太多测试投入。中间件团队部分研发人员也支持使用 Kafka,因为使用 Kafka 能节省大量的开发投入。可维护性:Kafka 是 Scala 语言

备选架构1 - 开源方案评估

kafka:

人力成本:R9i28资讯网——每日最新资讯28at.com

测试代表倾向于引入 Kafka,因为 Kafka 比较成熟,无须太多测试投入。R9i28资讯网——每日最新资讯28at.com

中间件团队部分研发人员也支持使用 Kafka,因为使用 Kafka 能节省大量的开发投入。R9i28资讯网——每日最新资讯28at.com

可维护性:R9i28资讯网——每日最新资讯28at.com

Kafka 是 Scala 语言编写的,运维团队没有维护 Scala 语言开发的系统的经验,出问题后很难快速处理。R9i28资讯网——每日最新资讯28at.com

运维团队已经有一套成熟的运维体系,包括部署、监控、应急等,使用 Kafka 无法融入这套体系,需要单独投入运维人力。R9i28资讯网——每日最新资讯28at.com

R9i28资讯网——每日最新资讯28at.com

业务场景:R9i28资讯网——每日最新资讯28at.com

部分人员认为 Kafka 可能并不适合我们的业务场景,Kafka 是大容量的日志消息传输,而我们的消息队列是为了业务数据的可靠传输。R9i28资讯网——每日最新资讯28at.com

学习成本:R9i28资讯网——每日最新资讯28at.com

业务主管倾向于采用 Kafka 方案,因为 Kafka 已经比较成熟,各个业务团队或多或少都了解过 KafkaR9i28资讯网——每日最新资讯28at.com

备选架构2 - 自研集群 + MySQL 存储

图片图片R9i28资讯网——每日最新资讯28at.com

【简单描述】

1. Java 语言编写消息队列服务器;R9i28资讯网——每日最新资讯28at.com

2. 消息存储采用 MySQL;R9i28资讯网——每日最新资讯28at.com

3. SDK 轮询服务器进行消息写入;R9i28资讯网——每日最新资讯28at.com

4. SDK 轮询服务器进行消息读取;R9i28资讯网——每日最新资讯28at.com

5. MySQL 双机保证消息尽量不丢;R9i28资讯网——每日最新资讯28at.com

6. 使用 Netty 自定义消息格式,并且支持HTTP 接口。R9i28资讯网——每日最新资讯28at.com

成本:R9i28资讯网——每日最新资讯28at.com

中间件团队的研发人员认为这个方案比较简单,实现成本低,但测试代表认为这个方案测试人力投入较大。运维团队认为这个方案的硬件成本比较高,一个数据分组就需要4台机器(2台服务器 + 2台数据库)。R9i28资讯网——每日最新资讯28at.com

可维护性:R9i28资讯网——每日最新资讯28at.com

方案可以融入到现有的运维体系中,而且使用 MySQL 存储数据,可靠性有保证,运维团队也有丰富的 MySQL 运维经验。R9i28资讯网——每日最新资讯28at.com

业务主管对这个方案既不肯定也不否定,因为开发和运维都不是业务团队,对业务团队来说,只要保证消息队列系统稳定和可靠即可。R9i28资讯网——每日最新资讯28at.com

业务场景:R9i28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。R9i28资讯网——每日最新资讯28at.com

性能:R9i28资讯网——每日最新资讯28at.com

部分研发人员对于这个方案的性能持怀疑态度,毕竟使用 MySQL 来R9i28资讯网——每日最新资讯28at.com

存储消息数据,性能肯定不如使用文件系统。R9i28资讯网——每日最新资讯28at.com

其它:R9i28资讯网——每日最新资讯28at.com

是否会影响中间件团队的技术声誉,毕竟用 MySQL 来做消息队列,看起来比较“土”、比较另类。R9i28资讯网——每日最新资讯28at.com

R9i28资讯网——每日最新资讯28at.com

备选架构3 - 自研集群 + 自研存储

图片图片R9i28资讯网——每日最新资讯28at.com

1. 模拟 Kafka 的原理,用 Java 语言实现,也可以用 LSM 数据结构来存储消息。R9i28资讯网——每日最新资讯28at.com

2. 可以保证高可用高性能。R9i28资讯网——每日最新资讯28at.com

3. 加上可维护性的各种能力,嵌入到已有的运维体系。R9i28资讯网——每日最新资讯28at.com

备选架构3评估R9i28资讯网——每日最新资讯28at.com

成本:R9i28资讯网——每日最新资讯28at.com

要做到稳定可靠的存储系统,需要较长时间迭代,投入成本大。R9i28资讯网——每日最新资讯28at.com

自研存储系统的测试难度高,投入也很大。R9i28资讯网——每日最新资讯28at.com

可维护性:R9i28资讯网——每日最新资讯28at.com

可以融入到现有的运维体系中,但自研存储系统需要较长时间才能成熟,增大了运维风险和投入。R9i28资讯网——每日最新资讯28at.com

业务场景:R9i28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。R9i28资讯网——每日最新资讯28at.com

性能:R9i28资讯网——每日最新资讯28at.com

性能上相比 MySQL 要高,但初步评估并不能高太多。R9i28资讯网——每日最新资讯28at.com

可用性:R9i28资讯网——每日最新资讯28at.com

从历史经验来看,新系统上线肯定有bug,而存储系统出 bug 是最严重的,一旦出 bug 导致大量消息丢失,影响会很严重。运维代表不太赞成这个方案,因为运维之前遇到过几次类似的存储系统故障导致数据丢失的问题,损失惨重。R9i28资讯网——每日最新资讯28at.com

团队技术实力:R9i28资讯网——每日最新资讯28at.com

方案复杂度太高,按照目前的团队人力和技术实力,要做到稳定可靠的存储系统,有较大风险。R9i28资讯网——每日最新资讯28at.com

运维团队并不相信目前的中间件团队的技术实力足以支撑自己研发一个存储系统。R9i28资讯网——每日最新资讯28at.com

备选架构4 - 直接用阿里的 MetaQ

RocketMQR9i28资讯网——每日最新资讯28at.com

成本:R9i28资讯网——每日最新资讯28at.com

低,接入即可。R9i28资讯网——每日最新资讯28at.com

可维护性:R9i28资讯网——每日最新资讯28at.com

UC 机房和阿里机房隔离,打通困难,如果在 UC 机房部署阿里的系统,部署、维护、升级的人力成本太高。R9i28资讯网——每日最新资讯28at.com

UC 机房3年内估计不会切换阿里机房。R9i28资讯网——每日最新资讯28at.com

业务场景:R9i28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。R9i28资讯网——每日最新资讯28at.com

性能:R9i28资讯网——每日最新资讯28at.com

性能上和 Kafka 基本持平。R9i28资讯网——每日最新资讯28at.com

可用性已经上线运行,支撑阿里业务,久经考验。R9i28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-35287-0.html消息队列备选架构选择,你选择哪个?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: useEffect 实践案例之一

下一篇: .NET开源的处理分布式事务的解决方案

标签:
  • 热门焦点
  • 对标苹果的灵动岛 华为带来实况窗功能

    继苹果的灵动岛之后,华为也在今天正式推出了“实况窗”功能。据今天鸿蒙OS 4.0的现场演示显示,华为的实况窗可以更高效的展现出实时通知,比如锁屏上就能看到外卖、打车、银行
  • 把LangChain跑起来的三个方法

    使用LangChain开发LLM应用时,需要机器进行GLM部署,好多同学第一步就被劝退了,那么如何绕过这个步骤先学习LLM模型的应用,对Langchain进行快速上手?本片讲解3个把LangChain跑起来
  • 三言两语说透设计模式的艺术-单例模式

    写在前面单例模式是一种常用的软件设计模式,它所创建的对象只有一个实例,且该实例易于被外界访问。单例对象由于只有一个实例,所以它可以方便地被系统中的其他对象共享,从而减少
  • JavaScript学习 -AES加密算法

    引言在当今数字化时代,前端应用程序扮演着重要角色,用户的敏感数据经常在前端进行加密和解密操作。然而,这样的操作在网络传输和存储中可能会受到恶意攻击的威胁。为了确保数据
  • 共享单车的故事讲到哪了?

    来源丨海克财经与共享充电宝相差不多,共享单车已很久没有被国内热点新闻关照到了。除了一再涨价和用户直呼用不起了。近日多家媒体再发报道称,成都、天津、郑州等地多个共享单
  • 10天营收超1亿美元,《星铁》比《原神》差在哪?

    来源:伯虎财经作者:陈平安即便你没玩过《原神》,你一定听说过的它的大名。恨它的人把《原神》开服那天称作是中国游戏史上最黑暗的一天,有粉丝因为索尼在PS平台上线《原神》,怒而
  • 冯提莫签约抖音公会 前“斗鱼一姐”消失在直播间

    来源:直播观察提起“冯提莫”这个名字,很多网友或许听过,但应该不记得她是哪位主播了。其实,作为曾经的“斗鱼一姐”,冯提莫在游戏直播的年代影响力不输于现
  • 华为发布HarmonyOS 4:更好玩、更流畅、更安全

    在8月4日的华为开发者大会2023(HDC.Together)大会上,HarmonyOS 4正式发布。自2019年发布以来,HarmonyOS一直以用户为中心,经历四年多的发展HarmonyOS已
  • 支持aptX Lossless无损传输 iQOO TWS 1赛道版发布限时优惠价369元

    2023年7月4日,“无损音质,声动人心”iQOO TWS 1正式发布,支持aptX Lossless无损传输,限时优惠价369元。iQOO TWS 1耳机率先支持端到端aptX Lossless无
Top