当前位置:首页 > 科技  > 软件

消息队列备选架构选择,你选择哪个?

来源: 责编: 时间:2023-11-30 09:27:58 154观看
导读备选架构1 - 开源方案评估kafka:人力成本:测试代表倾向于引入 Kafka,因为 Kafka 比较成熟,无须太多测试投入。中间件团队部分研发人员也支持使用 Kafka,因为使用 Kafka 能节省大量的开发投入。可维护性:Kafka 是 Scala 语言

备选架构1 - 开源方案评估

kafka:

人力成本:wsW28资讯网——每日最新资讯28at.com

测试代表倾向于引入 Kafka,因为 Kafka 比较成熟,无须太多测试投入。wsW28资讯网——每日最新资讯28at.com

中间件团队部分研发人员也支持使用 Kafka,因为使用 Kafka 能节省大量的开发投入。wsW28资讯网——每日最新资讯28at.com

可维护性:wsW28资讯网——每日最新资讯28at.com

Kafka 是 Scala 语言编写的,运维团队没有维护 Scala 语言开发的系统的经验,出问题后很难快速处理。wsW28资讯网——每日最新资讯28at.com

运维团队已经有一套成熟的运维体系,包括部署、监控、应急等,使用 Kafka 无法融入这套体系,需要单独投入运维人力。wsW28资讯网——每日最新资讯28at.com

wsW28资讯网——每日最新资讯28at.com

业务场景:wsW28资讯网——每日最新资讯28at.com

部分人员认为 Kafka 可能并不适合我们的业务场景,Kafka 是大容量的日志消息传输,而我们的消息队列是为了业务数据的可靠传输。wsW28资讯网——每日最新资讯28at.com

学习成本:wsW28资讯网——每日最新资讯28at.com

业务主管倾向于采用 Kafka 方案,因为 Kafka 已经比较成熟,各个业务团队或多或少都了解过 KafkawsW28资讯网——每日最新资讯28at.com

备选架构2 - 自研集群 + MySQL 存储

图片图片wsW28资讯网——每日最新资讯28at.com

【简单描述】

1. Java 语言编写消息队列服务器;wsW28资讯网——每日最新资讯28at.com

2. 消息存储采用 MySQL;wsW28资讯网——每日最新资讯28at.com

3. SDK 轮询服务器进行消息写入;wsW28资讯网——每日最新资讯28at.com

4. SDK 轮询服务器进行消息读取;wsW28资讯网——每日最新资讯28at.com

5. MySQL 双机保证消息尽量不丢;wsW28资讯网——每日最新资讯28at.com

6. 使用 Netty 自定义消息格式,并且支持HTTP 接口。wsW28资讯网——每日最新资讯28at.com

成本:wsW28资讯网——每日最新资讯28at.com

中间件团队的研发人员认为这个方案比较简单,实现成本低,但测试代表认为这个方案测试人力投入较大。运维团队认为这个方案的硬件成本比较高,一个数据分组就需要4台机器(2台服务器 + 2台数据库)。wsW28资讯网——每日最新资讯28at.com

可维护性:wsW28资讯网——每日最新资讯28at.com

方案可以融入到现有的运维体系中,而且使用 MySQL 存储数据,可靠性有保证,运维团队也有丰富的 MySQL 运维经验。wsW28资讯网——每日最新资讯28at.com

业务主管对这个方案既不肯定也不否定,因为开发和运维都不是业务团队,对业务团队来说,只要保证消息队列系统稳定和可靠即可。wsW28资讯网——每日最新资讯28at.com

业务场景:wsW28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。wsW28资讯网——每日最新资讯28at.com

性能:wsW28资讯网——每日最新资讯28at.com

部分研发人员对于这个方案的性能持怀疑态度,毕竟使用 MySQL 来wsW28资讯网——每日最新资讯28at.com

存储消息数据,性能肯定不如使用文件系统。wsW28资讯网——每日最新资讯28at.com

其它:wsW28资讯网——每日最新资讯28at.com

是否会影响中间件团队的技术声誉,毕竟用 MySQL 来做消息队列,看起来比较“土”、比较另类。wsW28资讯网——每日最新资讯28at.com

wsW28资讯网——每日最新资讯28at.com

备选架构3 - 自研集群 + 自研存储

图片图片wsW28资讯网——每日最新资讯28at.com

1. 模拟 Kafka 的原理,用 Java 语言实现,也可以用 LSM 数据结构来存储消息。wsW28资讯网——每日最新资讯28at.com

2. 可以保证高可用高性能。wsW28资讯网——每日最新资讯28at.com

3. 加上可维护性的各种能力,嵌入到已有的运维体系。wsW28资讯网——每日最新资讯28at.com

备选架构3评估wsW28资讯网——每日最新资讯28at.com

成本:wsW28资讯网——每日最新资讯28at.com

要做到稳定可靠的存储系统,需要较长时间迭代,投入成本大。wsW28资讯网——每日最新资讯28at.com

自研存储系统的测试难度高,投入也很大。wsW28资讯网——每日最新资讯28at.com

可维护性:wsW28资讯网——每日最新资讯28at.com

可以融入到现有的运维体系中,但自研存储系统需要较长时间才能成熟,增大了运维风险和投入。wsW28资讯网——每日最新资讯28at.com

业务场景:wsW28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。wsW28资讯网——每日最新资讯28at.com

性能:wsW28资讯网——每日最新资讯28at.com

性能上相比 MySQL 要高,但初步评估并不能高太多。wsW28资讯网——每日最新资讯28at.com

可用性:wsW28资讯网——每日最新资讯28at.com

从历史经验来看,新系统上线肯定有bug,而存储系统出 bug 是最严重的,一旦出 bug 导致大量消息丢失,影响会很严重。运维代表不太赞成这个方案,因为运维之前遇到过几次类似的存储系统故障导致数据丢失的问题,损失惨重。wsW28资讯网——每日最新资讯28at.com

团队技术实力:wsW28资讯网——每日最新资讯28at.com

方案复杂度太高,按照目前的团队人力和技术实力,要做到稳定可靠的存储系统,有较大风险。wsW28资讯网——每日最新资讯28at.com

运维团队并不相信目前的中间件团队的技术实力足以支撑自己研发一个存储系统。wsW28资讯网——每日最新资讯28at.com

备选架构4 - 直接用阿里的 MetaQ

RocketMQwsW28资讯网——每日最新资讯28at.com

成本:wsW28资讯网——每日最新资讯28at.com

低,接入即可。wsW28资讯网——每日最新资讯28at.com

可维护性:wsW28资讯网——每日最新资讯28at.com

UC 机房和阿里机房隔离,打通困难,如果在 UC 机房部署阿里的系统,部署、维护、升级的人力成本太高。wsW28资讯网——每日最新资讯28at.com

UC 机房3年内估计不会切换阿里机房。wsW28资讯网——每日最新资讯28at.com

业务场景:wsW28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。wsW28资讯网——每日最新资讯28at.com

性能:wsW28资讯网——每日最新资讯28at.com

性能上和 Kafka 基本持平。wsW28资讯网——每日最新资讯28at.com

可用性已经上线运行,支撑阿里业务,久经考验。wsW28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-35287-0.html消息队列备选架构选择,你选择哪个?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: useEffect 实践案例之一

下一篇: .NET开源的处理分布式事务的解决方案

标签:
  • 热门焦点
  • 小米降噪蓝牙耳机Necklace分享:听一首歌 读懂一个故事

    小米降噪蓝牙耳机Necklace分享:听一首歌 读懂一个故事

    在今天下午的小米Civi 2新品发布会上,小米还带来了一款新的降噪蓝牙耳机Necklace,我们也在发布结束的第一时间给大家带来这款耳机的简单分享。现在大家能见到最多的蓝牙耳机
  • 28个SpringBoot项目中常用注解,日常开发、求职面试不再懵圈

    28个SpringBoot项目中常用注解,日常开发、求职面试不再懵圈

    前言在使用SpringBoot开发中或者在求职面试中都会使用到很多注解或者问到注解相关的知识。本文主要对一些常用的注解进行了总结,同时也会举出具体例子,供大家学习和参考。注解
  • Automa-通过连接块来自动化你的浏览器

    Automa-通过连接块来自动化你的浏览器

    1、前言通过浏览器插件可实现自动化脚本的录制与编写,具有代表性的工具就是:Selenium IDE、Katalon Recorder,对于简单的业务来说可快速实现自动化的上手工作。Selenium IDEKat
  • 得物效率前端微应用推进过程与思考

    得物效率前端微应用推进过程与思考

    一、背景效率工程随着业务的发展,组织规模的扩大,越来越多的企业开始意识到协作效率对于企业团队的重要性,甚至是决定其在某个行业竞争中突围的关键,是企业长久生存的根本。得物
  • 使用AIGC工具提升安全工作效率

    使用AIGC工具提升安全工作效率

    在日常工作中,安全人员可能会涉及各种各样的安全任务,包括但不限于:开发某些安全工具的插件,满足自己特定的安全需求;自定义github搜索工具,快速查找所需的安全资料、漏洞poc、exp
  • 重估百度丨“晚熟”的百度云,能等到春天吗?

    重估百度丨“晚熟”的百度云,能等到春天吗?

    ©自象限原创作者|程心排版|王喻可2016年7月13日,百度云计算战略发布会在北京举行,宣告着百度智能云的正式启程。彼时的会场座无虚席,甚至排队排到了门外,在场的所有人几乎都
  • 慕岩炮轰抖音,百合网今何在?

    慕岩炮轰抖音,百合网今何在?

    来源:价值研究所 作者:Hernanderz“难道就因为自己的一个产品牛逼了,从客服到总裁,都不愿意正视自己产品和运营上的问题,选择逃避了吗?”这一番话,出自百合网联合创
  • 华为HarmonyOS 4.0将于8月4日发布 或搭载AI大模型技术

    华为HarmonyOS 4.0将于8月4日发布 或搭载AI大模型技术

    华为宣布HarmonyOS4.0将于8月4日正式发布。此前,华为已经针对开发者公布了HarmonyOS4.0,以便于开发者提前进行适配,也因此被曝光出了一些新系统的特性
  • 荣耀Magic4 至臻版 首创智慧隐私通话 强劲影音系统

    荣耀Magic4 至臻版 首创智慧隐私通话 强劲影音系统

    2022年第一季度临近尾声,在该季度内,许多品牌陆续发布自己的最新产品,让大家从全新的角度来了解当今的手机技术。手机是电子设备中,更新迭代十分迅速的一款产品,基
Top