当前位置:首页 > 科技  > 软件

消息队列备选架构选择,你选择哪个?

来源: 责编: 时间:2023-11-30 09:27:58 304观看
导读备选架构1 - 开源方案评估kafka:人力成本:测试代表倾向于引入 Kafka,因为 Kafka 比较成熟,无须太多测试投入。中间件团队部分研发人员也支持使用 Kafka,因为使用 Kafka 能节省大量的开发投入。可维护性:Kafka 是 Scala 语言

备选架构1 - 开源方案评估

kafka:

人力成本:7RW28资讯网——每日最新资讯28at.com

测试代表倾向于引入 Kafka,因为 Kafka 比较成熟,无须太多测试投入。7RW28资讯网——每日最新资讯28at.com

中间件团队部分研发人员也支持使用 Kafka,因为使用 Kafka 能节省大量的开发投入。7RW28资讯网——每日最新资讯28at.com

可维护性:7RW28资讯网——每日最新资讯28at.com

Kafka 是 Scala 语言编写的,运维团队没有维护 Scala 语言开发的系统的经验,出问题后很难快速处理。7RW28资讯网——每日最新资讯28at.com

运维团队已经有一套成熟的运维体系,包括部署、监控、应急等,使用 Kafka 无法融入这套体系,需要单独投入运维人力。7RW28资讯网——每日最新资讯28at.com

7RW28资讯网——每日最新资讯28at.com

业务场景:7RW28资讯网——每日最新资讯28at.com

部分人员认为 Kafka 可能并不适合我们的业务场景,Kafka 是大容量的日志消息传输,而我们的消息队列是为了业务数据的可靠传输。7RW28资讯网——每日最新资讯28at.com

学习成本:7RW28资讯网——每日最新资讯28at.com

业务主管倾向于采用 Kafka 方案,因为 Kafka 已经比较成熟,各个业务团队或多或少都了解过 Kafka7RW28资讯网——每日最新资讯28at.com

备选架构2 - 自研集群 + MySQL 存储

图片图片7RW28资讯网——每日最新资讯28at.com

【简单描述】

1. Java 语言编写消息队列服务器;7RW28资讯网——每日最新资讯28at.com

2. 消息存储采用 MySQL;7RW28资讯网——每日最新资讯28at.com

3. SDK 轮询服务器进行消息写入;7RW28资讯网——每日最新资讯28at.com

4. SDK 轮询服务器进行消息读取;7RW28资讯网——每日最新资讯28at.com

5. MySQL 双机保证消息尽量不丢;7RW28资讯网——每日最新资讯28at.com

6. 使用 Netty 自定义消息格式,并且支持HTTP 接口。7RW28资讯网——每日最新资讯28at.com

成本:7RW28资讯网——每日最新资讯28at.com

中间件团队的研发人员认为这个方案比较简单,实现成本低,但测试代表认为这个方案测试人力投入较大。运维团队认为这个方案的硬件成本比较高,一个数据分组就需要4台机器(2台服务器 + 2台数据库)。7RW28资讯网——每日最新资讯28at.com

可维护性:7RW28资讯网——每日最新资讯28at.com

方案可以融入到现有的运维体系中,而且使用 MySQL 存储数据,可靠性有保证,运维团队也有丰富的 MySQL 运维经验。7RW28资讯网——每日最新资讯28at.com

业务主管对这个方案既不肯定也不否定,因为开发和运维都不是业务团队,对业务团队来说,只要保证消息队列系统稳定和可靠即可。7RW28资讯网——每日最新资讯28at.com

业务场景:7RW28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。7RW28资讯网——每日最新资讯28at.com

性能:7RW28资讯网——每日最新资讯28at.com

部分研发人员对于这个方案的性能持怀疑态度,毕竟使用 MySQL 来7RW28资讯网——每日最新资讯28at.com

存储消息数据,性能肯定不如使用文件系统。7RW28资讯网——每日最新资讯28at.com

其它:7RW28资讯网——每日最新资讯28at.com

是否会影响中间件团队的技术声誉,毕竟用 MySQL 来做消息队列,看起来比较“土”、比较另类。7RW28资讯网——每日最新资讯28at.com

7RW28资讯网——每日最新资讯28at.com

备选架构3 - 自研集群 + 自研存储

图片图片7RW28资讯网——每日最新资讯28at.com

1. 模拟 Kafka 的原理,用 Java 语言实现,也可以用 LSM 数据结构来存储消息。7RW28资讯网——每日最新资讯28at.com

2. 可以保证高可用高性能。7RW28资讯网——每日最新资讯28at.com

3. 加上可维护性的各种能力,嵌入到已有的运维体系。7RW28资讯网——每日最新资讯28at.com

备选架构3评估7RW28资讯网——每日最新资讯28at.com

成本:7RW28资讯网——每日最新资讯28at.com

要做到稳定可靠的存储系统,需要较长时间迭代,投入成本大。7RW28资讯网——每日最新资讯28at.com

自研存储系统的测试难度高,投入也很大。7RW28资讯网——每日最新资讯28at.com

可维护性:7RW28资讯网——每日最新资讯28at.com

可以融入到现有的运维体系中,但自研存储系统需要较长时间才能成熟,增大了运维风险和投入。7RW28资讯网——每日最新资讯28at.com

业务场景:7RW28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。7RW28资讯网——每日最新资讯28at.com

性能:7RW28资讯网——每日最新资讯28at.com

性能上相比 MySQL 要高,但初步评估并不能高太多。7RW28资讯网——每日最新资讯28at.com

可用性:7RW28资讯网——每日最新资讯28at.com

从历史经验来看,新系统上线肯定有bug,而存储系统出 bug 是最严重的,一旦出 bug 导致大量消息丢失,影响会很严重。运维代表不太赞成这个方案,因为运维之前遇到过几次类似的存储系统故障导致数据丢失的问题,损失惨重。7RW28资讯网——每日最新资讯28at.com

团队技术实力:7RW28资讯网——每日最新资讯28at.com

方案复杂度太高,按照目前的团队人力和技术实力,要做到稳定可靠的存储系统,有较大风险。7RW28资讯网——每日最新资讯28at.com

运维团队并不相信目前的中间件团队的技术实力足以支撑自己研发一个存储系统。7RW28资讯网——每日最新资讯28at.com

备选架构4 - 直接用阿里的 MetaQ

RocketMQ7RW28资讯网——每日最新资讯28at.com

成本:7RW28资讯网——每日最新资讯28at.com

低,接入即可。7RW28资讯网——每日最新资讯28at.com

可维护性:7RW28资讯网——每日最新资讯28at.com

UC 机房和阿里机房隔离,打通困难,如果在 UC 机房部署阿里的系统,部署、维护、升级的人力成本太高。7RW28资讯网——每日最新资讯28at.com

UC 机房3年内估计不会切换阿里机房。7RW28资讯网——每日最新资讯28at.com

业务场景:7RW28资讯网——每日最新资讯28at.com

可以为业务场景定制开发各种特性,例如权限控制、消费速度预警等。7RW28资讯网——每日最新资讯28at.com

性能:7RW28资讯网——每日最新资讯28at.com

性能上和 Kafka 基本持平。7RW28资讯网——每日最新资讯28at.com

可用性已经上线运行,支撑阿里业务,久经考验。7RW28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-35287-0.html消息队列备选架构选择,你选择哪个?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: useEffect 实践案例之一

下一篇: .NET开源的处理分布式事务的解决方案

标签:
  • 热门焦点
  • 一加Ace2 Pro官宣:普及16G内存 引领24G

    一加官方今天继续为本月发布的新机一加Ace2 Pro带来预热,公布了内存方面的信息。“淘汰 8GB ,12GB 起步,16GB 普及,24GB 引领,还有呢?#一加Ace2Pro#,2023 年 8 月,敬请期待。”同时
  • 一加Ace2 Pro真机揭晓 钛空灰配色质感拉满

    终于,在经过了几波预热之后,一加Ace2 Pro的外观真机图在网上出现了。还是博主数码闲聊站曝光的,这次的外观设计还是延续了一加11的方案,只是细节上有了调整,例如新加入了钛空灰
  • Redmi Pad评测:红米充满野心的一次尝试

    从Note系列到K系列,从蓝牙耳机到笔记本电脑,红米不知不觉之间也已经形成了自己颇有竞争力的产品体系,在中端和次旗舰市场上甚至要比小米新机的表现来得更好,正所谓“大丈夫生居
  • 谷歌KDD'23工作:如何提升推荐系统Ranking模型训练稳定性

    谷歌在KDD 2023发表了一篇工作,探索了推荐系统ranking模型的训练稳定性问题,分析了造成训练稳定性存在问题的潜在原因,以及现有的一些提升模型稳定性方法的不足,并提出了一种新
  • 使用LLM插件从命令行访问Llama 2

    最近的一个大新闻是Meta AI推出了新的开源授权的大型语言模型Llama 2。这是一项非常重要的进展:Llama 2可免费用于研究和商业用途。(几小时前,swyy发现它已从LLaMA 2更名为Lla
  • 这款新兴工具平台,让你的电脑效率翻倍

    随着信息技术的发展,我们获取信息的渠道越来越多,但是处理信息的效率却成为一个瓶颈。于是各种工具应运而生,都在争相解决我们的工作效率问题。今天我要给大家介绍一款效率
  • 三分钟白话RocketMQ系列—— 如何发送消息

    我们知道RocketMQ主要分为消息 生产、存储(消息堆积)、消费 三大块领域。那接下来,我们白话一下,RocketMQ是如何发送消息的,揭秘消息生产全过程。注意,如果白话中不小心提到相关代
  • 华为开发者大会2023日程公开:开设鸿蒙HarmonyOS 4体验区

    IT之家 7 月 31 日消息,华为今日公布了 HDC.Together 开发者大会 2023 的详细日程。整场大会将于 8 月 4 日-6 日之间举行,届时将发布最新一代鸿蒙 H
  • DRAM存储器10月价格下跌,NAND闪存本月价格与上月持平

    10月30日,据韩国媒体消息,自今年年初以来一直在上涨的 DRAM 存储器的交易价格仅在本月就下跌了近 10%,此次是全年首次降价,而NAND 闪存本月价格与上月持平。市
Top