当前位置:首页 > 科技  > 软件

OceanBase这次把我惊到了!

来源: 责编: 时间:2023-11-30 09:29:24 324观看
导读我刚开始工作时做一个OA系统,业务也比较简单,用户数也很少,数据很“单纯”,一个SQL Server数据库感觉就绰绰有余了。后来互联网大爆发,尤其是移动互联网到来以后,数据越来越多,越来越杂。图片单机存不下来,又得搞分布式,分库分

我刚开始工作时做一个OA系统,业务也比较简单,用户数也很少,数据很“单纯”,一个SQL Server数据库感觉就绰绰有余了。Xmc28资讯网——每日最新资讯28at.com

后来互联网大爆发,尤其是移动互联网到来以后,数据越来越多,越来越杂。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

单机存不下来,又得搞分布式,分库分表;不仅仅是OLTP,还需要OLAP,HTAP……Xmc28资讯网——每日最新资讯28at.com

公司被迫采用各种各样的文档数据库、列式数据库、键值数据库来应对,变成了大杂烩。Xmc28资讯网——每日最新资讯28at.com

我时常在想,有没有一种的数据库,把这些问题统一解决呢?Xmc28资讯网——每日最新资讯28at.com

解决不了全部,能解决80%也行啊。Xmc28资讯网——每日最新资讯28at.com

答案是肯定的,那就是OceanBase。Xmc28资讯网——每日最新资讯28at.com

OceanBase我在之前的漫画中给大家介绍过,它最早是为了解决淘宝和支付宝中海量数据处理而诞生的,完全自主研发的原生分布式数据库。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

OceanBase 已连续 10 年稳定支撑双 11,创新推出“三地五中心”城市级容灾新标准,在被誉为“数据库世界杯”的 TPC-C 和 TPC-H 测试上都刷新过世界纪录。Xmc28资讯网——每日最新资讯28at.com

OceanBase采用了一种一体化的设计思路来解决数据库问题,包括一体化架构、一体化引擎和一体化产品,接下来分别给大家聊一下。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

1.一体化架构

一体化架构的意思是单机分布式一体化,实现数据可大可小。Xmc28资讯网——每日最新资讯28at.com

如果企业规模小,数据量也小,完全可以把OceanBase做单机部署。实际上,OceanBase甚至可以部署到树莓派这样简单的计算机中,实现主备库的模式。Xmc28资讯网——每日最新资讯28at.com

在企业的数据变大的时候,OceanBase能实现平滑伸缩,把单机变成分布式,对用户完全透明。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

2.一体化引擎

2.1 一体化存储引擎

大家都知道,交易型应用(OLTP)和分析型应用(OLAP)对存储的要求是不同的。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

但是现在很多系统既要支持OLTP,又要支持OLAP,即混合负载(HTAP) 。Xmc28资讯网——每日最新资讯28at.com

OceanBase是一个Shared Nothing的多副本架构,这就有两种设计思路:Xmc28资讯网——每日最新资讯28at.com

(1)每个副本都用相同格式(如行存/行列混合),所有请求都直接由主副本提供服务。Xmc28资讯网——每日最新资讯28at.com

这种方案没有数据延迟的问题,但没有支持列存,OLAP差一些,适合OLTP+非常轻量的OLAP场景。Xmc28资讯网——每日最新资讯28at.com

(2)副本采用不同的存储格式,主副本行存支持OLTP,某一备副本用列存支持OLAP。Xmc28资讯网——每日最新资讯28at.com

这种方案通过引入列存大幅提升了OLAP的能力,但是主副本与备副本之间会额外引入毫秒级的延迟,适合简单的OLTP的场景加上中等的OLAP的场景。Xmc28资讯网——每日最新资讯28at.com

对于这两种方式,OceanBase通过一体化的存储引擎都会进行支持,通过一套数据库内核,同时实现OLTP和OLAP两种业务。Xmc28资讯网——每日最新资讯28at.com

2.2 一体化执行引擎

在混合负载下,肯定既有简单查询,又有复杂查询,对于简单查询,数据量小,那就由SQL层把数据从存储层拉上来。Xmc28资讯网——每日最新资讯28at.com

复杂查询涉及到的数据量比较大,所以要并行执行,SQL层需要把执行计划推到存储层,降低网络开销。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

这种推拉结合的方式,让执行引擎把简单查询和复杂查询很好地融入到了一套系统中。Xmc28资讯网——每日最新资讯28at.com

2.3 存算分离引擎

OceanBase是Share Nothing架构,但云端是Share Storage,两者之间似乎存在矛盾,如何融合呢?Xmc28资讯网——每日最新资讯28at.com

OceanBase采用了LSM-Tree做底层存储,数据分为 基线数据+增量数据,在多个副本之间,基线数据是一样的,所以可以共享一份存储。Xmc28资讯网——每日最新资讯28at.com

通过日志副本和仲裁副本的方式,进一步降低计算开销,最终用一个副本的存储,接近两个副本之间的计算的极小代价,在云端实现了弹性。Xmc28资讯网——每日最新资讯28at.com

3.一体化产品

3.1 一体化SQL

相比集中式数据库和单机数据库,分布式数据库有些事情很难实现,比如大事务,涉及到参与者,分区数特别多,分布式事务基本上不可能完成。Xmc28资讯网——每日最新资讯28at.com

再比如锁表,如果表涉及的分区特别多,也不可能把每个分区都锁住。Xmc28资讯网——每日最新资讯28at.com

本质的问题就是原生分布式数据库是一个分区一个独立日志流,使得锁表这样的操作和分区数成正比。Xmc28资讯网——每日最新资讯28at.com

OceanBase则通过动态日志流的技术,把一台机器上所有分区动态融入到一个日志流,使得大事务,锁表的复杂度与机器数成正比,不与分区成正比。Xmc28资讯网——每日最新资讯28at.com

最终实现分布式数据库与集中式数据库与单机数据库完全对标的SQL功能。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

3.2 多模融合

OceanBase数据库不但可以支持多种模型,并且支持模型之间的互操作,真正实现了多模融合。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

3.3 一体化产品家族

OceanBase围绕关键业务负载,提升关键生态能力。Xmc28资讯网——每日最新资讯28at.com

比如OceanBase实现了很多关键核心业务要求的“变更操作可以回溯,回滚”,把企业的合规流程融入到了数据库开发者工作流程中。Xmc28资讯网——每日最新资讯28at.com

很多关键应用,用户都要求新老系统长期并跑,一键逃生,不管新系统出现什么问题,都可以一键逃生到老系统。Xmc28资讯网——每日最新资讯28at.com

图片图片Xmc28资讯网——每日最新资讯28at.com

4.OceanBase 4.2.1 LTS版本

最新发布的OceanBase 4.2.1 LTS是首个长期支持、可规模化使用的一体化数据库,具备OLTP完整的核心功能。Xmc28资讯网——每日最新资讯28at.com

在以上描述的核心技术支持下,它性能更强,TP性能是3.2版本的1.9倍;AP性能是3.2版本的2.7倍。Xmc28资讯网——每日最新资讯28at.com

通过引入基于仲裁的无损容灾方案,通过两个副本实现RPO等于0。Xmc28资讯网——每日最新资讯28at.com

在OceanBase列存实验室版本展示中,与业界业内顶流列存数据库ClickHouse跑分PK,结果不仅性能处于同一水平,甚至还快了那么一点点。Xmc28资讯网——每日最新资讯28at.com

5.总结

对数据库这个产品来说,其实用户并不关注底层的具体实现,集中式也好,分布式也罢,行存也行,列存也行。用户关注的是使用体验,是不是高可用、高安全、高性价比。Xmc28资讯网——每日最新资讯28at.com

OceanBase在这一点上做得很好,它在不断解决各种场景问题,尤其是关键业务处理时,摸索出了一套最佳实践,形成了一体化的解决思路,这就是OceanBase最惊艳的地方。Xmc28资讯网——每日最新资讯28at.com

当然,一体化不是简单的拼装组合,也不是要解决所有的问题,就像有了手机、电视,我们还是回去电影院看电影一样,在特殊领域还是需要用专业的数据库的。Xmc28资讯网——每日最新资讯28at.com

用技术让海量的数据管理和使用更简单,希望OceanBase持续打造能够承载关键业务负载的一体化数据库,不断满足客户的需求。Xmc28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-35312-0.htmlOceanBase这次把我惊到了!

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 调用三方服务为什么要使用 Webhook?

下一篇: Vue 3的Teleport特性详解,你了解几分?

标签:
  • 热门焦点
  • 从 Pulsar Client 的原理到它的监控面板

    背景前段时间业务团队偶尔会碰到一些 Pulsar 使用的问题,比如消息阻塞不消费了、生产者消息发送缓慢等各种问题。虽然我们有个监控页面可以根据 topic 维度查看他的发送状态,
  • 只需五步,使用start.spring.io快速入门Spring编程

    步骤1打开https://start.spring.io/,按照屏幕截图中的内容创建项目,添加 Spring Web 依赖项,并单击“生成”按钮下载 .zip 文件,为下一步做准备。请在进入步骤2之前进行解压。图
  • 2天涨粉255万,又一赛道在抖音爆火

    来源:运营研究社作者 | 张知白编辑 | 杨佩汶设计 | 晏谈梦洁这个暑期,旅游赛道彻底火了:有的「地方」火了——贵州村超旅游收入 1 个月超过 12 亿;有的「博主」火了&m
  • 自律,给不了Keep自由!

    来源 | 互联网品牌官作者 | 李大为编排 | 又耳 审核 | 谷晓辉自律能不能给用户自由暂时不好说,但大概率不能给Keep自由。近日,全球最大的在线健身平台Keep正式登陆港交所,努力
  • 一条抖音4亿人围观 ! 这家MCN比无忧传媒还野

    作者:Hiu 来源:互联网品牌官01 擦边少女空降热搜,幕后推手曝光被网友誉为“纯欲天花板”的女网红井川里予,近期因为一组哥特风照片登上热搜,引发了一场互联网世界关于
  • 认真聊聊东方甄选:如何告别低垂的果实

    来源:山核桃作者:财经无忌爆火一年后,俞敏洪和他的东方甄选依旧是颇受外界关心的“网红”。7月5日至9日,为期5天的东方甄选“甘肃行”首次在自有App内直播,
  • 三星Galaxy Z Fold/Flip 5国行售价曝光 :最低7499元/12999元起

    据官方此前宣布,三星将于7月26日也就是明天在韩国首尔举办Unpacked活动,届时将带来带来包括Galaxy Buds 3、Galaxy Watch 6、Galaxy Tab S9、Galaxy
  • OPPO K11评测:旗舰级IMX890加持 2000元档最强影像手机

    【Techweb评测】中端机型用户群体巨大,占了中国目前手机市场的大头,一直以来都是各手机品牌的“必争之地”,其中OPPO K系列机型一直以来都以高品质、
  • DRAM存储器10月价格下跌,NAND闪存本月价格与上月持平

    10月30日,据韩国媒体消息,自今年年初以来一直在上涨的 DRAM 存储器的交易价格仅在本月就下跌了近 10%,此次是全年首次降价,而NAND 闪存本月价格与上月持平。市
Top