当前位置：首页 > 科技 > 软件

Doris到底有多牛，为什么大厂都在使用它？

来源：责编：时间：2024-01-19 17:25:14 391观看

导读今天给各位分享一个非常牛的实时分析型数据库Apache Doris，几乎国内的一二线大厂都在使用它做数据分析，如下图，这只是一小部分图片同时我司也在使用它，它目前支撑了我们亿级业务数据的多维实时查询分析，而且性能很不错Dori

今天给各位分享一个非常牛的实时分析型数据库Apache Doris，几乎国内的一二线大厂都在使用它做数据分析，如下图，这只是一小部分

图片

同时我司也在使用它，它目前支撑了我们亿级业务数据的多维实时查询分析，而且性能很不错

Doris 介绍

官方地址：https://doris.apache.org/

Apache Doris源于百度2008年启动的产品Palo在2018年捐献给Apache基金会，是一个基于 MPP 架构的高性能、实时的分析型数据库，它非常简单易用，而且性能还不错，仅需亚秒级响应时间即可获得查询结果，不仅支持高并发的查询场景，也可以支持高吞吐的复杂分析场景，比如你可以基于它做用户行为分析、日志检索平台、用户画像分析、订单分析等应用。

Doris的架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集

特性

图片

这里特性很多，但是如果没接触过大数据的同学，可能不是特别了解，但是注意这个特性，支持SQL 语言，兼容MySQL，比如：通过Mybatis 写好 sql，就可以调用查询，而且它能支持亿级数据检索响应，以前想分库分表，现在有了它可以考虑还有必要吗，但是这里要注意下，它是一个 OLAP 引擎与 OLTP还是有点区别，如果业务场景，新增多后期更新少，同时查询场景多，那么可以在 mysql 中保存一段时间的热点数据，来进行相关业务操作，而报表查询都走Doris

这里可能有些人员不懂什么是 OLAP，下面是一个OLAP与OLTP对比图

图片

架构

Doirs只有两个主进程模块。一个是 Frontend（FE），另一个是Backend（BE）

图片

Frontend（FE）

主要负责用户请求的接入、查询计划的解析、元数据的存储和集群管理相关工作， Doris采用Paxos协议以及Memory + Checkpoint + Journal的机制来确保元数据的高性能及高可靠。

图片

Leader、follower和 observer它们三个构成一个可靠的服务，保证单节点宕机的情况下，元数据能够实时地在线恢复，而不影响整个服务，与zookeeper角色一样。

Backend（BE）

BE主要负责数据存储、查询计划的执行。

BE管理tablet副本, tablet是table经过分区分桶形成的子表, 采用列式存储。
BE受FE指导, 创建或删除子表。
BE接收FE分发的物理执行计划与其他BE共同协作完成执行。
BE读本地的列存储引擎, 获取数据, 通过索引和谓词下沉快速过滤数据。
BE后台执行compact任务, 减少查询时的读放大。

以上FE和 BE支持动态弹性扩容，而且在扩容过程中对应用无影响，同时Doris 不依赖zk、hdfs等，所以架构很简单，这种架构设计极大的简化了运维成本，其实一个好的产品就应该这样，把复杂留给自己，把简单留给用户

OLAP对比

在我们解决大数据查询分析时，也调研了比较知名的一些产品，下面是一个对比

图片

TIDB

TIDB 是一个非常优秀的国产分布式数据库，他的主要优势OLTP处理上，但是也支持OLAP，但是在我们调研过程中，抱着使用一个TIDB 完全替代掉Mysql 想法，我们进行了测试，我们使用的版本是v5.3.3，但是在测试过程中效果不理想，因为 TIDB 解析引擎会对SQL进行分析，来决定走 OLTP 还是OLAP，比如我们期望走OLAP 但是走了OLTP导致性能有所降低

ClickHouse

提到 Doris 不得不提ClickHouse，CK是由俄罗斯IT公司Yandex为Yandex.Metrica网络分析服务开发的开发的实时数仓，以性能著称，但是经过测试，与 Doris在不同场景各有优劣，但是它的架构复杂、运维成本高，同时对 sql 语法兼容性没有Doris好，因此没有选择，不过国内也有不少公司在使用

Doris

运维成本低、兼容Mysql 语法、架构足够简单、社区支持性好（非常活跃），同时经过百度内部长达10 多年的大规模使用，成熟度不容置疑，没有理由不选它

性能测试报告

Doris 版本：0.15.0，目前最新版本是：2.03

1 FE + 3 BE 独立部署
CPU：8core 16G Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz
内存：16GB
硬盘：1块机械硬盘
网卡：万兆网卡

测试1

图片

6亿数据进行多表查询，响应1.98s

SELECT SUM(lo_revenue), d_year, p_brand FROM lineorder, date, part, supplier WHERE lo_orderdate = d_datekey AND lo_partkey = p_partkey AND lo_suppkey = s_suppkey AND p_category = 'MFGR#12' AND s_region = 'AMERICA' GROUP BY d_year, p_brand ORDER BY d_year, p_brand;

图片

测试2

ods_test_mysql_test_record_s数据量：148399619，67 个字段

ods_test_mysql_test_barrier_s数据量：1385，12个字段

执行以下 sql，耗时：0.277s

SELECT    i.a1 AS p_code,    IFNULL(IFNULL(i.a56, b.a2), '0') AS gateway_no,    1 AS inout_type,    DATE_FORMAT(i.a2, '%Y-%m-%d') AS report_date,    DATE_FORMAT(i.a2, '%Y') AS report_year,    DATE_FORMAT(i.a2, '%c') AS report_month,    1 AS total_num,    (CASE WHEN i.a6 = 1 THEN 1 ELSE 0 END) AS big_car_num,    (CASE WHEN i.a6 != 1 THEN 1 ELSE 0 END) AS small_car_num,    (CASE WHEN i.a44 REGEXP '[京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}(([0-9]{5}[DABCEFGHJK])|([DABCEFGHJK][A-HJ-NP-Z0-9][0-9]{4}))$' THEN 1 ELSE 0 END) AS new_power_car_num,    (CASE WHEN i.a61 = 2 OR i.a61 = 3 THEN 1 ELSE 0 END) AS reserve_num,    (CASE WHEN i.a61 = 1 THEN 1 ELSE 0 END) AS white_list_num,    (CASE WHEN i.a6 = 1 AND (i.a61 = 2 OR i.a61 = 3) THEN 1 ELSE 0 END) AS big_car_reserve_num,    (CASE WHEN i.a6 = 1 AND i.a61 = 1 THEN 1 ELSE 0 END) AS big_car_white_list_num,    (CASE WHEN i.a6 != 1 AND (i.a61 = 2 OR i.a61 = 3) THEN 1 ELSE 0 END) AS small_car_reserve_num,    (CASE WHEN i.a6 != 1 AND i.a61 = 1 THEN 1 ELSE 0 END) AS small_car_white_list_num,    (CASE WHEN (i.a61 = 2 OR i.a61 = 3) AND i.a44 REGEXP '[京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}(([0-9]{5}[DABCEFGHJK])|([DABCEFGHJK][A-HJ-NP-Z0-9][0-9]{4}))$' THEN 1 ELSE 0 END) AS new_power_reserve_num,    (CASE WHEN i.a61 = 1 AND i.a44 REGEXP '[京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}(([0-9]{5}[DABCEFGHJK])|([DABCEFGHJK][A-HJ-NP-Z0-9][0-9]{4}))$' THEN 1 ELSE 0 END) AS new_power_white_list_num,    CURRENT_TIMESTAMP() AS update_timeFROM    ods_test_mysql_test_record_s i    LEFT JOIN ods_test_mysql_test_barrier_s b ON i.a22 = b.a1WHERE    i.a67 = 0    AND i.a1 = '100280023213'    AND i.a2 < '2021-11-20 00:00:00'    AND (        i.a2 BETWEEN DATE_FORMAT(i.a2, '%Y-%m-%d 00:00:00') AND FROM_UNIXTIME(UNIX_TIMESTAMP(DATE_FORMAT(i.a2, '%Y-%m-%d 00:00:00')) + 90000, '%Y-%m-%d %H:%i:%s')    )LIMIT 1000;

图片

测试3

只查询小于2022-12-30 00:00:00数据，响应时间：0.241s

SELECT    i.a1 AS p_code,    IFNULL(IFNULL(i.a56, b.a2), '0') AS gateway_no,    1 AS inout_type,    DATE_FORMAT(i.a2, '%Y-%m-%d') AS report_date,    DATE_FORMAT(i.a2, '%Y') AS report_year,    DATE_FORMAT(i.a2, '%c') AS report_month,    1 AS total_num,    (CASE WHEN i.a6 = 1 THEN 1 ELSE 0 END) AS big_car_num,    (CASE WHEN i.a6 != 1 THEN 1 ELSE 0 END) AS small_car_num,    (CASE WHEN i.a44 REGEXP '[京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}(([0-9]{5}[DABCEFGHJK])|([DABCEFGHJK][A-HJ-NP-Z0-9][0-9]{4}))$' THEN 1 ELSE 0 END) AS new_power_car_num,    (CASE WHEN i.a61 = 2 OR i.a61 = 3 THEN 1 ELSE 0 END) AS reserve_num,    (CASE WHEN i.a61 = 1 THEN 1 ELSE 0 END) AS white_list_num,    (CASE WHEN i.a6 = 1 AND (i.a61 = 2 OR i.a61 = 3) THEN 1 ELSE 0 END) AS big_car_reserve_num,    (CASE WHEN i.a6 = 1 AND i.a61 = 1 THEN 1 ELSE 0 END) AS big_car_white_list_num,    (CASE WHEN i.a6 != 1 AND (i.a61 = 2 OR i.a61 = 3) THEN 1 ELSE 0 END) AS small_car_reserve_num,    (CASE WHEN i.a6 != 1 AND i.a61 = 1 THEN 1 ELSE 0 END) AS small_car_white_list_num,    (CASE WHEN (i.a61 = 2 OR i.a61 = 3) AND i.a44 REGEXP '[京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}(([0-9]{5}[DABCEFGHJK])|([DABCEFGHJK][A-HJ-NP-Z0-9][0-9]{4}))$' THEN 1 ELSE 0 END) AS new_power_reserve_num,    (CASE WHEN i.a61 = 1 AND i.a44 REGEXP '[京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}(([0-9]{5}[DABCEFGHJK])|([DABCEFGHJK][A-HJ-NP-Z0-9][0-9]{4}))$' THEN 1 ELSE 0 END) AS new_power_white_list_num,    CURRENT_TIMESTAMP() AS update_timeFROM    ods_test_mysql_test_record_s i    LEFT JOIN ods_test_mysql_test_barrier_s b ON i.a22 = b.a1WHERE i.a2 < '2022-12-30 00:00:00' LIMIT 10000;

图片

测试 4

最新官方性能测试报告：https://doris.apache.org/zh-CN/docs/benchmark/ssb/

高可用测试

如下图FE3台组建一个高可用集群，分别为：

172.17.0.3 FOLLOWER
172.17.0.4 FOLLOWER
172.17.0.5 MASTER

图片

下面对会对常见一些异常场景进行测试验证，以下部分测试案例

MASTER下线测试

测试结果

成功，所有操作符合预期

测试过程

登录172.17.0.5 服务器杀掉FE节点

图片

查看FE节点状态是否正常，登录172.17.0.3服务器查看状态，执行以下命令

SHOW PROC '/frontends';

可以看到172.17.0.4成为了master，而172.17.0.5显示已经不在线了 Alive=false

图片

执行插入数据操作，可以看到执行成功。

图片

启动172.17.0.5，查看是否能加入集群

sh /root/fe/bin/start_fe.sh 172.17.0.3:9010 --daemon

通过日志可以看到启动成功，并成为了FOLLOWER节点

图片

修复缺失或损坏副本

测试结果

成功，所有操作符合预期

测试过程

1.执行如下命令看到分区10099的副本损坏，需要对它进行恢复创建空白副本

ADMIN SHOW REPLICA STATUS FROM table2 PARTITION (p201706, p201707,p201708);

图片

2.登录master fe

ADMIN SET FRONTEND CONFIG ("recover_with_empty_tablet" = "true");

3.查看数据副本状态

ADMIN SHOW REPLICA STATUS FROM table2 PARTITION (p201706, p201707,p201708);

图片

4.恢复设置

ADMIN SET FRONTEND CONFIG ("recover_with_empty_tablet" = "false");

系统Down机重启副本测试

测试结果

成功，所有操作符合预期

测试过程

1.停止0.5服务

2.查询副本状态

ADMIN SHOW REPLICA STATUS FROM table4;

3.重启服务，副本状态恢复正常

图片

本文链接：http://www.28at.com/showinfo-26-65365-0.htmlDoris到底有多牛，为什么大厂都在使用它？

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：自动化测试再升级，大模型与软件测试相结合

下一篇：单体架构、微服务和无服务器架构

标签：

热门焦点

6月安卓手机性能榜：vivo/iQOO霸占旗舰排行榜前三

2023年上半年已经正式过去了，我们也迎来了安兔兔V10版本，在新的骁龙8Gen3和天玑9300发布之前，性能榜的榜单大体会以骁龙8Gen2和天玑9200+为主，至于那颗3.36GHz的骁龙8Gen2领先
Golang 中的 io 包详解：组合接口

io.ReadWriter// ReadWriter is the interface that groups the basic Read and Write methods.type ReadWriter interface { Reader Writer}是对Reader和Writer接口的组合，
这款新兴工具平台，让你的电脑效率翻倍

随着信息技术的发展,我们获取信息的渠道越来越多,但是处理信息的效率却成为一个瓶颈。于是各种工具应运而生,都在争相解决我们的工作效率问题。今天我要给大家介绍一款效率
JVM优化：实战OutOfMemoryError异常

一、Java堆溢出堆内存中主要存放对象、数组等，只要不断地创建这些对象，并且保证 GC Roots 到对象之间有可达路径来避免垃圾收集回收机制清除这些对象，当这些对象所占空间超过
使用AIGC工具提升安全工作效率

在日常工作中，安全人员可能会涉及各种各样的安全任务，包括但不限于：开发某些安全工具的插件，满足自己特定的安全需求；自定义github搜索工具，快速查找所需的安全资料、漏洞poc、exp
共享单车的故事讲到哪了？

来源丨海克财经与共享充电宝相差不多，共享单车已很久没有被国内热点新闻关照到了。除了一再涨价和用户直呼用不起了。近日多家媒体再发报道称，成都、天津、郑州等地多个共享单
阿里瓴羊One推出背后，零售企业迎数字化新解

作者:刘旷近年来随着数字经济的高速发展，各式各样的SaaS应用服务更是层出不穷，但本质上SaaS大多局限于单一业务流层面，对用户核心关切的增长问题等则没有提供更好的解法。在Saa
网传小米汽车开始筛选交付中心建筑面积不低于3000平方米

7月7日消息，近日有微博网友@长三角行健者爆料称，据经销商集团反馈，小米汽车目前已经开始了交付中心的筛选工作，要求候选场地至少有120个车位，建筑不能低
iQOO 11S新品发布会

iQOO将在7月4日19:00举行新品发布会，推出杭州亚运会电竞赛事官方用机iQOO 11S。

Doris到底有多牛，为什么大厂都在使用它？

Doris 介绍

特性

Frontend（FE）

Backend（BE）

OLAP对比

TIDB

ClickHouse

Doris

性能测试报告

测试1

测试2

测试3

测试 4

高可用测试

MASTER下线测试

测试结果

测试过程

修复缺失或损坏副本

测试结果

测试过程

系统Down机重启副本测试

测试结果

测试过程

6月安卓手机性能榜：vivo/iQOO霸占旗舰排行榜前三

Golang 中的 io 包详解：组合接口

这款新兴工具平台，让你的电脑效率翻倍

JVM优化：实战OutOfMemoryError异常

使用AIGC工具提升安全工作效率

共享单车的故事讲到哪了？

阿里瓴羊One推出背后，零售企业迎数字化新解

网传小米汽车开始筛选交付中心建筑面积不低于3000平方米

iQOO 11S新品发布会

最新推荐

猜你喜欢

热门推荐

相关资讯