当前位置：首页 > 元宇宙 > AI

聚焦OLAP性能提升，火山引擎ByteHouse发布六大场景解决方案

来源：责编：时间：2024-08-07 08:19:35 61观看

导读性能在数据分析中至关重要，它直接决定数据处理的效率与及时性，进一步对数据驱动的企业决策造成影响。举个例子来看，某个大型电商公司每天产生海量的交易数据，数据分析团队需要通过这些数据了解客户的购买行为、热门商品、

性能在数据分析中至关重要，它直接决定数据处理的效率与及时性，进一步对数据驱动的企业决策造成影响。

举个例子来看，某个大型电商公司每天产生海量的交易数据，数据分析团队需要通过这些数据了解客户的购买行为、热门商品、销售趋势等，来制定营销策略和优化运营。当分析团队获取过去一个月的销售数据报告时，由于数据量庞大，系统处理速度缓慢，需要几十分钟到几小时才能得出结果。而在某些促销活动期间，如果不能及时获取最新的销售数据来评估活动效果，就无法及时调整策略，错失营销机会。

随着数字化转型的深入，不仅仅是电商领域，各行业都需要基于实时数据做出关键决策。而对企业底层数据系统来说，在处理复杂的数据分析任务，如多维度的关联分析或数据挖掘时，可能出现延迟、崩溃、错误等问题，导致数据不准确、不完整、时效性差。

作为火山引擎推出的一款OLAP产品，ByteHouse具备原生的高性能优势，广泛应用于字节跳动和外部企业的数据分析场景。早在2022年2月，ByteHouse在字节跳动的部署规模已超1万8000台，单集群超2400台。针对数据分析中常见的实时吞吐慢、BI报表慢、在线/离线分析慢等情况，ByteHouse推出六大场景的性能提升方案，进一步提升OLAP性能，助力企业更快速、更准确实施决策。

第一，在实时吞吐的场景中，ByteHouse支持Upsert的部分列更新能力，确保每秒百万数据入库前提下的落盘即更新。其次，基于自研uniqueMergeTree引擎，ByteHouse为数据写入即去重提供性能保障，特别是满足了IoT 场景下的高性能诉求。此外，ByteHouse自研的 Flink Connector 能更好对接Flink，为数据写入建立更高效、流畅的通路。以某畅销游戏公司的实践举例，该公司每秒需要写入 220 万条游戏平台日志数据，相当于每秒写入约 4GB数据，而在ByteHouse的支持下，该公司的底层数据引擎能很好满足以上诉求，且性能实现线性增长。

第二，在BI报表分析场景中，数据分析师、运营团队等经常会遇到报表生成慢、指标平台响应慢、管理驾驶舱显示速度慢等问题。一方面，ByteHouse通过增强MV物化视图和Projection功能，实现对复杂查询、计算逻辑的预聚合，提升应用层的性能表现，另一方面基于QueryCache来缓存数据和复杂查询中的结果集。在某娱乐型公司的应用实践中，ByteHouse支撑该公司每天15亿数据记录，每秒6万TPS峰值，使报表时效性从过去的T+1 方式直接压缩到分钟级，甚至秒级。

第三，在在线、离线复杂分析场景中，ByteHouse则针对CBO、RBO等进行自研优化器增强。此外，对于Runtime Filter这一对大关联场景性能提升有关键影响的技术，ByteHouse自研分布式缓存能够进一步解决分离架构带来的性能损失问题。

第四，在湖仓联邦分析场景中，ByteHouse基于 Native Reader 技术压缩 IO访问路径，提升外表访问性能。通过进一步与优化器进行融合，ByteHouse能持续提高湖仓分析速度。

第五，在人群圈选与行为分析场景中，ByteHouse 具备 BitEngine/BitMap64/BitMap indexDe等自研引擎和增强功能，通过与增长分析DataFinder、客户数据平台VeCDP等应用紧密结合，ByteHouse针对业务场景开发了大量内置分析函数，如留存分析、路径分析等。即使在10 亿级的用户圈选的场景下， P99 响应时间也能达到秒级到毫秒级。

第六，在以图搜图场景中，ByteHouse推出了Vector引擎，即向量检索能力。通过支持多种向量检索算法以及高效的执行链路，ByteHouse可以支撑极大规模向量检索场景，达到毫秒级的查询延迟。在某舆情监测企业的实践中，行业相关产品的查询效率在几秒到十多秒之间，而优化后的ByteHouse只需150-200毫秒内，就能从大规模数据中查找出近似的 1000 张图片，并完成相似度评分。

在整体性能数据上，通过使用SSB、TPC-H 和 TPC-DS三种数据集进行性能测试，并以性能著称的某开源OLAP为基准测试产品，ByteHouse在不同查询项上都有显著的性能提升。以TPC-H数据集举例，在相同硬件和软件环境下， ByteHouse 查询效率高于本次基准测试产品几十倍。

目前，ByteHouse应用于互联网、游戏、金融、汽车、气象等领域，持续为企业提供极致的数据分析能力，助推数智化转型升级。

举报 0收藏 0打赏 0评论 0

更多>同类资讯

鸿蒙智行享界S9发布上市｜小艺一语直达奢享空间

8月6日，全景智慧旗舰轿车——鸿蒙智行享界S9正式发布上市，首发轿车后排零重力座椅，配备总裁级扶手屏，以创新科技重新定义隐私安全、个性专属的座舱。同时其车载智慧助手小艺强大的语音操控能力、专属的个性服务、专业的出行用车知识，为用户提供随说随享、一语直达奢

08-06

西门子Xcelerator即服务助力松下进行家电开发数字化转型

·西门子支持全球领先的电子产品制造商松下电器将产品开发和设计数据管理转移到软件即服务(SaaS)模式,作为其数字化转型(DX)策略——“松下转型”(Panasonic Transformation–PX)的一部分·西门子与松下携手,通过基于云的产品生命周期管理,大规模实施西门子Xcelerator即

08-06

红人聚创始人禹橙：应用AI技术结晶为企业打开获客大门

8月1日，NewMoney撕董会主理人黑总王博轩“手撕”红人聚创始人禹橙。在采访中，禹橙表示：“红人聚一句话概括，就是创业者服务平台。目前平台有三大核心技术与一项新兴科技，分别是：公域获客，私域运营，商业模式和AI技术的应用开发能力。我们平台致力于不断迭代三大技

08-06

前乒乓国手尹航空降热聊，网球女王郑钦文连麦互动，腾讯QQ频道你是会整活的

从“莎头”组合勇夺中国队奥运混双首枚金牌，到梦姐、莎莎顶峰相见的女单决赛，再到“小胖”逆风翻盘圆梦“大满贯”，国乓大家庭“冲击五金”的氛围也感染着密切关注奥运的球迷们。为了让广大体育迷更近距离感受奥运氛围，腾讯QQ频道特邀前乒乓球国手尹航在男单决赛前空

08-06

以研发创新为发展要素三星持续为消费者带来更出色的旗舰产品

长久以来任何行业，任何领域，创新都是引领发展的重要因素。而如今这一因素在手机领域最为明显。作为人们生活中不可或缺的重要伙伴，手机的创新技术，为人们带来了更加舒适的使用体验和丰富功能。作为手机领域名副其实的引领者，长久以来，三星凭借领先的创新和技术实力

08-06

捕捉夏日美好 “小白兔”EOS R50青春微单定格你的最美瞬间

夏日是一年中最绚烂多彩的季节，阳光明媚，也是户外人像摄影的黄金时期。随着夏日的热情悄然绽放，每一刻都闪耀着不同的光彩，那些笑颜如花、光影交错的瞬间，值得被最细腻的方式镌刻。在这个充满活力的季节里，如何利用自然光、色彩以及场景，拍摄出既清新又富有情感的

08-06

七夕臻选之礼用三星Galaxy Z Fold6为Ta打造浪漫记忆

相传每年的七月初七，牛郎织女便会在鹊桥相会。象征爱情的七夕节，被赋予了上千年的浪漫色彩，当代人甚至将它称为中国“情人节”。如今，随着互联网和社交媒体的发展，七夕当天，人们除了用礼物表达心意，越来越多的人会额外附上一张增添仪式感的“电子情书”，象征着爱

08-06

Soul App发布《2024年第二季度生态安全报告》，每日保护用户免遭骚扰上万次

近日，新型开放式社交平台Soul App(下简称“Soul”)发布《2024年第二季度Soul生态安全报告》。报告显示，该季度平台重点动作在诈骗治理、网络暴力治理、未成年保护、完善社交礼仪体系等方面展开。随着近年来“清朗”系列专项行动全面深化，Soul始终将企业责任放在首位，

08-06

相约七夕节日礼物就选三星Galaxy Buds3系列

七夕是相聚的日子，无论是初识时渐生情愫的约会，还是日夜牵挂后的久别重逢，于夏末秋初的夜幕里执手相望，爱情从此便有了意义。而作为约会最浪漫的部分，赠送礼物环节自然也成为节日的仪式感所在。众多礼物备选中，不久前问世的耳机新品三星Galaxy Buds3系列就成为非常

08-06

星环科技实力入选IDC生成式AI生态图谱

近日，IDC发布了2024年第二季度《中国生成式AI生态图谱》，星环科技凭借在大模型领域的深耕布局和技术实力，以及优势显著的人工智能基础软件实力，入选GenAI应用（行业应用）、GenAI平台（模型构建和编排、数据管理）、基础设施（AI基础设施软件）多个关键板块。生成式A

08-06

星环科技Transwarp Data Studio 4.0 ：适应AI新时代实现三大能力提升

企业数据资产管理能力建设需要经历资源化、资产化和资本化三个阶段，对应数据底座建设、资产管理平台建设、流通运营平台建设三大任务。星环科技大数据开发工具 Transwarp Data Studio，在此过程中发挥着承上启下的关键作用。近日，星环科技重磅发布大数据开发工具Transw

08-06

云南鲜花产业带报告披露，过去一年通过抖音电商售出超5600万支粉钻康乃馨

8月2日，抖音电商“2024云南鲜花趋势分享会暨七夕大促启动会”在昆明举行。活动现场，该平台发布了《2024抖音电商云南鲜花产业带发展报告》(下称“报告”)，全面呈现过去一年云南鲜花产业带的发展情况。报告披露，截至目前，云南鲜花话题的抖音播放量已超25亿次。过去一

08-06

中国游泳队“泳”攀高峰森歌创造“霏”比寻常的美好生活

巴黎盛会游泳赛场最后一个比赛日，成为中国游泳队创造历史的荣耀时刻：男子4×100米混合泳接力决赛中，由徐嘉余、覃海洋、孙佳俊、潘展乐组成的中国队游出3分27秒46，夺得金牌，打破美国队长达40年对该项目的垄断!创造新的亚洲纪录!这一历史性的关键时刻，中国游泳队交

08-06

IN糖6全面升级！天猫精灵IN糖系列再添新成员

8月5日，阿里巴巴旗下人工智能品牌天猫精灵举办新品发布会，全球代言人歌手周深携新品天猫精灵IN糖6正式亮相。以“藏不住的礼物”为主题，天猫精灵IN糖6重磅宣布在千岛式互动屏、Hi-Res认证高音质、温湿度调控及周深语音包方面的多项创新。IN糖系列是天猫精灵一直以来的

08-05

4K三分频「新物种」，天猫精灵「哇哦闺蜜机」今日开售！

8月5日，天猫精灵于北京召开高端品牌暨新品发布会，正式推出旗下全新高端品牌「哇哦」及其首款智能交互平板「哇哦闺蜜机」。「哇哦闺蜜机」是一款可不受供电限制可随意移动的大屏终端产品，支持影视、健身、学习、办公等多场景下人机互动。据洛图科技研报，2023年为移动

08-05

点击查看更多 +

全站最新

鸿蒙智行享界S9发布上市｜小艺一语直达奢享空间

西门子Xcelerator即服务助力松下进行家电开发数字化转型

远非传闻的51%，特斯拉车主回归燃油车的比例实际不足13%

自研AI大模型加持，华为新款MatePad Air正式发布

广汽埃安香港上市计划曝光，IPO筹备工作如火如荼

腾讯参与月之暗面3亿美元融资，知情人士：消息属实

热门内容

滑板少年，奥运第四！——我校崔宸曦同学在巴黎奥运会上为国争光
适合看巴黎奥运会的投影仪推荐：全玻璃镜头的当贝F6久看不虚焦！
在哪看巴黎奥运会比赛直播？三色激光当贝D6X大屏看直播
造谣者微信朋友圈流出！遭“预告式”阻击，国产数据库易鲸捷惹谁啦？
半导体产业高质量发展大会在南京成功举办
BOE（京东方）与联合国教科文组织（UNESCO）签订合作协议成为首个支持联合国“科学十年”的中国科技企业
这个夏天不留遗憾用EOS R7青春专微留下最美的人像照
钟祺翔领航鹰角网络多元化布局，《明日方舟：终末地》进展受瞩目
2024年巴黎奥运会投影仪推荐！当贝X5S让你拥有最震撼的现场体验
专注充电充满想象，罗马仕全球品牌升级打造全场景用电体验生态
IDC报告 | 飞渡科技位列数字孪生平台市场份额第一，以20.7%的高占比领跑行业市场
亚信科技深度参与中国联通合作伙伴大会携手共创下一个30年！
ZenithX科技艺术综合体发布会成功举办，10款黑科技产品从“惊喜”到“惊叹”
拜登有阿尔茨海默症风险吗？中国的公司告诉你真相
助威国乒全民夺金绿源携手中国国家乒乓球队征战巴黎奥运会

本栏最新

鸿蒙智行享界S9发布上市｜小艺一语直达奢享空间

西门子Xcelerator即服务助力松下进行家电开发数字化转型

红人聚创始人禹橙：应用AI技术结晶为企业打开获客大门

前乒乓国手尹航空降热聊，网球女王郑钦文连麦互动，腾讯QQ频道你是会整活的

以研发创新为发展要素三星持续为消费者带来更出色的旗舰产品

捕捉夏日美好 “小白兔”EOS R50青春微单定格你的最美瞬间

本文链接：http://www.28at.com/showinfo-45-6236-0.html聚焦OLAP性能提升，火山引擎ByteHouse发布六大场景解决方案

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： AI录音笔：录音实时转文字，多人讨论不怕信息遗漏

下一篇：寄快递需‘刷脸’？官方澄清：仅为试点，非硬性规定

标签：

热门焦点

元宇宙终究没火过两年

来源：传播体操在ChatGPT快速破圈的同时，元宇宙的热度却一泻千里。虽然互联网大厂们都没有否认元宇宙的长期想象力，但在行动上却都纷纷表示了对元宇宙短期前景的悲观。号称改变
元宇宙是投资中国的第五次重大机遇

作者为凯思博投资董事长导语：投资逻辑要来自于人性在社会发展过程中的普遍规律，由第一性原理出发找出重大的投资机会来。1978年的改革开放到今天，中国总共经历了
江西将探索成立元宇宙联盟，韩国将加强对NFT和元宇宙的监管

《元宇宙新鲜事》有：江西将探索成立元宇宙联盟，支持南昌规划建设元宇宙试验区；韩国金融监督局将加强对NFT和元宇宙的监管；任天堂社长表示暂时不打算加入元宇宙。【
Niantic与索尼在音频AR领域达成合作；苹果为Apple Park申请形象化商标

今日热点：迪士尼任命新高管负责元宇宙业务；iFixit成为Valve Index VR头显和Steam Deck首家零件销售商；Niantic与索尼达成合作，将为AR游戏《Ingress》带来音频体验；V
《刀剑神域》VR展开幕；《Puzzling Places》发布第二个付费DLC

今日热点：《刀剑神域：Ex-Chronicle Online Edition》VR展开幕；虚拟活动平台EventX再获800万美元B轮融资；VR射击游戏《Outlier》确认将于3月17日登陆Steam平台等。
Shiba Inu布局元宇宙走出Meme局限

以「狗狗币杀手」成名的Shiba Inu（SHIB）在人们的印象中始终有着浓厚的Meme（模因恶搞）烙印，但它似乎一直在尝试突破这种局限。建立起一个庞大的粉丝社区后，Shiba Inu
元宇宙画廊体验报告：有点头疼。

2 月 10 日，Hrishi Rajasekar 在旧金山铸币厂的沉浸式 NFT 展览 Verse 观看增强现实艺术品。“我们现在在虚拟世界中吗？时间好像变长了” 我问身后排队的人。我
MR——元宇宙平台的下一代入口

作为“元宇宙”的领头羊，Meta的一举一动都受到业内的高度关注。华尔街见闻提及，2月17日周四，Facebook母公司Meta在透露，其混合现实技术（MR）将在几年后实现，让人们对元
虚拟人的3大纪律和6种品牌孵化模式

作者：陈格雷（老小格）及团队虚拟人很热，我们最近广泛收集和研究了、各种消费品牌企业在虚拟人开发上的一些主要特点，整理出6种最主要的品牌虚拟人模式，后面一一介绍。