当前位置:首页 > 科技  > 软件

盘点分页查询中遇到的坑!

来源: 责编: 时间:2024-09-10 09:47:03 245观看
导读01、问题背景最近部分用户反馈在 APP 上查询自己名下订单数据时,当往下拉取数据的时候,列表上出现重复的订单数据,经过代码排查,后端代码是通过如下方式来实现数据的分页查询的。limit offset, size order by create_time

01、问题背景

最近部分用户反馈在 APP 上查询自己名下订单数据时,当往下拉取数据的时候,列表上出现重复的订单数据,经过代码排查,后端代码是通过如下方式来实现数据的分页查询的。yqN28资讯网——每日最新资讯28at.com

limit offset, size order by create_time desc

一开始大家都不以为然,这么标准的写法,怎么可能会出错!但经过细致的分析,这种排序方式,在 app 端分页查询的时候,确实存在问题。yqN28资讯网——每日最新资讯28at.com

详细的分析过程如下!yqN28资讯网——每日最新资讯28at.com

02、原因分析

首先我们初始化一张表,用于模拟订单表查询。yqN28资讯网——每日最新资讯28at.com

CREATE TABLE `tb_order` (  `order_id` bigint(11) unsigned NOT NULL,  `create_time` datetime DEFAULT NULL,  PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

然后初始化 5 条数据进去,方便数据分析yqN28资讯网——每日最新资讯28at.com

INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (1, '2023-03-03 12:00:01');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (2, '2023-03-03 12:00:02');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (3, '2023-03-03 12:00:03');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (4, '2023-03-03 12:00:04');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (5, '2023-03-03 12:00:05');

假设我们每次只查询 2 条数据,并且按照时间倒序来查询,结果如下:yqN28资讯网——每日最新资讯28at.com

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |   create_time       ||3        |  2023-03-03 12:00:03||2        |  2023-03-03 12:00:02|

当订单数据没有发生变动的时候,这种查询方式是不会造成出现重复的数据问题。yqN28资讯网——每日最新资讯28at.com

但是当订单数据发生了变动,比如在查询的时候,突然新增了订单数据,此时的查询结果就完全不一样了。yqN28资讯网——每日最新资讯28at.com

还是以上面为例,假设在第一次查询的时候,突然新增了一条数据,看看结果如何。yqN28资讯网——每日最新资讯28at.com

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 新增一条订单数据INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (6, '2023-03-03 12:00:06');-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |   create_time       ||4        |  2023-03-03 12:00:04||3        |  2023-03-03 12:00:03|

可以很明显的发现,订单【ID=4】的数据,出现在页面上两次,正常情况下只有一次!yqN28资讯网——每日最新资讯28at.com

图片图片yqN28资讯网——每日最新资讯28at.com

上面说到的是新增一条数据,假设删除某条数据,看看结果如何。yqN28资讯网——每日最新资讯28at.com

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 删除一条订单数据delete from tb_order where order_id = 4;-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |   create_time       ||2        |  2023-03-03 12:00:02||1        |  2023-03-03 12:00:01|

可以很明显的发现,删除订单【ID=4】的数据之后,页面查询结果直接到订单【ID=2】了,直接跳过订单【ID=3】了,也就是说订单【ID=3】的数据展示,丢失了!yqN28资讯网——每日最新资讯28at.com

图片图片yqN28资讯网——每日最新资讯28at.com

总结下来,结论如下!yqN28资讯网——每日最新资讯28at.com

  • 当新增某条数据之后,通过常规的分页查询,列表会出现数据重复的现象;
  • 当删除某条数据之后,通过常规的分页查询,列表会出现数据丢失的现象;

那怎么解决以上的问题呢?办法如下!yqN28资讯网——每日最新资讯28at.com


yqN28资讯网——每日最新资讯28at.com

03、解决方案

针对上面所说的分页查询方式,我们需要做一些调整,调整办法如下:yqN28资讯网——每日最新资讯28at.com

  • 第一步:当查询出当页的数据之后,记录下本次拉取的最后一条数据的排序字段值;当发起下一页数据查询的时候,带上这个参数,服务端通过这个参数做过滤条件
  • 第二步:排序字段值不能出现重复,比如创建时间不能出现重复

以上面的新增为例,详细的实践过程如下:yqN28资讯网——每日最新资讯28at.com

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 新增一条订单数据INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (6, '2023-03-03 12:00:06');-- 发起第二页查询,带上第一页查询的最后一条数据的排序字段值select * from tb_order where create_time < '2023-03-03 12:00:04' order by create_time desc limit 0,2;-- 第二页查询结果|order_id |   create_time       ||3        |  2023-03-03 12:00:03||2        |  2023-03-03 12:00:02|

此时的查询结果正常,符合预期效果!yqN28资讯网——每日最新资讯28at.com

同样的,以上面的删除为例,详细的实践过程如下:yqN28资讯网——每日最新资讯28at.com

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 删除一条订单数据delete from tb_order where order_id = 4;-- 发起第二页查询select * from tb_order where create_time < '2023-03-03 12:00:04' order by create_time desc limit 0,2;-- 第二页查询结果|order_id |   create_time       ||3        |  2023-03-03 12:00:03||2        |  2023-03-03 12:00:02|

查询结果与预期一致,正常!yqN28资讯网——每日最新资讯28at.com

04、深入思考

  • 选择的排序字段值出现了重复,怎么办?

在上面我们提到了,排序字段值不能出现重复的要求,但是现实的情况是,如果以订单的创建时间来排序,当同一秒多次下单的时候大概率会出现重复,这个时候只能在订单表里面新增一个排序字段,设置全局唯一索引,内容是以时间为基础来生成,比如雪花算法,或者自己写一个基于时间全局自增的算法,确保全局唯一,最重要的是值的长度必须固定,订单主键 ID 的生成规则推荐采用此方式,利用主键 ID 来排序效率查询会非常高!yqN28资讯网——每日最新资讯28at.com

  • 当出现多个排序字段时,如何处理?

如果是 app 端的查询,不建议设计多字段排序,因为在多字段排序的环境下,服务端在进行多条件的过滤查询时,可能会把有效的数据给过滤掉,如果无法避开,尽量将多个排序字段合并到一个排序字段上,保证数据的查询符合预期。yqN28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-112722-0.html盘点分页查询中遇到的坑!

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 是什么导致了,写入MySQL库表时间不正确?—— 官网也有Bug!

下一篇: 架构设计的简单原则,你学会了吗?

标签:
  • 热门焦点
  • vivo TWS Air开箱体验:真轻 臻好听

    在vivo S15系列新机的发布会上,vivo的最新款真无线蓝牙耳机vivo TWS Air也一同发布,本次就这款耳机新品给大家带来一个简单的分享。外包装盒上,vivo TWS Air保持了vivo自家产
  • 7月安卓手机性价比榜:努比亚+红魔两款新机入榜

    7月登场的新机有努比亚Z50S Pro和红魔8S Pro,除了三星之外目前唯二的两款搭载超频版骁龙8Gen2处理器的产品,而且努比亚和红魔也一贯有着不错的性价比,所以在本次的性价比榜单
  • 摸鱼心法第一章——和配置文件说拜拜

    为了能摸鱼我们团队做了容器化,但是带来的问题是服务配置文件很麻烦,然后大家在群里进行了“亲切友好”的沟通图片图片图片图片对比就对比,简单对比下独立配置中心和k8s作为配
  • 2023 年的 Node.js 生态系统

    随着技术的不断演进和创新,Node.js 在 2023 年达到了一个新的高度。Node.js 拥有一个庞大的生态系统,可以帮助开发人员更快地实现复杂的应用。本文就来看看 Node.js 最新的生
  • 本地生活这块肥肉,拼多多也想吃一口

    出品/壹览商业 作者/李彦编辑/木鱼拼多多也看上本地生活这块蛋糕了。近期,拼多多在App首页&ldquo;充值中心&rdquo;入口上线了本机生活界面。壹览商业发现,该界面目前主要
  • 得物宠物生意「狂飙」,发力“它经济”

    作者|花花小萌主近日,得物宣布正式上线宠物鉴别,通过得物App内的&ldquo;在线鉴别&rdquo;,可找到鉴别宠物的选项。通过上传自家宠物的部位细节,就能收获拥有专业资质认证的得物鉴
  • 质感不错!OPPO K11渲染图曝光:旗舰IMX890传感器首次下放

    一直以来,OPPO K系列机型都保持着较为均衡的产品体验,历来都是2K价位的明星机型,去年推出的OPPO K10和OPPO K10 Pro两款机型凭借各自的出色配置,堪称有
  • 联想YOGA 16s 2022笔记本将要推出,屏幕支持触控功能

    联想此前宣布,将于11月2日19:30召开联想秋季轻薄新品发布会,推出联想 YOGA 16s 2022 笔记本等新品。官方称,YOGA 16s 2022 笔记本将搭载 16 英寸屏幕,并且是一
  • DRAM存储器10月价格下跌,NAND闪存本月价格与上月持平

    10月30日,据韩国媒体消息,自今年年初以来一直在上涨的 DRAM 存储器的交易价格仅在本月就下跌了近 10%,此次是全年首次降价,而NAND 闪存本月价格与上月持平。市
Top