当前位置：首页 > 科技 > 软件

盘点分页查询中遇到的坑！

来源：责编：时间：2024-09-10 09:47:03 23观看

导读01、问题背景最近部分用户反馈在 APP 上查询自己名下订单数据时，当往下拉取数据的时候，列表上出现重复的订单数据，经过代码排查，后端代码是通过如下方式来实现数据的分页查询的。limit offset, size order by create_time

01、问题背景

最近部分用户反馈在 APP 上查询自己名下订单数据时，当往下拉取数据的时候，列表上出现重复的订单数据，经过代码排查，后端代码是通过如下方式来实现数据的分页查询的。

limit offset, size order by create_time desc

一开始大家都不以为然，这么标准的写法，怎么可能会出错！但经过细致的分析，这种排序方式，在 app 端分页查询的时候，确实存在问题。

详细的分析过程如下！

02、原因分析

首先我们初始化一张表，用于模拟订单表查询。

CREATE TABLE `tb_order` (  `order_id` bigint(11) unsigned NOT NULL,  `create_time` datetime DEFAULT NULL,  PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

然后初始化 5 条数据进去，方便数据分析

INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (1, '2023-03-03 12:00:01');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (2, '2023-03-03 12:00:02');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (3, '2023-03-03 12:00:03');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (4, '2023-03-03 12:00:04');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (5, '2023-03-03 12:00:05');

假设我们每次只查询 2 条数据，并且按照时间倒序来查询，结果如下：

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |   create_time       ||3        |  2023-03-03 12:00:03||2        |  2023-03-03 12:00:02|

当订单数据没有发生变动的时候，这种查询方式是不会造成出现重复的数据问题。

但是当订单数据发生了变动，比如在查询的时候，突然新增了订单数据，此时的查询结果就完全不一样了。

还是以上面为例，假设在第一次查询的时候，突然新增了一条数据，看看结果如何。

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 新增一条订单数据INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (6, '2023-03-03 12:00:06');-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |   create_time       ||4        |  2023-03-03 12:00:04||3        |  2023-03-03 12:00:03|

可以很明显的发现，订单【ID=4】的数据，出现在页面上两次，正常情况下只有一次！

图片

上面说到的是新增一条数据，假设删除某条数据，看看结果如何。

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 删除一条订单数据delete from tb_order where order_id = 4;-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |   create_time       ||2        |  2023-03-03 12:00:02||1        |  2023-03-03 12:00:01|

可以很明显的发现，删除订单【ID=4】的数据之后，页面查询结果直接到订单【ID=2】了，直接跳过订单【ID=3】了，也就是说订单【ID=3】的数据展示，丢失了！

图片

总结下来，结论如下！

当新增某条数据之后，通过常规的分页查询，列表会出现数据重复的现象；
当删除某条数据之后，通过常规的分页查询，列表会出现数据丢失的现象；

那怎么解决以上的问题呢？办法如下！

03、解决方案

针对上面所说的分页查询方式，我们需要做一些调整，调整办法如下：

第一步：当查询出当页的数据之后，记录下本次拉取的最后一条数据的排序字段值；当发起下一页数据查询的时候，带上这个参数，服务端通过这个参数做过滤条件
第二步：排序字段值不能出现重复，比如创建时间不能出现重复

以上面的新增为例，详细的实践过程如下：

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 新增一条订单数据INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (6, '2023-03-03 12:00:06');-- 发起第二页查询，带上第一页查询的最后一条数据的排序字段值select * from tb_order where create_time < '2023-03-03 12:00:04' order by create_time desc limit 0,2;-- 第二页查询结果|order_id |   create_time       ||3        |  2023-03-03 12:00:03||2        |  2023-03-03 12:00:02|

此时的查询结果正常，符合预期效果！

同样的，以上面的删除为例，详细的实践过程如下：

-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |   create_time       ||5        |  2023-03-03 12:00:05||4        |  2023-03-03 12:00:04|-- 删除一条订单数据delete from tb_order where order_id = 4;-- 发起第二页查询select * from tb_order where create_time < '2023-03-03 12:00:04' order by create_time desc limit 0,2;-- 第二页查询结果|order_id |   create_time       ||3        |  2023-03-03 12:00:03||2        |  2023-03-03 12:00:02|

查询结果与预期一致，正常！

04、深入思考

选择的排序字段值出现了重复，怎么办？

在上面我们提到了，排序字段值不能出现重复的要求，但是现实的情况是，如果以订单的创建时间来排序，当同一秒多次下单的时候大概率会出现重复，这个时候只能在订单表里面新增一个排序字段，设置全局唯一索引，内容是以时间为基础来生成，比如雪花算法，或者自己写一个基于时间全局自增的算法，确保全局唯一，最重要的是值的长度必须固定，订单主键 ID 的生成规则推荐采用此方式，利用主键 ID 来排序效率查询会非常高！

当出现多个排序字段时，如何处理？

如果是 app 端的查询，不建议设计多字段排序，因为在多字段排序的环境下，服务端在进行多条件的过滤查询时，可能会把有效的数据给过滤掉，如果无法避开，尽量将多个排序字段合并到一个排序字段上，保证数据的查询符合预期。

本文链接：http://www.28at.com/showinfo-26-112722-0.html盘点分页查询中遇到的坑！

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：是什么导致了，写入MySQL库表时间不正确？—— 官网也有Bug！

下一篇：架构设计的简单原则，你学会了吗？

标签：

热门焦点

一加Ace2 Pro真机揭晓钛空灰配色质感拉满

终于，在经过了几波预热之后，一加Ace2 Pro的外观真机图在网上出现了。还是博主数码闲聊站曝光的，这次的外观设计还是延续了一加11的方案，只是细节上有了调整，例如新加入了钛空灰
小米平板5 Pro 12.4简评：多专多能兼顾影音娱乐的大屏利器

疫情带来了网课，网课盘活了安卓平板，安卓平板市场虽然中途停滞了几年，但好的一点就是停滞的这几年行业又有了新的发展方向，例如超窄边框、高刷新率、多摄镜头组合等，这就让安卓
5月iOS设备性能榜：M1 M2依旧是榜单前五

和上个月一样，没有新品发布的iOS设备性能榜的上榜设备并没有什么更替，仅仅只有跑分变化而产生的排名变动，刚刚开始的苹果WWDC2023，推出的产品也依旧是新款Mac Pro、新款Mac Stu
Rust中的高吞吐量流处理

作者 | Noz编译 | 王瑞平本篇文章主要介绍了Rust中流处理的概念、方法和优化。作者不仅介绍了流处理的基本概念以及Rust中常用的流处理库，还使用这些库实现了一个流处理程序
Automa-通过连接块来自动化你的浏览器

1、前言通过浏览器插件可实现自动化脚本的录制与编写，具有代表性的工具就是：Selenium IDE、Katalon Recorder，对于简单的业务来说可快速实现自动化的上手工作。Selenium IDEKat
微信语音大揭秘：为什么禁止转发？

大家好，我是你们的小米。今天，我要和大家聊一个有趣的话题：为什么微信语音不可以转发？这是一个我们经常在日常使用中遇到的问题，也是一个让很多人好奇的问题。让我们一起来揭开这
梁柱接棒两年，腾讯音乐闯出新路子

文丨田静出品丨牛刀财经（niudaocaijing）7月5日，企鹅FM发布官方公告称由于业务调整，将于9月6日正式停止运营，这意味着腾讯音乐长音频业务走向消亡。腾讯在长音频领域还在摸索。为
iQOO Neo8系列新品发布会

旗舰双芯更强更Pro
联想小新Pad Pro 12.6将要推出，搭载高通骁龙 870 处理器

联想小新Pad Pro 12.6将于秋季新品会上推出，官方按照惯例直接在发布会前给出了机型的所有参数。联想小新 Pad Pro 12.6 将搭载高通骁龙 870 处理器，重量为 5