当前位置：首页 > 科技 > 软件

MyBatis批量插入数据优化，那叫一个优雅！

来源：责编：时间：2024-01-02 09:30:34 350观看

导读在项目开发中，我们经常需要进行大量数据的批量插入操作。然而，在实际应用中，插入大量数据时性能常常成为一个瓶颈。在我最近的项目中，我发现了一些能够显著提升批量插入性能的方法，并进行了一系列实验来验证它们的有效性。

在项目开发中，我们经常需要进行大量数据的批量插入操作。然而，在实际应用中，插入大量数据时性能常常成为一个瓶颈。在我最近的项目中，我发现了一些能够显著提升批量插入性能的方法，并进行了一系列实验来验证它们的有效性。

今日内容介绍，大约花费15分钟

图片

背景介绍

我们使用了 mybatis-plus 框架，并采用其中的 saveBatch 方法进行批量数据插入。然而，通过深入研究源码，我发现这个方法并没有如我期望的那样高效

图片

这是因为最终在执行的时候还是通过for循环一条条执行insert,然后再一批的进行flush ,默认批的消息为1000

图片

为了找到更优秀的解决方案，我展开了一场性能优化的探索之旅。好了我们现在开始探索

实验准备

创建一张表tb_student

create table springboot_mp.tb_student(    id      bigint auto_increment comment '主键ID'        primary key,    stuid   varchar(40)   not null comment '学号',    name    varchar(30)   null comment '姓名',    age     tinyint       null comment '年龄',    sex     tinyint(1)    null comment '性别 0 男 1 女',    dept    varchar(2000) null comment '院系',    address varchar(400)  null comment '家庭地址',    constraint stuid        unique (stuid));

创建spring-boot-mybatis-demo项目并在pom.xml中添加依赖

图片

<dependencies>    <dependency>        <groupId>org.springframework.boot</groupId>        <artifactId>spring-boot-starter-web</artifactId>    </dependency>    <dependency>        <groupId>org.springframework.boot</groupId>        <artifactId>spring-boot-starter-test</artifactId>    </dependency>    <dependency>        <groupId>mysql</groupId>        <artifactId>mysql-connector-java</artifactId>        <version>8.0.30</version>    </dependency>    <dependency>        <groupId>com.baomidou</groupId>        <artifactId>mybatis-plus-boot-starter</artifactId>        <version>3.5.3</version>    </dependency>    <dependency>        <groupId>org.projectlombok</groupId>        <artifactId>lombok</artifactId>    </dependency></dependencies>

application.yml配置

server:  port: 8890spring:  application:    name: mybatis-demo #指定服务名  datasource:    username: root    password: root#    url: jdbc:mysql://localhost:3306/springboot_mp?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true    url: jdbc:mysql://localhost:3306/springboot_mp?useUnicode=true&characterEncoding=utf8    driver-class-name: com.mysql.cj.jdbc.Driver#mybatis-plus:  configuration:    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl  mapper-locations: classpath*:/mapper/**/*.xml

使用mybatisX生成代码

图片

探索实验

每次都是插入100000条数据

注意:因为我的电脑性能比较好，所以才插入这么多数据，大家可以插入1000进行实验对比

单条循环插入：传统方法的基准

首先，我采用了传统的单条循环插入方法，将每条数据逐一插入数据库，作为性能对比的基准。

/** * @author springboot葵花宝典 * @description: TODO */@SpringBootTestpublic class MybatisTest {    @Autowired    private StudentService studentService;    @Autowired    private SqlSessionFactory sqlSessionFactory;    @Test    public void MybatisBatchSaveOneByOne(){        SqlSession sqlSession = sqlSessionFactory.openSession();        try {            StopWatch stopWatch = new StopWatch();            stopWatch.start("mybatis plus save one");            for (int i = 0; i < 100000; i++) {                Student student = new Student();                student.setStuid("6840"+i);                student.setName("zhangsan"+i);                student.setAge((i%100));                if(i%2==0){                    student.setSex(0);                }else {                    student.setSex(1);                }                student.setDept("计算机学院");                student.setAddress("广东省广州市番禺"+i+"号");                //一条一条插入                studentService.save(student);            }            sqlSession.commit();            stopWatch.stop();            System.out.println("mybatis plus save one：" + stopWatch.getTotalTimeMillis());        } finally {            sqlSession.close();        }    }}

发现花费了195569毫秒

图片

mybatis-plus 的 saveBatch 方法

现在尝试 mybatis-plus 提供的 saveBatch 方法，期望它能够提高性能。

@Test    public void MybatissaveBatch(){        SqlSession sqlSession = sqlSessionFactory.openSession();        try {            List<Student> students = new ArrayList<>();            StopWatch stopWatch = new StopWatch();            stopWatch.start("mybatis plus save batch");            for (int i = 0; i < 100000; i++) {                Student student = new Student();                student.setStuid("6840"+i);                student.setName("zhangsan"+i);                student.setAge((i%100));                if(i%2==0){                    student.setSex(0);                }else {                    student.setSex(1);                }                student.setDept("计算机学院");                student.setAddress("广东省广州市番禺"+i+"号");                //一条一条插入                students.add(student);            }            studentService.saveBatch(students);            sqlSession.commit();            stopWatch.stop();            System.out.println("mybatis plus save batch：" + stopWatch.getTotalTimeMillis());        } finally {            sqlSession.close();        }    }

发现花费9204毫秒,比一条条插入数据性能提高十几倍

3.手动拼接 SQL：挑战传统的方式

<insert id="saveBatch2">    insert into springboot_mp.tb_student ( stuid, name, age, sex, dept, address)    values    <foreach collection="students" item="stu" index="index" separator=",">          ( #{stu.stuid}, #{stu.name}, #{stu.age}, #{stu.sex}, #{stu.dept}, #{stu.address})    </foreach></insert>

发现花费10958毫秒,比一条条插入数据性能提高十几倍,但是和saveBatch性能相差不大

既然都验证都这了，我就在想，要不要使用JDBC批量插入进行验证一下，看会不会出现原始的才是最好的结果

4.JDBC 的 executeBatch 方法

尝试直接使用 JDBC 提供的 executeBatch 方法，看是否有意外的性能提升。

@Test    public void JDBCSaveBatch() throws SQLException {        SqlSession sqlSession = sqlSessionFactory.openSession();        Connection connection = sqlSession.getConnection();        connection.setAutoCommit(false);        String sql ="insert into springboot_mp.tb_student ( stuid, name, age, sex, dept, address) values (?, ?, ?, ?, ?, ?);";        try (PreparedStatement statement = connection.prepareStatement(sql)) {            List<Student> students = new ArrayList<>();            StopWatch stopWatch = new StopWatch();            stopWatch.start("mybatis plus JDBCSaveBatch");            for (int i = 0; i < 100000; i++) {                statement.setString(1,"6840"+i);                statement.setString(2,"zhangsan"+i);                statement.setInt(3,(i%100));                if(i%2==0){                    statement.setInt(4,0);                }else {                    statement.setInt(4,1);                }                statement.setString(5,"计算机学院");                statement.setString(6,"广东省广州市番禺"+i+"号");                statement.addBatch();            }            statement.executeBatch();            connection.commit();            stopWatch.stop();            System.out.println("mybatis plus JDBCSaveBatch：" + stopWatch.getTotalTimeMillis());        }        catch (Exception e){            System.out.println(e.getMessage());        }        finally {            sqlSession.close();        }

JDBC executeBatch 的性能会好点，耗费6667毫秒

但是感觉到这里以后，觉得时候还是比较长，有没有可以再进行优化的方式，然后我就在ClientPreparedStatement类中发现有一个叫做rewriteBatchedStatements 的属性，从名字来看是要重写批操作的 Statement，前面batchHasPlainStatements 已经是 false，取反肯定是 true，所以只要这参数是 true 就会进行一波操作。rewriteBatchedStatements默认是 false。

图片

大家也可以自行网上搜索一下这个神奇的属性然后我在url添加上这个属性

图片

然后继续跑了下 mybatis-plus 自带的 saveBatch，果然性能大大提高直接由原来的9204毫秒,提升到现在的3903毫秒

图片

再来跑一下JDBC 的 executeBatch ，果然也提高了。

直接由原来的6667毫秒，提升到了3794毫秒

结果对比

批量保存方式	数据量（条）	耗时（ms）
单条循环插入	100000	195569
mybatis-plus saveBatch	100000	9204
mybatis-plus saveBatch（添加 rewrite 参数）	100000	3903
手动拼接 SQL	100000	6667
JDBC executeBatch	100000	10958
JDBC executeBatch（添加 rewrite 参数）	100000	3794

结论

通过实验结果，我们可以得出以下结论：

mybatis-plus 的 saveBatch 方法相比单条循环插入在性能上有所提升，但仍然不够理想。
JDBC 的 executeBatch 方法在默认情况下性能与 mybatis-plus 的 saveBatch 类似，但通过设置 rewriteBatchedStatements 参数为 true 可显著提高性能。
rewriteBatchedStatements 参数的作用是将一批插入拼接成 insert into xxx values (a),(b),(c)... 这样的一条语句形式，提高了性能。

优化建议

如果您在项目中需要进行批量插入操作，我建议考虑以下优化方案：

如果使用 mybatis-plus，可以尝试将 JDBC 连接字符串中的 rewriteBatchedStatements 参数设置为 true，以提高 saveBatch 方法的性能。

本文链接：http://www.28at.com/showinfo-26-55101-0.htmlMyBatis批量插入数据优化，那叫一个优雅！

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Vue 新一代开发者工具正式开源！

下一篇： Go语言中的性能考虑和优化

标签：

热门焦点

28个SpringBoot项目中常用注解，日常开发、求职面试不再懵圈

前言在使用SpringBoot开发中或者在求职面试中都会使用到很多注解或者问到注解相关的知识。本文主要对一些常用的注解进行了总结，同时也会举出具体例子，供大家学习和参考。注解
服务存储设计模式：Cache-Aside模式

Cache-Aside模式一种常用的缓存方式，通常是把数据从主存储加载到KV缓存中，加速后续的访问。在存在重复度的场景，Cache-Aside可以提升服务性能，降低底层存储的压力，缺点是缓存和底
十个简单但很有用的Python装饰器

装饰器（Decorators）是Python中一种强大而灵活的功能，用于修改或增强函数或类的行为。装饰器本质上是一个函数，它接受另一个函数或类作为参数，并返回一个新的函数或类。它们通常用
如何通过Python线程池实现异步编程？

线程池的概念和基本原理线程池是一种并发处理机制，它可以在程序启动时创建一组线程，并将它们置于等待任务的状态。当任务到达时，线程池中的某个线程会被唤醒并执行任务，执行完任
一文搞定Java NIO，以及各种奇葩流

大家好，我是哪吒。很多朋友问我，如何才能学好IO流，对各种流的概念，云里雾里的，不求甚解。用到的时候，现百度，功能虽然实现了，但是为什么用这个？不知道。更别说效率问题了~下次再遇到，
JVM优化：实战OutOfMemoryError异常

一、Java堆溢出堆内存中主要存放对象、数组等，只要不断地创建这些对象，并且保证 GC Roots 到对象之间有可达路径来避免垃圾收集回收机制清除这些对象，当这些对象所占空间超过
认真聊聊东方甄选：如何告别低垂的果实

来源：山核桃作者：财经无忌爆火一年后，俞敏洪和他的东方甄选依旧是颇受外界关心的“网红”。7月5日至9日，为期5天的东方甄选“甘肃行”首次在自有App内直播，
onebot M24巧系列一体机采用轻薄机身设计，现已在各平台开售

onebot M24 巧系列一体机目前已在线上线下各平台同步开售。onebot M24 巧系列采用一体化轻薄机身设计，最薄处为 10.15mm，拥有宝石红、午夜蓝、石墨绿、雅致
Meta盲目扩张致超万人被裁，重金押注元宇宙而前景未明

图片来源：图虫创意日前，Meta创始人兼CEO 马克·扎克伯发布公开信，宣布Meta计划裁员超11000人，占其员工总数13%。他公开承认了自己的预判失误：“不仅

MyBatis批量插入数据优化，那叫一个优雅！

背景介绍

实验准备

探索实验

结果对比

结论

优化建议

28个SpringBoot项目中常用注解，日常开发、求职面试不再懵圈

服务存储设计模式：Cache-Aside模式

十个简单但很有用的Python装饰器

如何通过Python线程池实现异步编程？

一文搞定Java NIO，以及各种奇葩流

JVM优化：实战OutOfMemoryError异常

认真聊聊东方甄选：如何告别低垂的果实

onebot M24巧系列一体机采用轻薄机身设计，现已在各平台开售

Meta盲目扩张致超万人被裁，重金押注元宇宙而前景未明

最新推荐

猜你喜欢

热门推荐

相关资讯