当前位置:首页 > 科技  > 软件

面试官:说说零拷贝的实现原理?

来源: 责编: 时间:2024-03-22 08:54:16 281观看
导读零拷贝(Zero-copy)技术是一种计算机操作系统中用于提高数据传输效率的优化策略。在传统的数据传输过程中,需要将数据从一个缓冲区拷贝到另一个缓冲区,然后再传输给目标。这涉及到多次的 CPU 和内存之间的数据拷贝操作,会消

零拷贝(Zero-copy)技术是一种计算机操作系统中用于提高数据传输效率的优化策略。在传统的数据传输过程中,需要将数据从一个缓冲区拷贝到另一个缓冲区,然后再传输给目标。这涉及到多次的 CPU 和内存之间的数据拷贝操作,会消耗 CPU 的时间和内存带宽。而零拷贝技术通过直接共享数据的内存地址,避免了中间的拷贝过程,从而提高了数据传输的效率。LOh28资讯网——每日最新资讯28at.com

1.传统 IO 执行流程

要搞明白零拷贝技术就要先搞清楚传统 IO 的执行流程,传统的 IO 的执行流程如下:LOh28资讯网——每日最新资讯28at.com

LOh28资讯网——每日最新资讯28at.com

(1)用户态和内核态

操作系统有用户态和内核态之分,这是因为计算机体系结构中的操作系统设计了两个不同的执行环境,以提供不同的功能和特权级别。LOh28资讯网——每日最新资讯28at.com

  • 用户态(User Mode)是指应用程序运行时的执行环境。在用户态下,应用程序只能访问受限资源,如应用程序自身的内存空间、CPU 寄存器等,并且不能直接访问操作系统的底层资源和硬件设备。
  • 内核态(Kernel Mode)是指操作系统内核运行时的执行环境。在内核态下,操作系统具有更高的权限,可以直接访问系统的硬件和底层资源,如 CPU、内存、设备驱动程序等。

(2)DMA

DMA(Direct Memory Access,直接内存访问)技术,绕过 CPU,直接在内存和外设之间进行数据传输。这样可以减少 CPU 的参与,提高数据传输的效率。LOh28资讯网——每日最新资讯28at.com

2.零拷贝技术的实现

零拷贝技术可以利用 Linux 下的 MMap、sendFile 等手段来实现,使得数据能够直接从磁盘映射到内核缓冲区,然后通过 DMA 传输到网卡缓存,整个过程中 CPU 只负责管理和调度,而无需执行实际的数据复制指令。LOh28资讯网——每日最新资讯28at.com

(1)MMap

MMap(Memory Map)是 Linux 操作系统中提供的一种将文件映射到进程地址空间的一种机制,通过 MMap 进程可以像访问内存一样访问文件,而无需显式的复制操作。LOh28资讯网——每日最新资讯28at.com

使用 MMap 可以把 IO 执行流程优化成以下执行步骤:LOh28资讯网——每日最新资讯28at.com

LOh28资讯网——每日最新资讯28at.com

传统的 IO 需要四次拷贝和四次上下文(用户态和内核态)切换,而 MMap 只需要三次拷贝和四次上下文切换,从而能够提升程序整体的执行效率,并且节省了程序的内存空间。LOh28资讯网——每日最新资讯28at.com

(2)senFile 方法

在 Linux 操作系统中 sendFile() 是一个系统调用函数,用于高效地将文件数据从内核空间直接传输到网络套接字(Socket)上,从而实现零拷贝技术。这个函数的主要目的是减少 CPU 上下文切换以及内存复制操作,提高文件传输性能。LOh28资讯网——每日最新资讯28at.com

使用 sendFile() 可以把 IO 执行流程优化成以下执行步骤:LOh28资讯网——每日最新资讯28at.com

LOh28资讯网——每日最新资讯28at.com

3.哪些地方用到了零拷贝技术?

在 Java 中,以下几个地方使用了零拷贝技术:LOh28资讯网——每日最新资讯28at.com

NIO(New I/O)通道:java.nio.channels.FileChannel 提供了 transferTo() 和 transferFrom() 方法,可以直接将数据从一个通道传输到另一个通道,例如从文件通道直接传输到 Socket 通道,整个过程无需将数据复制到用户空间缓冲区,从而实现了零拷贝。LOh28资讯网——每日最新资讯28at.com

Socket Direct Buffer:在 JDK 1.4 及更高版本中,Java NIO 支持使用直接缓冲区(DirectBuffer),这类缓冲区是在系统堆外分配的,可以直接由网卡硬件进行 DMA 操作,减少数据在用户态与内核态之间复制次数 ,提高网络数据发送效率。LOh28资讯网——每日最新资讯28at.com

Apache Kafka 或者 Netty 等高性能框架:这些框架在底层实现上通常会利用 Java NIO 的上述特性来优化数据传输,如 Kafka 生产者和消费者在传输消息时会用到零拷贝技术以提升性能。LOh28资讯网——每日最新资讯28at.com

小结

使用零拷贝技术可以减少 CPU 拷贝,及减少了上下文的切换带来的性能开销,提高了程序的整体执行效率,它们的区别对比如下表格所示:LOh28资讯网——每日最新资讯28at.com


LOh28资讯网——每日最新资讯28at.com

CPU 拷贝/次数LOh28资讯网——每日最新资讯28at.com

DMA 拷贝/次数LOh28资讯网——每日最新资讯28at.com

上下文切换/次数LOh28资讯网——每日最新资讯28at.com

传统 IOLOh28资讯网——每日最新资讯28at.com

2
LOh28资讯网——每日最新资讯28at.com

2
LOh28资讯网——每日最新资讯28at.com

4
LOh28资讯网——每日最新资讯28at.com

MMapLOh28资讯网——每日最新资讯28at.com

1
LOh28资讯网——每日最新资讯28at.com

2
LOh28资讯网——每日最新资讯28at.com

4
LOh28资讯网——每日最新资讯28at.com

sendFile()LOh28资讯网——每日最新资讯28at.com

1
LOh28资讯网——每日最新资讯28at.com

2
LOh28资讯网——每日最新资讯28at.com

2
LOh28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-78501-0.html面试官:说说零拷贝的实现原理?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 高端操作:把 React Scheduler 掏出来单独用

下一篇: Java22重磅发布!!!卷不动了,真的卷不动了......

标签:
  • 热门焦点
  • K60至尊版刚预热 一加Ace2 Pro正面硬刚

    Redmi这边刚如火如荼的宣传了K60 Ultra的各种技术和硬件配置,作为竞品的一加也坐不住了。一加中国区总裁李杰发布了两条微博,表示在自家的一加Ace2上早就已经采用了和PixelWo
  • 7月安卓手机性能榜:红魔8S Pro再夺榜首

    7月份的手机市场风平浪静,除了红魔和努比亚带来了两款搭载骁龙8Gen2领先版处理器的新机之外,别的也想不到有什么新品了,这也正常,通常6月7月都是手机厂商修整的时间,进入8月份之
  • 如何正确使用:Has和:Nth-Last-Child

    我们可以用CSS检查,以了解一组元素的数量是否小于或等于一个数字。例如,一个拥有三个或更多子项的grid。你可能会想,为什么需要这样做呢?在某些情况下,一个组件或一个布局可能会
  • 一篇聊聊Go错误封装机制

    %w 是用于错误包装(Error Wrapping)的格式化动词。它是用于 fmt.Errorf 和 fmt.Sprintf 函数中的一个特殊格式化动词,用于将一个错误(或其他可打印的值)包装在一个新的错误中。使
  • 使用AIGC工具提升安全工作效率

    在日常工作中,安全人员可能会涉及各种各样的安全任务,包括但不限于:开发某些安全工具的插件,满足自己特定的安全需求;自定义github搜索工具,快速查找所需的安全资料、漏洞poc、exp
  • 重估百度丨大模型,能撑起百度的“今天”吗?

    自象限原创 作者|程心 罗辑2023年之前,对于自己的“今天”,百度也很迷茫。“新业务到 2022 年底还是 0,希望 2023 年出来一个 1。”这是2022年底,李彦宏
  • iQOO 11S新品发布会

    iQOO将在7月4日19:00举行新品发布会,推出杭州亚运会电竞赛事官方用机iQOO 11S。
  • 2022爆款:ROG魔霸6 冰川散热系统持续护航

    喜逢开学季,各大商家开始推出自己的新产品,进行打折促销活动。对于忠实的端游爱好者来说,能够拥有一款梦寐以求的笔记本电脑是一件十分开心的事。但是现在的
  • 中关村论坛11月25日开幕,15位诺奖级大咖将发表演讲

    11月18日,记者从2022中关村论坛新闻发布会上获悉,中关村论坛将于11月25至30日在京举行。本届中关村论坛由科学技术部、国家发展改革委、工业和信息化部、国务
Top