当前位置:首页 > 科技  > 软件

对IO概念模糊:计算机IO过程与零拷贝

来源: 责编: 时间:2023-10-08 07:04:51 429观看
导读一、前置知识1.1 内存分段现代计算机在加载操作系统、正常启动后,其内存会主要分成两大段:内核段用户段内核段:操作系统本质上是一个计算机的管理程序,该程序相关的所有资源,被存放在内核段中。用户段:用户段用来存放各个进

一、前置知识

1.1 内存分段

现代计算机在加载操作系统、正常启动后,其内存会主要分成两大段:mTc28资讯网——每日最新资讯28at.com

  • 内核段
  • 用户段

内核段:mTc28资讯网——每日最新资讯28at.com

操作系统本质上是一个计算机的管理程序,该程序相关的所有资源,被存放在内核段中。mTc28资讯网——每日最新资讯28at.com

用户段:mTc28资讯网——每日最新资讯28at.com

用户段用来存放各个进程的数据和指令。mTc28资讯网——每日最新资讯28at.com

根据所访问的内存段的不同,CPU会处于不同的态,访问用户段的时候处于用户态,访问内核段的时候处于内核态。mTc28资讯网——每日最新资讯28at.com

1.2 CPU的态

1.2.1 CPU的工作过程

CPU要执行的指令的地址存在寄存器中,指令存放在内存中,而CPU本质上就是一个去内存中根据地址取指令,然后执行指令的硬件。mTc28资讯网——每日最新资讯28at.com

举一个例子:mTc28资讯网——每日最新资讯28at.com

例如PC寄存器中存放50,CPU读到存放的50,发出一条取址指令,去取出地址为50的内存单元中的指令,再传回给CPU。mTc28资讯网——每日最新资讯28at.com

mTc28资讯网——每日最新资讯28at.com

mTc28资讯网——每日最新资讯28at.com

1.4 IO与内存

计算机进行IO的时候,本质上会为每一个IO设备在内存中分配一块空间,向这块空间里进行读写,即可完成IO。为什么给IO设备分配的内存会是在内核段里喃?主要是基于两点进行考虑的:mTc28资讯网——每日最新资讯28at.com

  • 安全性
  • 特权操作

1.4.1 安全性:

I/O 操作通常需要与计算机的外部设备(如磁盘、网络设备等)进行交互,如果允许各个进程自己私自与外部设备进行交互,IO的内存放在各个进程内部,太散了,不是很好进行安全控制,相反,如果将IO的内存放在内核段,就很便于集中管理,可以附加一些安全机制上去。mTc28资讯网——每日最新资讯28at.com

1.4.2 特权操作:

首先IO指令本身就是特权指令,会让CPU进入内核态,其次进行IO的时候会用到中断信号,也涉及到特权指令,也要求CPU处于内核态,所以如果IO内存是在内核段中,让CPU提前进入内核状态,也避免了后面来回切状态造成的时间浪费。mTc28资讯网——每日最新资讯28at.com

整个IO在内存中的流转过程如下:mTc28资讯网——每日最新资讯28at.com

读的时候磁盘拷贝到内核段、内核段拷贝到用户段,mTc28资讯网——每日最新资讯28at.com

写的时候用户段拷贝到内核段、内核段拷贝到磁盘。mTc28资讯网——每日最新资讯28at.com

一共四次复制。mTc28资讯网——每日最新资讯28at.com

mTc28资讯网——每日最新资讯28at.com

特别说明:mTc28资讯网——每日最新资讯28at.com

我知道其它很多地方这里将图画成了这个样子:mTc28资讯网——每日最新资讯28at.com

mTc28资讯网——每日最新资讯28at.com

之所以能实现这样的效果是得益于操作系统底层有两种读操作:mTc28资讯网——每日最新资讯28at.com

读取数据:常见的系统调用如 read()(用于文件描述符)或 recv()(用于套接字)用于从文件或套接字中读取数据。这些系统调用从相应的输入源(如磁盘、网络等)读取数据,并将其复制到应用程序提供的缓冲区中。这种方式涉及了数据的复制,因为数据需要从内核态复制到用户态缓冲区中。mTc28资讯网——每日最新资讯28at.com

读取映射:另一种方式是通过内存映射(Memory Mapping)来实现读取操作。通过将文件或设备的数据映射到进程的内存区域中,应用程序可以直接访问内存映射区域中的数据,而无需使用传统的 read() 系统调用。在这种情况下,应用程序可以通过直接读取内存映射区域中的数据来获取文件或设备的内容,避免了中间的数据复制。mTc28资讯网——每日最新资讯28at.com

特别说明:mTc28资讯网——每日最新资讯28at.com

还是和上文类似,画图的问题。这里为了涵盖,本地IO和网络IO两种情况,内核段没拆成几个设备的不同地址空间,但是如果是从磁盘中读,然后向网络中写,是跨了IO设备的,所以中间有个内核段地址间的复制过程,如下图:mTc28资讯网——每日最新资讯28at.com

mTc28资讯网——每日最新资讯28at.com

三、JAVA中的零拷贝

零拷贝需要进行系统调用才能实现,很明显要我们手写实现零拷贝是很底层、很麻烦的,好在JAVA在NIO中封装了mmap、SendFile两种零拷贝的API,当我们想在JAVA中使用零拷贝时,直接调API即可。mTc28资讯网——每日最新资讯28at.com

很多同学在NIO中老是搞不明白channel和buffer的关,容易晕,这里博主一句话总结一下:mTc28资讯网——每日最新资讯28at.com

JavaNlO中 的Channel就相当于操作系统中的内核缓冲区,而Buffer就相当于操作系统中的用户缓冲区。mTc28资讯网——每日最新资讯28at.com

mmap:mTc28资讯网——每日最新资讯28at.com

MappedByteBuffer mappedByteBuffer = new RandomAccessFile(file, "r")                                  .getChannel()                                 .map(FileChannel.MapMode.READ_ONLY, 0, len);

SendFile:mTc28资讯网——每日最新资讯28at.com

sendFile进行网络传输:mTc28资讯网——每日最新资讯28at.com

FileChannel sourceChannel = new RandomAccessFile(sourceFile, "rw").getChannel();SocketChannel socketChannel = SocketChannel.open(sa);sourceChannel.transferTo(0, sourceChannel.size(), socketChannel);

sendFile进行文件拷贝:mTc28资讯网——每日最新资讯28at.com

try (FileChannel srcChannel = new FileInputStream(src).getChannel();     FileChannel targetChannel = new FileInputStream(target).getChannel()) {     srcChannel.transferTo(0, srcChannel.size(), targetChannel ); } catch (IOException e) {     e.printStackTrace(); }


mTc28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-12196-0.html对IO概念模糊:计算机IO过程与零拷贝

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 深入了解快速排序:原理、性能分析与 Java 实现

下一篇: 三个杀手级VS Code插件

标签:
  • 热门焦点
  • 一加Ace2 Pro官宣:普及16G内存 引领24G

    一加官方今天继续为本月发布的新机一加Ace2 Pro带来预热,公布了内存方面的信息。“淘汰 8GB ,12GB 起步,16GB 普及,24GB 引领,还有呢?#一加Ace2Pro#,2023 年 8 月,敬请期待。”同时
  • SpringBoot中使用Cache提升接口性能详解

    环境:springboot2.3.12.RELEASE + JSR107 + Ehcache + JPASpring 框架从 3.1 开始,对 Spring 应用程序提供了透明式添加缓存的支持。和事务支持一样,抽象缓存允许一致地使用各
  • 在线图片编辑器,支持PSD解析、AI抠图等

    自从我上次分享一个人开发仿造稿定设计的图片编辑器到现在,不知不觉已过去一年时间了,期间我经历了裁员失业、面试找工作碰壁,寒冬下一直没有很好地履行计划.....这些就放在日
  • 一篇文章带你了解 CSS 属性选择器

    属性选择器对带有指定属性的 HTML 元素设置样式。可以为拥有指定属性的 HTML 元素设置样式,而不仅限于 class 和 id 属性。一、了解属性选择器CSS属性选择器提供了一种简单而
  • 一个注解实现接口幂等,这样才优雅!

    场景码猿慢病云管理系统中其实高并发的场景不是很多,没有必要每个接口都去考虑并发高的场景,比如添加住院患者的这个接口,具体的业务代码就不贴了,业务伪代码如下:图片上述代码有
  • JVM优化:实战OutOfMemoryError异常

    一、Java堆溢出堆内存中主要存放对象、数组等,只要不断地创建这些对象,并且保证 GC Roots 到对象之间有可达路径来避免垃 圾收集回收机制清除这些对象,当这些对象所占空间超过
  • 8月见!小米MIX Fold 3获得3C认证:支持67W快充

    这段时间以来,包括三星、一加、荣耀等等有不少品牌旗下的最新折叠屏旗舰都得到了不少爆料,而小米新一代折叠屏旗舰——小米MIX Fold 3此前也屡屡被传
  • OPPO K11评测:旗舰级IMX890加持 2000元档最强影像手机

    【Techweb评测】中端机型用户群体巨大,占了中国目前手机市场的大头,一直以来都是各手机品牌的“必争之地”,其中OPPO K系列机型一直以来都以高品质、
  • OPPO K11搭载高性能石墨散热系统:旗舰同款 性能凉爽释放

    日前OPPO官方宣布,将于7月25日14:30举办新品发布会,届时全新的OPPO K11将正式与大家见面,将主打旗舰影像,和同档位竞品相比,其最大的卖点就是将配备索尼
Top