当前位置:首页 > 科技  > 软件

对IO概念模糊:计算机IO过程与零拷贝

来源: 责编: 时间:2023-10-08 07:04:51 430观看
导读一、前置知识1.1 内存分段现代计算机在加载操作系统、正常启动后,其内存会主要分成两大段:内核段用户段内核段:操作系统本质上是一个计算机的管理程序,该程序相关的所有资源,被存放在内核段中。用户段:用户段用来存放各个进

一、前置知识

1.1 内存分段

现代计算机在加载操作系统、正常启动后,其内存会主要分成两大段:gPe28资讯网——每日最新资讯28at.com

  • 内核段
  • 用户段

内核段:gPe28资讯网——每日最新资讯28at.com

操作系统本质上是一个计算机的管理程序,该程序相关的所有资源,被存放在内核段中。gPe28资讯网——每日最新资讯28at.com

用户段:gPe28资讯网——每日最新资讯28at.com

用户段用来存放各个进程的数据和指令。gPe28资讯网——每日最新资讯28at.com

根据所访问的内存段的不同,CPU会处于不同的态,访问用户段的时候处于用户态,访问内核段的时候处于内核态。gPe28资讯网——每日最新资讯28at.com

1.2 CPU的态

1.2.1 CPU的工作过程

CPU要执行的指令的地址存在寄存器中,指令存放在内存中,而CPU本质上就是一个去内存中根据地址取指令,然后执行指令的硬件。gPe28资讯网——每日最新资讯28at.com

举一个例子:gPe28资讯网——每日最新资讯28at.com

例如PC寄存器中存放50,CPU读到存放的50,发出一条取址指令,去取出地址为50的内存单元中的指令,再传回给CPU。gPe28资讯网——每日最新资讯28at.com

gPe28资讯网——每日最新资讯28at.com

gPe28资讯网——每日最新资讯28at.com

1.4 IO与内存

计算机进行IO的时候,本质上会为每一个IO设备在内存中分配一块空间,向这块空间里进行读写,即可完成IO。为什么给IO设备分配的内存会是在内核段里喃?主要是基于两点进行考虑的:gPe28资讯网——每日最新资讯28at.com

  • 安全性
  • 特权操作

1.4.1 安全性:

I/O 操作通常需要与计算机的外部设备(如磁盘、网络设备等)进行交互,如果允许各个进程自己私自与外部设备进行交互,IO的内存放在各个进程内部,太散了,不是很好进行安全控制,相反,如果将IO的内存放在内核段,就很便于集中管理,可以附加一些安全机制上去。gPe28资讯网——每日最新资讯28at.com

1.4.2 特权操作:

首先IO指令本身就是特权指令,会让CPU进入内核态,其次进行IO的时候会用到中断信号,也涉及到特权指令,也要求CPU处于内核态,所以如果IO内存是在内核段中,让CPU提前进入内核状态,也避免了后面来回切状态造成的时间浪费。gPe28资讯网——每日最新资讯28at.com

整个IO在内存中的流转过程如下:gPe28资讯网——每日最新资讯28at.com

读的时候磁盘拷贝到内核段、内核段拷贝到用户段,gPe28资讯网——每日最新资讯28at.com

写的时候用户段拷贝到内核段、内核段拷贝到磁盘。gPe28资讯网——每日最新资讯28at.com

一共四次复制。gPe28资讯网——每日最新资讯28at.com

gPe28资讯网——每日最新资讯28at.com

特别说明:gPe28资讯网——每日最新资讯28at.com

我知道其它很多地方这里将图画成了这个样子:gPe28资讯网——每日最新资讯28at.com

gPe28资讯网——每日最新资讯28at.com

之所以能实现这样的效果是得益于操作系统底层有两种读操作:gPe28资讯网——每日最新资讯28at.com

读取数据:常见的系统调用如 read()(用于文件描述符)或 recv()(用于套接字)用于从文件或套接字中读取数据。这些系统调用从相应的输入源(如磁盘、网络等)读取数据,并将其复制到应用程序提供的缓冲区中。这种方式涉及了数据的复制,因为数据需要从内核态复制到用户态缓冲区中。gPe28资讯网——每日最新资讯28at.com

读取映射:另一种方式是通过内存映射(Memory Mapping)来实现读取操作。通过将文件或设备的数据映射到进程的内存区域中,应用程序可以直接访问内存映射区域中的数据,而无需使用传统的 read() 系统调用。在这种情况下,应用程序可以通过直接读取内存映射区域中的数据来获取文件或设备的内容,避免了中间的数据复制。gPe28资讯网——每日最新资讯28at.com

特别说明:gPe28资讯网——每日最新资讯28at.com

还是和上文类似,画图的问题。这里为了涵盖,本地IO和网络IO两种情况,内核段没拆成几个设备的不同地址空间,但是如果是从磁盘中读,然后向网络中写,是跨了IO设备的,所以中间有个内核段地址间的复制过程,如下图:gPe28资讯网——每日最新资讯28at.com

gPe28资讯网——每日最新资讯28at.com

三、JAVA中的零拷贝

零拷贝需要进行系统调用才能实现,很明显要我们手写实现零拷贝是很底层、很麻烦的,好在JAVA在NIO中封装了mmap、SendFile两种零拷贝的API,当我们想在JAVA中使用零拷贝时,直接调API即可。gPe28资讯网——每日最新资讯28at.com

很多同学在NIO中老是搞不明白channel和buffer的关,容易晕,这里博主一句话总结一下:gPe28资讯网——每日最新资讯28at.com

JavaNlO中 的Channel就相当于操作系统中的内核缓冲区,而Buffer就相当于操作系统中的用户缓冲区。gPe28资讯网——每日最新资讯28at.com

mmap:gPe28资讯网——每日最新资讯28at.com

MappedByteBuffer mappedByteBuffer = new RandomAccessFile(file, "r")                                  .getChannel()                                 .map(FileChannel.MapMode.READ_ONLY, 0, len);

SendFile:gPe28资讯网——每日最新资讯28at.com

sendFile进行网络传输:gPe28资讯网——每日最新资讯28at.com

FileChannel sourceChannel = new RandomAccessFile(sourceFile, "rw").getChannel();SocketChannel socketChannel = SocketChannel.open(sa);sourceChannel.transferTo(0, sourceChannel.size(), socketChannel);

sendFile进行文件拷贝:gPe28资讯网——每日最新资讯28at.com

try (FileChannel srcChannel = new FileInputStream(src).getChannel();     FileChannel targetChannel = new FileInputStream(target).getChannel()) {     srcChannel.transferTo(0, srcChannel.size(), targetChannel ); } catch (IOException e) {     e.printStackTrace(); }


gPe28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-12196-0.html对IO概念模糊:计算机IO过程与零拷贝

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 深入了解快速排序:原理、性能分析与 Java 实现

下一篇: 三个杀手级VS Code插件

标签:
  • 热门焦点
  • K60 Pro官方停产 第三方瞬间涨价

    虽然没有官方宣布,但Redmi的一些高管也已经透露了,Redmi K60 Pro已经停产且不会补货,这一切都是为了即将到来的K60 Ultra铺路,属于厂家的正常操作。但有意思的是该机在停产之后
  • 小米平板5 Pro 12.4简评:多专多能 兼顾影音娱乐的大屏利器

    疫情带来了网课,网课盘活了安卓平板,安卓平板市场虽然中途停滞了几年,但好的一点就是停滞的这几年行业又有了新的发展方向,例如超窄边框、高刷新率、多摄镜头组合等,这就让安卓
  • 6月iOS设备好评榜:第一蝉联榜首近一年

    作为安兔兔各种榜单里变化最小的那个,2023年6月的iOS好评榜和上个月相比没有任何排名上的变化,仅仅是部分设备好评率的下降,长年累月的用户评价和逐渐退出市场的老款机器让这
  • Raft算法:保障分布式系统共识的稳健之道

    1. 什么是Raft算法?Raft 是英文”Reliable、Replicated、Redundant、And Fault-Tolerant”(“可靠、可复制、可冗余、可容错”)的首字母缩写。Raft算法是一种用于在分布式系统
  • 三分钟白话RocketMQ系列—— 如何发送消息

    我们知道RocketMQ主要分为消息 生产、存储(消息堆积)、消费 三大块领域。那接下来,我们白话一下,RocketMQ是如何发送消息的,揭秘消息生产全过程。注意,如果白话中不小心提到相关代
  • 为什么你不应该使用Div作为可点击元素

    按钮是为任何网络应用程序提供交互性的最常见方式。但我们经常倾向于使用其他HTML元素,如 div span 等作为 clickable 元素。但通过这样做,我们错过了许多内置浏览器的功能。
  • iQOO 11S评测:行业唯一的200W标准版旗舰

    【Techweb评测】去年底,iQOO推出了“电竞旗舰”iQOO 11系列,作为一款性能强机,该机不仅全球首发2K 144Hz E6全感屏,搭载了第二代骁龙8平台及144Hz电竞
  • 首发天玑9200+ iQOO Neo8系列发布首销售价2299元起

    2023年5月23日晚,iQOO Neo8系列正式发布。其中,Neo系列首款Pro之作——iQOO Neo8 Pro强悍登场,限时售价3099元起;价位段最强性能手机iQOO Neo8同期上市
  • OPPO K11样张首曝:千元机影像“卷”得真不错!

    一直以来,OPPO K系列机型都保持着较为均衡的产品体验,历来都是2K价位的明星机型,去年推出的OPPO K10和OPPO K10 Pro两款机型凭借各自的出色配置,堪称有
Top