当前位置:首页 > 科技  > 软件

对IO概念模糊:计算机IO过程与零拷贝

来源: 责编: 时间:2023-10-08 07:04:51 370观看
导读一、前置知识1.1 内存分段现代计算机在加载操作系统、正常启动后,其内存会主要分成两大段:内核段用户段内核段:操作系统本质上是一个计算机的管理程序,该程序相关的所有资源,被存放在内核段中。用户段:用户段用来存放各个进

一、前置知识

1.1 内存分段

现代计算机在加载操作系统、正常启动后,其内存会主要分成两大段:9yr28资讯网——每日最新资讯28at.com

  • 内核段
  • 用户段

内核段:9yr28资讯网——每日最新资讯28at.com

操作系统本质上是一个计算机的管理程序,该程序相关的所有资源,被存放在内核段中。9yr28资讯网——每日最新资讯28at.com

用户段:9yr28资讯网——每日最新资讯28at.com

用户段用来存放各个进程的数据和指令。9yr28资讯网——每日最新资讯28at.com

根据所访问的内存段的不同,CPU会处于不同的态,访问用户段的时候处于用户态,访问内核段的时候处于内核态。9yr28资讯网——每日最新资讯28at.com

1.2 CPU的态

1.2.1 CPU的工作过程

CPU要执行的指令的地址存在寄存器中,指令存放在内存中,而CPU本质上就是一个去内存中根据地址取指令,然后执行指令的硬件。9yr28资讯网——每日最新资讯28at.com

举一个例子:9yr28资讯网——每日最新资讯28at.com

例如PC寄存器中存放50,CPU读到存放的50,发出一条取址指令,去取出地址为50的内存单元中的指令,再传回给CPU。9yr28资讯网——每日最新资讯28at.com

9yr28资讯网——每日最新资讯28at.com

9yr28资讯网——每日最新资讯28at.com

1.4 IO与内存

计算机进行IO的时候,本质上会为每一个IO设备在内存中分配一块空间,向这块空间里进行读写,即可完成IO。为什么给IO设备分配的内存会是在内核段里喃?主要是基于两点进行考虑的:9yr28资讯网——每日最新资讯28at.com

  • 安全性
  • 特权操作

1.4.1 安全性:

I/O 操作通常需要与计算机的外部设备(如磁盘、网络设备等)进行交互,如果允许各个进程自己私自与外部设备进行交互,IO的内存放在各个进程内部,太散了,不是很好进行安全控制,相反,如果将IO的内存放在内核段,就很便于集中管理,可以附加一些安全机制上去。9yr28资讯网——每日最新资讯28at.com

1.4.2 特权操作:

首先IO指令本身就是特权指令,会让CPU进入内核态,其次进行IO的时候会用到中断信号,也涉及到特权指令,也要求CPU处于内核态,所以如果IO内存是在内核段中,让CPU提前进入内核状态,也避免了后面来回切状态造成的时间浪费。9yr28资讯网——每日最新资讯28at.com

整个IO在内存中的流转过程如下:9yr28资讯网——每日最新资讯28at.com

读的时候磁盘拷贝到内核段、内核段拷贝到用户段,9yr28资讯网——每日最新资讯28at.com

写的时候用户段拷贝到内核段、内核段拷贝到磁盘。9yr28资讯网——每日最新资讯28at.com

一共四次复制。9yr28资讯网——每日最新资讯28at.com

9yr28资讯网——每日最新资讯28at.com

特别说明:9yr28资讯网——每日最新资讯28at.com

我知道其它很多地方这里将图画成了这个样子:9yr28资讯网——每日最新资讯28at.com

9yr28资讯网——每日最新资讯28at.com

之所以能实现这样的效果是得益于操作系统底层有两种读操作:9yr28资讯网——每日最新资讯28at.com

读取数据:常见的系统调用如 read()(用于文件描述符)或 recv()(用于套接字)用于从文件或套接字中读取数据。这些系统调用从相应的输入源(如磁盘、网络等)读取数据,并将其复制到应用程序提供的缓冲区中。这种方式涉及了数据的复制,因为数据需要从内核态复制到用户态缓冲区中。9yr28资讯网——每日最新资讯28at.com

读取映射:另一种方式是通过内存映射(Memory Mapping)来实现读取操作。通过将文件或设备的数据映射到进程的内存区域中,应用程序可以直接访问内存映射区域中的数据,而无需使用传统的 read() 系统调用。在这种情况下,应用程序可以通过直接读取内存映射区域中的数据来获取文件或设备的内容,避免了中间的数据复制。9yr28资讯网——每日最新资讯28at.com

特别说明:9yr28资讯网——每日最新资讯28at.com

还是和上文类似,画图的问题。这里为了涵盖,本地IO和网络IO两种情况,内核段没拆成几个设备的不同地址空间,但是如果是从磁盘中读,然后向网络中写,是跨了IO设备的,所以中间有个内核段地址间的复制过程,如下图:9yr28资讯网——每日最新资讯28at.com

9yr28资讯网——每日最新资讯28at.com

三、JAVA中的零拷贝

零拷贝需要进行系统调用才能实现,很明显要我们手写实现零拷贝是很底层、很麻烦的,好在JAVA在NIO中封装了mmap、SendFile两种零拷贝的API,当我们想在JAVA中使用零拷贝时,直接调API即可。9yr28资讯网——每日最新资讯28at.com

很多同学在NIO中老是搞不明白channel和buffer的关,容易晕,这里博主一句话总结一下:9yr28资讯网——每日最新资讯28at.com

JavaNlO中 的Channel就相当于操作系统中的内核缓冲区,而Buffer就相当于操作系统中的用户缓冲区。9yr28资讯网——每日最新资讯28at.com

mmap:9yr28资讯网——每日最新资讯28at.com

MappedByteBuffer mappedByteBuffer = new RandomAccessFile(file, "r")                                  .getChannel()                                 .map(FileChannel.MapMode.READ_ONLY, 0, len);

SendFile:9yr28资讯网——每日最新资讯28at.com

sendFile进行网络传输:9yr28资讯网——每日最新资讯28at.com

FileChannel sourceChannel = new RandomAccessFile(sourceFile, "rw").getChannel();SocketChannel socketChannel = SocketChannel.open(sa);sourceChannel.transferTo(0, sourceChannel.size(), socketChannel);

sendFile进行文件拷贝:9yr28资讯网——每日最新资讯28at.com

try (FileChannel srcChannel = new FileInputStream(src).getChannel();     FileChannel targetChannel = new FileInputStream(target).getChannel()) {     srcChannel.transferTo(0, srcChannel.size(), targetChannel ); } catch (IOException e) {     e.printStackTrace(); }


9yr28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-12196-0.html对IO概念模糊:计算机IO过程与零拷贝

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 深入了解快速排序:原理、性能分析与 Java 实现

下一篇: 三个杀手级VS Code插件

标签:
  • 热门焦点
  • 不容错过的MSBuild技巧,必备用法详解和实践指南

    一、MSBuild简介MSBuild是一种基于XML的构建引擎,用于在.NET Framework和.NET Core应用程序中自动化构建过程。它是Visual Studio的构建引擎,可在命令行或其他构建工具中使用
  • 企业采用CRM系统的11个好处

    客户关系管理(CRM)软件可以为企业提供很多的好处,从客户保留到提高生产力。  CRM软件用于企业收集客户互动,以改善客户体验和满意度。  CRM软件市场规模如今超过580
  • 雅柏威士忌多款单品价格大跌,泥煤顶流也不香了?

    来源 | 烈酒商业观察编 | 肖海林今年以来,威士忌市场开始出现了降温迹象,越来越多不断暴涨的网红威士忌也开始悄然回归市场理性。近日,LVMH集团旗下苏格兰威士忌品牌雅柏(Ardbeg
  • 腾讯盖楼,字节拆墙

    来源 | 光子星球撰文 | 吴坤谚编辑 | 吴先之“想重温暴刷深渊、30+技能搭配暴搓到爽的游戏体验吗?一起上晶核,即刻暴打!”曾凭借直播腾讯旗下代理格斗游戏《DNF》一
  • “又被陈思诚骗了”

    作者|张思齐 出品|众面(ID:ZhongMian_ZM)如今的国产悬疑电影,成了陈思诚的天下。最近大爆电影《消失的她》票房突破30亿断层夺魁暑期档,陈思诚再度风头无两。你可以说陈思诚的
  • 华为HarmonyOS 4.0将于8月4日发布 或搭载AI大模型技术

    华为宣布HarmonyOS4.0将于8月4日正式发布。此前,华为已经针对开发者公布了HarmonyOS4.0,以便于开发者提前进行适配,也因此被曝光出了一些新系统的特性
  • 2纳米决战2025

    集微网报道 从三强争霸到四雄逐鹿,2nm的厮杀声已然隐约传来。无论是老牌劲旅台积电、三星,还是誓言重回先进制程领先地位的英特尔,甚至初成立不久的新
  • 与兆芯合作 联想推出全新旗舰版笔记本电脑开天N7系列

    联想与兆芯合作推出全新联想旗舰版笔记本电脑开天 N7系列。这个系列采用兆芯KX-6640MA处理器平台,KX-6640MA 处理器是采用了陆家嘴架构,16nm 工艺,4 核 4 线
  • 苹果MacBook Pro 2021测试:仍不支持平滑滚动

    据10月30日9to5 Mac 消息报道,苹果新的 14 英寸和 16 英寸 MacBook Pro 2021 上市后获得了不错的评价,亮点包括行业领先的性能,令人印象深刻的电池续航,精美丰
Top