简单的聊聊网络请求中的内存拷贝

news/2024/7/23 23:21:48 标签: 操作系统, markdown

掘金是自己刚发现不久的平台,原本一些学习笔记都是记录在有道,因为正好两边都支持markdown,现在打算把一些整理后的笔记分享出来。这篇主要来简单的聊聊网络请求中的内存拷贝。

网络请求中数据传输过程图

数据传输类型一(read)

该数据传输模型正是传统的IO进行网络通讯时所采用的方式,数据在用户空间(JVM内存)与内核空间进行多次拷贝和上下文切换,对于没有对数据进行业务处理的时候,这样拷贝显得很没有必要。

数据传输类型二(sendFile)

该数据传输模型是的NIO进行网络通讯时所采用的方式,它依赖于操作系统是否支持这种对于内核的操作(图中第4个过程),这个模型对比第一种减少了两次不必要的用户空间和内核之间的数据拷贝过程。

数据传输类型三(支持聚集的sendFile)

从中我们可以发现这种真正实现了零拷贝,这种传输模型它依赖于操作系统是否支持这种对于内核的操作(图中4过程),图中4过程看着很难理解,下面把四过程里面的奥秘分解下。

四过程其实是将内核中文件信息(文件地址、大小等信息)appendStr到Sokcet Buffer中,这样Sokcet Buffer中存有很少的信息,然后在协议引擎传输之前使用Gather将两个Buffer聚集。

数据传输类型四(mmap,本文先不介绍)

代码实现

模型一(BIO)

/**
 * @Author CoderJiA
 * @Description TransferModel1Client
 * @Date 23/2/19 下午3:01
 **/
public class TransferModel1Client {

    private static final String HOST = "localhost";
    private static final int PORT = 8899;
    private static final String FILE_PATH = "/Users/coderjia/Documents/gradle-5.2.1-all.zip";
    private static final int MB = 1024 * 1024;

    public static void main(String[] args) throws Exception{
        Socket socket = new Socket(HOST, PORT);
        InputStream input = new FileInputStream(FILE_PATH);
        DataOutputStream output = new DataOutputStream(socket.getOutputStream());
        byte[] bytes = new byte[MB];
        long start = System.currentTimeMillis();
        int len;
        while ((len = input.read(bytes)) != -1) {
            output.write(bytes, 0, len);
        }
        long end = System.currentTimeMillis();
        System.out.println("耗时:" + (end - start) + "ms");
        output.close();
        input.close();
        socket.close();
    }
}
复制代码
/**
 * @Author CoderJiA
 * @Description TransferModel1Server
 * @Date 23/2/19 下午3:01
 **/
public class TransferModel1Server {

    private static final int PORT = 8899;
    private static final int MB = 1024 * 1024;

    public static void main(String[] args) throws Exception{
        ServerSocket serverSocket = new ServerSocket(PORT);
        for (;;) {
            Socket socket = serverSocket.accept();
            DataInputStream input = new DataInputStream(socket.getInputStream());
            byte[] bytes = new byte[MB];
            for (;;) {
                int readSize = input.read(bytes, 0, MB);
                if (-1 == readSize) {
                    break;
                }
            }
        }
    }
}
复制代码

模型二(NIO)

/**
 * @Author CoderJiA
 * @Description TransferModel2Client
 * @Date 23/2/19 下午3:36
 **/
public class TransferModel2Client {

    private static final String HOST = "localhost";
    private static final int PORT = 8899;
    private static final String FILE_PATH = "/Users/coderjia/Documents/gradle-5.2.1-all.zip";

    public static void main(String[] args) throws Exception {
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.connect(new InetSocketAddress(HOST, PORT));
        socketChannel.configureBlocking(true);
        FileChannel fileChannel = new FileInputStream(FILE_PATH).getChannel();
        long start = System.currentTimeMillis();
        fileChannel.transferTo(0, fileChannel.size(), socketChannel);
        long end = System.currentTimeMillis();
        System.out.println("耗时:" + (end - start) + "ms");
        fileChannel.close();
    }

}
复制代码
/**
 * @Author CoderJiA
 * @Description TransferModel2Server
 * @Date 23/2/19 下午3:36
 **/
public class TransferModel2Server {

    private static final int PORT = 8899;
    private static final int MB = 1024 * 1024;

    public static void main(String[] args) throws Exception {

        InetSocketAddress address = new InetSocketAddress(PORT);

        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        ServerSocket serverSocket = serverSocketChannel.socket();
        serverSocket.setReuseAddress(true);
        serverSocket.bind(address);

        ByteBuffer byteBuffer = ByteBuffer.allocate(MB);
        for (;;) {
            SocketChannel socketChannel = serverSocketChannel.accept();
            socketChannel.configureBlocking(true);
            int readSize = 0;
            while (-1 != readSize) {
                readSize = socketChannel.read(byteBuffer);
                byteBuffer.rewind();
            }

        }

    }
}
复制代码

fileChannel.transferTo(0, fileChannel.size(), socketChannel)

transferto方法的文档注释:This method is potentially much more efficient than a simple loop that reads from this channel and writes to the target channel.Many operating systems can transfer bytes directly from the filesystem cache to the target channel without actually copying them.

这句话简单的理解就是:该方法比传统的简单轮询(指的就是IO中的拷贝过程)更加高效,tranferto的拷贝方式依赖于底层操作系统,目前很多操作系统支持像模型二拷贝过程。在内核版本2.4中,修改了套接字缓冲区描述符以适应这些要求——在Linux下称为零拷贝。 这种方法不仅减少了多个上下文切换,还完全消除了处理器的数据复制操作。

性能对比

在同一台机器上,相同环境下测试结果如图。

参考文章地址

www.jianshu.com/p/e9f422586…

源码地址

github.com/coderjia061…


http://www.niftyadmin.cn/n/1556593.html

相关文章

如何给行内元素设置宽高

我们都知道行内元素直接设置宽高是无效的。当我们在面试中遇到这个问题的时候&#xff0c;很容易想到给它设置 display:block或者display:inline-block就可以了&#xff0c;但是面试官来了句“还有其他方法吗&#xff1f;” 1、常用的行内元素 <a> 标签可定义锚 <a…

浅谈重排(回流)与重绘

1、浏览器的渲染机制 浏览器渲染展示网页的过程&#xff0c;大致分为以下几个步骤&#xff1a; 1.解析HTML(HTML Parser) 2.构建DOM树(DOM Tree) 3.渲染树构建(Render Tree) 4.绘制渲染树(Painting)也就是说浏览器下载完页面所有的资源后&#xff0c;就要开始构建DOM树&#…

【小学数学论文】浅析小学学生数学计算能力的培养

浅析小学学生数学计算能力的培养 [导读] 本文是小学数学优秀论文范文2000字至3000字完整版《新课程标准》提出了关于“使学生能够正确地进行整数、小数、分数的四则计算&#xff0c;对其中一些基本的计算&#xff0c;要达到一定的熟练程度&#xff0c;并逐步做到计算方法合理、…

BFC布局

1、BFC的定义 我们常说的文档流分为普通流、浮动流与定位流三种。 FC(formatting context格式化上下文)&#xff0c;指的是一块渲染区域&#xff0c;依靠渲染规则&#xff0c;决定其子元素如何布局及与其他元素的关系和作用。 FC分为BFC、IFC、GFC和FFC&#xff0c;其中BFC(bl…

【cdq分治】【P4390】[BOI2007]Mokia 摩基亚

Description 给你一个 \(W~\times~W\) 的矩阵&#xff0c;每个点有权值&#xff0c;每次进行单点修改或者求某子矩阵内权值和&#xff0c;允许离线 Input 第一行是两个数字 \(0\) 和矩阵大小 \(W\) 下面每行可能会出现如下参数 \(1,x,y,A\) 单点修改格子 \(x,y\) 为 \(A\) \(2,…

HTML5的新特性概述

html5作为html的代替者&#xff0c;成为新的标准&#xff0c;而且时至今日&#xff0c;在前端开发中&#xff0c;已经被大家广泛应用&#xff0c;但是对于html5有哪些具体功能和特性&#xff0c;可能没有怎么去总结。下面是我总结的一些h5的新特性&#xff0c;供大家参考&#…

oracle数据库被注入恶意攻击程序导致tab$被删除恢复方案

by 蔡建良 2019-2-25 经过长时间摸索&#xff0c;参考网上各类文章。今天终于让我成功恢复了oracle的sys.tab$表&#xff0c;并成功打开了数据库。 将此过程记录下来&#xff0c;与大家共享。如有疑问可联系我QQ&#xff1a; 304125648 sys.tab$表的恢复要点如下: 1) Tab$表删除…

云服务器的使用

最近学习的时候&#xff0c;好多小伙伴部署服务器各种错误&#xff01;我还不信了&#xff0c;我当场&#xff01;去买了个新服务器&#xff0c;做一个简单的环境搭建&#xff0c;同时把步骤给写下来、 这里做一个简单普及&#xff0c;购买ECS共享性服务器一般是服务器内啥都没…