PyTorch张量:内存布局

news/2024/7/24 7:08:26 标签: 算法, 人工智能, pytorch

你可能对 torch 上的某些函数感到困惑,它们执行相同的操作但名称不同。 例如: reshape()view()permute()transpose() 等。

这些函数的做法真的不同吗? 不! 但为了理解它,我们首先需要了解一下张量在 pytorch 中是如何实现的。

NSDT工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎

张量(tensor)是抽象或逻辑结构,就像数组一样,无法按照其设想的方式实现。 显而易见的原因是内存单元是连续(contiguous)的,因此我们需要找到一种方法将它们保存在内存中。 例如,如果我们有一个如下所示的二维张量(或数组):

将其保存到内存中的正常(或连续)方式是逐行排列。 所以我们将有:

每个张量都有元数据来声明如何读取张量。 例如,在这个 2d 张量中,为了访问下一行,我们必须向前移动 3 步,而下一列我们应该向前移动 1 步。 我们称这两个数字为步幅(stride)。 所以我们可以像下面这样提取它们:

这为我们开辟了新的可能性,因为们可以通过改变步幅元数据来改变张量! 例如,如果我们将步长从(3, 1) 更改为(1, 3),我们实际上转置了矩阵,而无需对所有内存项进行任何操作:

正如你所注意到的,张量不再连续,因为我们更改了它!为了转到下一行,我们只需跳过 1 个值,而跳过3 个值则移动到下一列。
如果我们回想一下张量的内存布局,这是有道理的:

[0, 1, 2, 3, 4, …, 11]

为了移动到下一列(例如从0到3,我们必须跳过 3 个值。因此张量不再是连续的!要使其连续,只需对其调用contigously()即可:

当你调用contigious()时,它实际上会创建张量的副本,因此元素的顺序将与从头开始创建相同形状的张量相同。

请注意,“连续”这个词有点误导,因为它并不是张量的内容分布在断开连接的内存块周围。 这里字节仍然分配在一块内存中,但元素的顺序不同!

同样,视图函数 view()只是原始变量的视图,这意味着如果更改原始内存,它也会发生变化:

这实际上非常有效,因为我们不必为转换创建新的内存槽。 但 reshape()可以复制原始数据。 来自原始文档:

连续输入和具有兼容步幅的输入可以在不复制的情况下进行重塑,但你不应依赖于复制与查看行为。

例如,如果我们有如下代码:

运行输出结果如下:

该视图不适用于非连续数据。

另外,考虑到 permute() 是另一个仅适用于元数据的函数,因此它也会创建不连续的数据。 permute() 改变轴的顺序,因此它与改变矩阵形状的 view() 或 reshape() 完全不同。


原文链接:Pytorch张量内存布局 - BimAnt


http://www.niftyadmin.cn/n/5258230.html

相关文章

4-Docker命令之docker export

1.docker export介绍 docker export命令是用来将docker容器中的文件系统导出为一个tar归档文件 2.docker export用法 docker export [参数] container [rootcentos79 ~]# docker export --helpUsage: docker export [OPTIONS] CONTAINERExport a containers filesystem a…

微服务组件Nacos的学习(2)

Nacos在SpringCloud中部署 下载Nacos启动配置管理启动服务发现注意 使用Nacos实现分布式环境下的配置管理和服务注册发现。 下载Nacos 在windows环境下,下载Nacos安装包,解压到本地文件夹。在安装文件夹下的bin文件夹中,cmd后输入启动命令(s…

头歌——HBase 开发:使用Java操作HBase

第1关:创建表 题目 任务描述 本关任务:使用Java代码在HBase中创建表。 相关知识 为了完成本关任务,你需要掌握:1.如何使用Java连接HBase数据库,2.如何使用Java代码在HBase中创建表。 如何使用Java连接HBase数据库…

【AUTOSAR】【通信栈】Nm

AUTOSAR专栏——总目录-CSDN博客文章浏览阅读339次。本文主要汇总该专栏文章,以方便各位读者阅读。https://blog.csdn.net/qq_42357877/article/details/132072415?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22132072415%22…

【Python-第三方库-pyautogui】随笔

pyautogui(PythonAutoGUI)随笔 常用 pyautogui.position() 【功能】 获取鼠标所在处的坐标; 【实操】 代码01 import pyautoguiprint(type(pyautogui.position())) while True:print("\r" str(pyautogui.position()), end"…

国标级联/流媒体音视频平台EasyCVR设备录像下载异常该如何解决?

视频监控TSINGSEE青犀视频平台EasyCVR能在复杂的网络环境中,将分散的各类视频资源进行统一汇聚、整合、集中管理,在视频监控播放上,视频安防监控汇聚平台可支持1、4、9、16个画面窗口播放,可同时播放多路视频流,也能支…

Network 灰鸽宝典【目录】

目前已有文章 21 篇 Network 灰鸽宝典专栏主要关注服务器的配置,前后端开发环境的配置,编辑器的配置,网络服务的配置,网络命令的应用与配置,windows常见问题的解决等。 文章目录 服务配置环境部署GitNPM 浏览器编辑器系…

嵌入式培训-Linux系统及C编程高级-DAY19~21-make file

Makefile概述 Makefile的重要性 会不会写makefile,从一个侧面说明了一个人是否具备完成大型工程的能力 如果不用makefile,也可以用gcc命令编译,但是文件多的时候,gcc很长,不便使用,所以要用makefile Mak…