深度学习batch、batch_size、epoch、iteration以及小样本中episode、support set、query set关系

news/2024/7/24 5:26:17 标签: 深度学习, batch, 人工智能, 机器学习

batchbatch_sizeepochiteration_0">batchbatch_size、epoch、iteration关系:

epoch:整个数据集

batch 整个数据集分成多少小块进行训练

batch_size: 一次训练(1 batch)需要 batch_size个样本

iteration: 整个数据集需要用batch_size训练多少轮

例如:训练集1000个样本,分成100小块batchbatch_size=10,则iteration=100轮,epoch=1


小样本中episode、support set、query set关系

小样本中分为meta-training和meta-testing
meta-testing从总类中随机选择N个类,每个类选k+x个样本,k个样本用作support set,x用作query set,同理可得meta-training中的S和Q(此时不一定和testing选N个类或者k个样本)

img

一个episode/task 就是一次Support set + Query set训练(包含数据集划分,训练,反向传播,更新参数过程,下一个episode,再选择其他几个类训练模型。

假设上述是5-way-1-shot,一个episod训练过程如下:

  1. backbone从S的5类图片中提一个 5x1600 维的 support feature Zs(假设每一类图片用一个1600维向量表示,5类就是一个5x1600 维的矩阵)
  2. 将这个 support feature 送入 classifier 中
  3. Query set 将一张图片送入 backbone ,提出一个1x1600 维的 query feature Zq (因为 Query set 中的这张图片肯定是属于 5 类中的某一类,而一类图片是用一个 1600 维的向量来表征的,因此这里将会得到一个 1x1600 维的矩阵)
  4. 将这个 query feature 送入 classifier 中
  5. classifier 中接收到了两个feature: Z’s ( 5x1600 维 ) 和 Zq( 1x1600 维 ),计算两个feature之间的距离(余弦距离就是做内积得到一个5x1的向量)
  6. 经过sofmax得到值最大的一个或者one-hot编码为1就是query set属于哪一类
  7. 预测结果和真实标签计算loss ,梯度反向传播来更新backbone的网络参数

参考文章:
神经网络中episode、epoch、iteration、batch_size的理解
episode、epoch、batch-size、iteration区别
小样本学习中的一些基本概念
小样本学习(Few-Shot Learning)训练参数意义


http://www.niftyadmin.cn/n/5081245.html

相关文章

BSCI认证是谁来验厂?

BSCI认证是BusinessSocialComplianceInitiative的缩写,中文被叫做商业社会标准认证。而BSCI则是倡议商界遵守社会责任的组织,同时它是一个非营利性的组织,宗旨是通过一套统一程序,同时不断完善发展政策,实现监控和促进…

XML外部实体注入攻击XXE

xml是扩展性标记语言,来标记数据、定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言。XML文档结构包括XML声明、DTD文档类型定义(可选)、文档元素,一般无法直接打开,可以选择用excl或记事本打…

03.爬楼梯 04.使用最小花费爬楼梯

03.爬楼梯 关于dp[i] dp[i - 1] dp[i - 2] 的思考 到达dp[i-1]的方法总数,不管方法总数是怎样麻烦,都到了dp[i-1]了,到了dp[i-1],那么每种方法的再加1,就到了dp[i],dp[i-2]2同理,但是要注意就算dp[i-1]…

Kubernetes使用OkHttp客户端进行网络负载均衡

在一次内部Java服务审计中,我们发现一些请求没有在Kubernetes(K8s)网络上正确地实现负载均衡。导致我们深入研究的问题是HTTP 5xx错误率的急剧上升,由于CPU使用率非常高,垃圾收集事件的数量很多以及超时,但…

【Java 进阶篇】JavaScript 数据类型详解

JavaScript是一种弱类型脚本语言,具有动态类型。这意味着JavaScript中的变量可以容纳不同类型的数据,并且它们的类型可以在运行时更改。在本文中,我们将深入探讨JavaScript中的数据类型,包括原始数据类型和引用数据类型&#xff0…

python【判断奇偶数】

目录 要求: 第一种:余数判断法 第二种:位运算判断法 第三种:整除判断法 要求: 判断一个整数是奇数还是偶数,至少有两种方式实现。 第一种:余数判断法 代码如下: num int(inp…

使用dateutil的parser.parse()格式化时间对象

使用dateutil的parser.parse()格式化时间对象 问题背景 由三种字符串格式的时间 datetime 类型,t1 “2023-10-03 17:56:32”date 类型,t2 “2023-10-03”time 类型,t3 “17:56:32” 需求 想要把这三种格式的字符串转换为时间对象&…

【管理运筹学】第 9 章 | 网络计划(2,时间参数的计算 —— 工作的时间参数)

文章目录 三、工作时间的参数3.1 工作的最早开始时间3.2 工作的最早结束时间3.3 工作的最迟开始时间3.4 工作的最迟结束时间3.5 工作的总时差3.6 工作的单时差3.7 三种时差之间的关系 写在最后 三、工作时间的参数 参数较多,记号也较多,不过如果能借助英…