最新在看知识蒸馏的文章,主要是现在的深度学习模型越来越大,例如BERT。在线下处理数据,对时间要求不高的话,还能接受,能跑完就好。但是线上运行,对延迟要求高的话,像BERT这样的大模型,就很难满足要求。因此,就找了找模型压缩的方法。 知识蒸馏被广泛的用于模型压缩和迁移学习当中。开山之作应该是”Distilling the Knowledge in a Neural Network“。这篇文章中,作者的motivation是找到一种方法,把多个模型的知识提炼给单个模型。 文章的标题是Distilling the Kn…

2021-01-18 59点热度 3人点赞 阅读全文

x = nn.functional.interpolate(x, scale_factor=8, mode='bilinear', align_corners=False) torch.nn.functional.interpolate(input, size=None, scale_factor=None, mode='nearest', align_corners=None): Down/up samples the input to either the given&n…

2021-01-17 54点热度 1人点赞 阅读全文

一、简介       上采样的技术是图像进行超分辨率的必要步骤,最近看到了CVPR2019有一些关于上采样的文章,所以想着把上采样的方法做一个简单的总结。看了一些文章后,发现上采样大致被总结成了三个类别:1、基于线性插值的上采样2、基于深度学习的上采样(转置卷积)3、Unpooling的方法其实第三种只是做各种简单的补零或者扩充操作,下文将不对其进行涉及。 为了方便大家阅读,做了个小的目录,接下来的文章介绍主要分为以下内容:线性插值1、最近邻算法2、双线性…

2021-01-14 67点热度 1人点赞 阅读全文

针对MobileNet v1的缺点,2018年诞生的MobileNet v2吸收了残差网络的思想,主要从两个方面改善了网络结构,提升了MobileNet的检测精度。 首先,MobileNet v2利用残差结构取代了原始的卷积堆叠方式,提出了一个Inverted ResidualBlock结构,如图5所示。依据卷积的步长,该结构可分为两种情形,在步长为1时使用了残差连接,融合的方式为逐元素相加。 相比于MobileNet v1与原始的残差结构,这里有两点不同: Inverted Residual Block结构 由于…

2021-01-13 56点热度 0人点赞 阅读全文

计算量:FLOPs,FLOP时指浮点运算次数,s是指秒,即每秒浮点运算次数的意思,考量一个网络模型的计算量的标准。参数量:Params,是指网络模型中需要训练的参数总数。 第一步:安装模块(thop) pip install thop 第二步:计算 import torch from thop import profile net = Model() # 定义好的网络模型 input = torch.randn(1, 3, 112, 112) flops, params = profile(net, (input,…

2021-01-13 61点热度 1人点赞 阅读全文

兼容性强,解决各种报错。

2020-12-30 80点热度 1人点赞 阅读全文

简介 本文利用attention机制,使得针对网络有了更好的特征表示,这种结构通过支路学习到通道间关系的权重和像素间关系的权重,然后乘回到原特征图,使得特征图可以更好的表示。 Convolutional Block Attention Module 这里的结构有点类似与SENet里的支路结构。 对于Channel attention module,先将原feature map分别做global avg pooling 和global max pooling,然后将两pooling后的向量分别连接一个FC层,之后po…

2020-12-05 64点热度 2人点赞 阅读全文

permute(dims) 将tensor的维度换位。 参数:参数是一系列的整数,代表原来张量的维度。比如三维就有0,1,2这些dimension。 例: import torchimport numpy    as npa=np.array([[[1,2,3],[4,5,6]]])unpermuted=torch.tensor(a)print(unpermuted.size())  #  ——>  torch.Size([1, 2, 3])permuted=…

2020-09-26 89点热度 1人点赞 阅读全文

由来 假设我们有  个值的数据集 ,我们想要求  的值,应该如何计算? 看上去这个问题可能比较奇怪,但是实际上我们在神经网络中经常能碰到这个问题。 在神经网络中,假设我们的最后一层是使用softmax去得到一个概率分布,softmax的形式为:  这里的  是其中的一个值。最终loss函数如果使用cross entropy,那么就涉及到需要对该式求  ,也就是 这里的减号后面的部分,也就是我们上面所要求的 …

2020-09-24 92点热度 2人点赞 阅读全文

NEU数据集大全,包含了原始数据集,扩展的64*64大小的分类数据集,缺陷定位(带有label)的数据集钢材表面:NEU-CLS(可用于分类、定位任务) 由东北大学(NEU)发布的表面缺陷数据库,收集了热轧钢带的六种典型表面缺陷,即轧制氧化皮(RS),斑块(Pa),开裂(Cr),点蚀表面( PS),内含物(In)和划痕(Sc)。该数据库包括1,800个灰度图像:六种不同类型的典型表面缺陷,每一类缺陷包含300个样本。对于缺陷检测任务,数据集提供了注释,指示每个图像中缺陷的类别和位置。对于每个缺陷,黄色框是指示其位置…

2020-09-23 274点热度 1人点赞 阅读全文