最新在看知识蒸馏的文章，主要是现在的深度学习模型越来越大，例如BERT。在线下处理数据，对时间要求不高的话，还能接受，能跑完就好。但是线上运行，对延迟要求高的话，像BERT这样的大模型，就很难满足要求。因此，就找了找模型压缩的方法。 知识蒸馏被广泛的用于模型压缩和迁移学习当中。开山之作应该是”Distilling the Knowledge in a Neural Network“。这篇文章中，作者的motivation是找到一种方法，把多个模型的知识提炼给单个模型。 文章的标题是Distilling the Kn…

x = nn.functional.interpolate(x, scale_factor=8, mode='bilinear', align_corners=False) torch.nn.functional.interpolate(input, size=None, scale_factor=None, mode='nearest', align_corners=None)： Down/up samples the input to either the given&n…

一、简介       上采样的技术是图像进行超分辨率的必要步骤，最近看到了CVPR2019有一些关于上采样的文章，所以想着把上采样的方法做一个简单的总结。看了一些文章后，发现上采样大致被总结成了三个类别：1、基于线性插值的上采样2、基于深度学习的上采样（转置卷积）3、Unpooling的方法其实第三种只是做各种简单的补零或者扩充操作，下文将不对其进行涉及。 为了方便大家阅读，做了个小的目录，接下来的文章介绍主要分为以下内容：线性插值1、最近邻算法2、双线性…

针对MobileNet v1的缺点，2018年诞生的MobileNet v2吸收了残差网络的思想，主要从两个方面改善了网络结构，提升了MobileNet的检测精度。 首先，MobileNet v2利用残差结构取代了原始的卷积堆叠方式，提出了一个Inverted ResidualBlock结构，如图5所示。依据卷积的步长，该结构可分为两种情形，在步长为1时使用了残差连接，融合的方式为逐元素相加。 相比于MobileNet v1与原始的残差结构，这里有两点不同： Inverted Residual Block结构 由于…

计算量：FLOPs，FLOP时指浮点运算次数，s是指秒，即每秒浮点运算次数的意思，考量一个网络模型的计算量的标准。参数量：Params，是指网络模型中需要训练的参数总数。 第一步：安装模块（thop） pip install thop 第二步：计算 import torch from thop import profile net = Model() # 定义好的网络模型 input = torch.randn(1, 3, 112, 112) flops, params = profile(net, (input,…

兼容性强，解决各种报错。

简介 本文利用attention机制，使得针对网络有了更好的特征表示，这种结构通过支路学习到通道间关系的权重和像素间关系的权重，然后乘回到原特征图，使得特征图可以更好的表示。 Convolutional Block Attention Module 这里的结构有点类似与SENet里的支路结构。 对于Channel attention module，先将原feature map分别做global avg pooling 和global max pooling，然后将两pooling后的向量分别连接一个FC层，之后po…

permute(dims) 将tensor的维度换位。 参数：参数是一系列的整数，代表原来张量的维度。比如三维就有0，1，2这些dimension。 例： import torchimport numpy    as npa=np.array([[[1,2,3],[4,5,6]]])unpermuted=torch.tensor(a)print(unpermuted.size())  #  ——>  torch.Size([1, 2, 3])permuted=…

由来 假设我们有  个值的数据集 ，我们想要求  的值，应该如何计算？ 看上去这个问题可能比较奇怪，但是实际上我们在神经网络中经常能碰到这个问题。 在神经网络中，假设我们的最后一层是使用softmax去得到一个概率分布，softmax的形式为：  这里的  是其中的一个值。最终loss函数如果使用cross entropy，那么就涉及到需要对该式求  ，也就是 这里的减号后面的部分，也就是我们上面所要求的 …

NEU数据集大全，包含了原始数据集，扩展的64*64大小的分类数据集，缺陷定位（带有label）的数据集钢材表面：NEU-CLS（可用于分类、定位任务） 由东北大学（NEU）发布的表面缺陷数据库，收集了热轧钢带的六种典型表面缺陷，即轧制氧化皮（RS），斑块（Pa），开裂（Cr），点蚀表面（ PS），内含物（In）和划痕（Sc）。该数据库包括1,800个灰度图像：六种不同类型的典型表面缺陷，每一类缺陷包含300个样本。对于缺陷检测任务，数据集提供了注释，指示每个图像中缺陷的类别和位置。对于每个缺陷，黄色框是指示其位置…