最新在看知识蒸馏的文章,主要是现在的深度学习模型越来越大,例如BERT。在线下处理数据,对时间要求不高的话,还能接受,能跑完就好。但是线上运行,对延迟要求高的话,像BERT这样的大模型,就很难满足要求。因此,就找了找模型压缩的方法。 知识蒸馏被广泛的用于模型压缩和迁移学习当中。开山之作应该是”Distilling the Knowledge in a Neural Network“。这篇文章中,作者的motivation是找到一种方法,把多个模型的知识提炼给单个模型。 文章的标题是Distilling the Kn…

2021-01-18 59点热度 3人点赞 阅读全文

针对MobileNet v1的缺点,2018年诞生的MobileNet v2吸收了残差网络的思想,主要从两个方面改善了网络结构,提升了MobileNet的检测精度。 首先,MobileNet v2利用残差结构取代了原始的卷积堆叠方式,提出了一个Inverted ResidualBlock结构,如图5所示。依据卷积的步长,该结构可分为两种情形,在步长为1时使用了残差连接,融合的方式为逐元素相加。 相比于MobileNet v1与原始的残差结构,这里有两点不同: Inverted Residual Block结构 由于…

2021-01-13 56点热度 0人点赞 阅读全文

NEU数据集大全,包含了原始数据集,扩展的64*64大小的分类数据集,缺陷定位(带有label)的数据集钢材表面:NEU-CLS(可用于分类、定位任务) 由东北大学(NEU)发布的表面缺陷数据库,收集了热轧钢带的六种典型表面缺陷,即轧制氧化皮(RS),斑块(Pa),开裂(Cr),点蚀表面( PS),内含物(In)和划痕(Sc)。该数据库包括1,800个灰度图像:六种不同类型的典型表面缺陷,每一类缺陷包含300个样本。对于缺陷检测任务,数据集提供了注释,指示每个图像中缺陷的类别和位置。对于每个缺陷,黄色框是指示其位置…

2020-09-23 274点热度 1人点赞 阅读全文

2020-09-23 123点热度 1人点赞 阅读全文

简述 为了方便理解卷积神经网络的运行过程,需要对卷积神经网络的运行结果进行可视化的展示。 大致可分为如下步骤: 单个图片的提取神经网络的构建特征图的提取可视化展示 单个图片的提取 根据目标要求,需要对单个图片进行卷积运算,但是Pytorch中读取数据主要用到torch.utils.data.DataLoader类,因此我们需要编写单个图片的读取程序 def get_picture(picture_dir, transform): ''' 该算法实现了读取图片,并将其类型转化为Tensor ''' tmp = …

2020-09-10 84点热度 2人点赞 阅读全文

本文整理了ECCV2020目前开源的分割方向的全部论文,涵盖实例分割、语义分割、点云分割、目标跟踪与分割以及视频目标分割等多个方向,并对每一篇论文进行了简要介绍,文末附论文打包下载。 实例分割 【1】Conditional Convolutions for Instance Segmentation(Oral)作者|Zhi Tian, Chunhua Shen, Hao Chen机构|阿德莱德大学代码|https://git.io/AdelaiDet 介绍:本文提出了一个简单而有效的实例分割框架CondInst。效…

2020-09-04 116点热度 2人点赞 阅读全文

昨天新出的论文 Pixel-Face: A Large-Scale, High-Resolution Benchmark for 3D Face Reconstruction 介绍了阿里巴巴、香港中文大学、中科院推出的大型人脸三维重建数据集Pixel-Face。 作者 | Zhang Yunxuan, Rong Yu, Liu Ziwei, Cheng Cheng 单位 | 阿里巴巴;港中文;中科院 Pixel-Face 数据集中的3D样例: 三维人脸重建是一项计算机视觉基本任务,可以促进众多应用,如鲁棒的面部分析…

2020-09-01 253点热度 2人点赞 阅读全文

经过前面的学习,读者应该对当前主流的物体检测算法,以及如何使用PyTorch搭建网络框架有了较为深入的理解。为了扩宽读者的思维空间,笔者将从更为宏观的角度介绍物体检测的未来发展趋势,尤其是有较大创新意义的方法,希望能对读者有所启发。 重新思考物体检测 在过去的几年的时间里,基于深度学习的检测算法取得了巨大成功。基于Faster RCNN、SSD和YOLO等改善算法你方唱罢我登场,在每年的顶级会议中都能看到它们的身影,其在工业界也有了诸多落地应用。 学习了诸多算法后,我们需要回过头来重新审视物体检测,思考当前有哪些关…

2020-08-26 118点热度 1人点赞 阅读全文

在前面的学习中,我们对物体检测模型的思想、结构及实现有了一定的了解,但是要想获得较好的检测性能,检测算法的细节处理也极为重要。 在众多的细节处理中,非极大值抑制、样本的不均衡及模型的过拟合这3个问题尤为重要,对模型的性能影响极大。本章将依次对这3个问题进行详细的分析,并给出一些经典的解决方法。 非极大值抑制:NMS 当前的物体检测算法为了保证召回率,对于同一个真实物体往往会有多于1个的候选框输出。由于多余的候选框会影响检测精度,因此需要利用NMS过滤掉重叠的候选框,得到最佳的预测输出。 NMS方法简单有效,并且对检…

2020-08-26 108点热度 1人点赞 阅读全文

前面几篇文章依次介绍了3种出色的轻量化网络:SqueezeNet、MobileNet及ShuffleNet。其中,SqueezeNet精心设计了一个压缩再扩展的模块,有效降低了卷积计算量;MobileNet v1及MobileNet v2则发挥了深度可分离卷积的优势,提升了卷积计算的效率。ShuffleNet更进一步,在分组卷积的思想上提出了通道混洗操作,避免了大量1×1卷积的操作,可谓经典。通常情况下,将这几种轻量化网络应用到检测框架中,在速度上均可以得到不同程度的提升。

2020-08-25 89点热度 1人点赞 阅读全文
12