18—concat与add区别 问题在网络模型当中,经常要进行不同通道特征图的信息融合相加操作,以整合不同通道的信息,在具体实现方面特征的融合方式一共有两种,一种是 ResNet 和 FPN 等当中采用的 element-wise add ,另一种是 DenseNet 等中采用的 concat 。他们之间有什么区别呢? add举个例子: 123a = [[1,2], [3, 4]]b = [[11,12], [13, 14]] 2022-11-23 深度学习基础 #转载
15-CNN分类网络发展历程 问题简述CNN分类网络的演变脉络及各自的贡献与特点 综述深度学习的浪潮就是从CNN开始的,它结构形态的变化也见证着这门技术的发展。现在涌进来学习深度学习的大部分人都是做计算机视觉的,因为这个门槛相对较低,业界数据集开源了很多,也比较直观,而且对硬件设备的要求也没以前那么大,导致现在就业竞争非常大。CV各种任务的网络结构变形更是日新月异,让人眼花缭乱,但是不管怎么变,基本都是基于卷积、池化和全连接这 2022-11-22 深度学习基础 #转载
16—为什么用F1-Score? 问题为什么使用F1 score?(这里主要讨论为何使用 F1 score 而不是算术平均) F1 scoreF1 score是分类问题中常用的评价指标,定义为精确率(Precision)和召回率(Recall)的调和平均数。$$F1=\frac{1}{\frac{1}{Precision}+\frac{1}{Recall}}=\frac{2×Precision×Recall}{Precision+ 2022-11-22 深度学习基础 #转载
14-卷积与互相关的联系 卷积层的来源与作用深度学习的计算机视觉是基于卷积神经网络实现的,卷积神经网络的与传统的神经网络(可以理解为多层感知机)的主要区别是卷积神经网络中除了全连接层外还有卷积层和pooling层等。 卷积层算是图像处理中非常基础的东西,它其实也是全连接层演变来的,卷积可视为局部连接和共享参数的全连接层。 局部连接:在全连接层中,每个输出通过权值(weight)和所有输入相连。而在视觉识别中,关键性的图像特 2022-11-21 深度学习基础 #转载
13-感受野如何计算? 感受野Receptive field (RF)的概念卷及神经网络中每一层输出的特征图(feature map)中的每一个像素映射到原始输入图像的区域大小。 卷积输入输出的大小关系根据感受野的概念,大家可以体会到感受野的计算应该与卷积的计算是相反的过程,所以先回顾下卷积输入输出的大小关系公式:(以高度为例)$$Height_{out} = (Height_{in} - F+2*P)/S + 1$$其 2022-11-19 深度学习基础 #转载
12-为什么CNN在CV领域表现优秀? 问题一提到计算机视觉,第一反应就是 CNN ,但是大家有没有想过,为什么图像识别领域的网络结构都是使用的 CNN 呢,或者说 CNN 网络有哪些特点可以使其在图像识别领域表现良好?这个问题对于我们而言都习惯到理所当然了,所以面试官要是突然问这种问题,估计很多同学都得懵逼一会。 分析网上没有找着相关的问题答案,所以下面的分析仅仅是我个人的观点,大家交流交流,有其他见解的话非常欢迎提出来! 为什么图像 2022-11-18 深度学习基础 #转载
11-FLops及Parameters计算 FLOPs 这里先注意一下FLOPs的写法,不要弄混了:**FLOPS(全大写)**:是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度,是一个衡量硬件性能的指标。**FLOPs(s小写)**:,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量,可以用来衡量算法/模型的复杂度,也 2022-11-17 深度学习基础 #转载
10-优化器原理及其发展 问题深度学习中有很多优化函数,常见的那些你还记得它的定义以及优缺点吗? 背景知识深度学习网络训练中,有很多可供选择的优化函数如SGD、Adam等等,到底用哪个好呢?其实这个问题没有确切的答案,优化函数是需要配合损失函数使用的,说白了,优化函数也是一种超参数,是需要尝试的,哪个效果好就用哪个…… 这些优化函数其实差别不大,都是基于一个基本框架来演进的,所以下面先介绍下优化算法的基本框架: 1、优化算 2022-11-16 深度学习基础 #转载
09-为什么输入网络要对图像作做归一化? 问题在将图像输入到深度学习网络之前,一般先对图像进行预处理,即图像归一化,为什么需要这么做呢? 问题背景在面试的时候,面试官先问的问题是“机器学习中为什么要做特征归一化”,我的回答是“特征归一化可以消除特征之间量纲不同的影响,不然分析出来的结果显然会倾向于数值差别比较大的特征,另外从梯度下降的角度理解,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解”。接着面试官又问“图像的 2022-11-15 深度学习基础 #转载
08-softmax函数求导过程 问题今天小伙伴问会不会梯度求导,发现自己对离散变量求导并不熟悉,所以以somafmax为例子复习下,再进阶其实了解计算图了。 softmax函数softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类! 假设我们有一个数组$Z$,$Z_i$表示$Z$中的第i个元素,那么这个元素的softmax值就是: 2022-11-14 深度学习基础 #转载