06-Pooling层的作用及如何反向传播
问题CNN网络在反向传播中需要逐层向前求梯度，然而pooling层没有可学习的参数，那它是如何进行反向传播的呢？ 此外，CNN中为什么要加pooling层，它的作用是什么？ Pooling层CNN一般采用average pooling或max pooling来进行池化操作，而池化操作会改变feature map的大小，例如大小为64×64的feature map使用2×2的步长池化后，featur
05-RelU在0处不可导，为何还能用？
问题ReLU函数在0处不可导，为什么在深度学习网络中还这么常用? 问题背景这是在阿里的机器学习岗一面的时候问的一个问题，最开始的问题是“为什么机器学习中解决回归问题的时候一般使用平方损失（即均方误差）？”。 当时我的回答是损失函数是是模型预测值与真实值之间的一种距离度量，我们可以计算出每个样本的预测值与真实值之间的距离，全部加起来就得到了所谓的损失函数。而距离的度量可以采用预测值与真实值之间差的绝
04-BN层的深入理解
问题BN在深度网络训练过程中是非常好用的trick，在笔试中也很常考，而之前只是大概知道它的作用，很多细节并不清楚，因此希望用这篇文章彻底解决揭开BN的面纱。 BN层的由来与概念讲解BN之前，我们需要了解BN是怎么被提出的。在机器学习领域，数据分布是很重要的概念。如果训练集和测试集的分布很不相同，那么在训练集上训练好的模型，在测试集上应该不奏效（比如用ImageNet训练的分类网络去在灰度医学图像
03-代码实现卷积操作
问题写代码实现卷积操作 问题背景一次面试失败得来的深刻教训，自己的学习太不扎实了，理论基础薄弱，一来真格就不会。其实这个问题之前在看面经的时候就有说到过，虽然理论弄明白了，但还是心存侥幸没有动手把代码写出来…… 问题解答传统卷积运算是将卷积核以滑动窗口的方式在输入图上滑动，当前窗口内对应元素相乘然后求和得到结果，一个窗口一个结果。相乘然后求和恰好也是向量内积的计算方式，所以可以将每个窗口内的元素拉
02—过拟合与欠拟合表现与解决方法
问题过拟合和欠拟合的表现和解决方法。 其实除了欠拟合和过拟合，还有一种是适度拟合，适度拟合就是我们模型训练想要达到的状态，不过适度拟合这个词平时真的好少见，在做酷狗音乐的笔试题时还懵逼了一会，居然还真的有这样的说法。 这应该是基础中的基础了，笔试题都做烂了。那就当做今天周末，继续放个假吧…… 过拟合过拟合的表现模型在训练集上的表现非常好，但是在测试集、验证集以及新数据上的表现很差，损失曲线呈现一
01—三种常见激活函数
问题在笔试问答题或面试中偶尔有涉及到激活函数的问题，这里简单总结一下深度学习中常见的三种激活函数sigmoid、tanh和ReLU，以及它们各自的特点和用途。 激活函数激活函数的作用是什么？激活函数的主要作用是在神经网络中引入非线性因素。 优秀激活函数具备的特性 非线性 可微 基于梯度优化必备特性 单调性 激活函数单调保证单层网络是凸函数，凸函数的局部最优解即为全局最优 计算简单 减少计算资源
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick