365bet娱乐网站

365bet娱乐网站

当前位置:主页 > 365bet最新技巧 >

BP算法的直观解释

来源: 365bet备用网址大陆 作者: 365bet网投官网 发布时间:2019-09-06
0。
前言
在模式识别课程之前,老师还谈到了MLP BP算法,但是ppt传递得太快,并且是一个普遍的印象。
在那之后,我还看了Stanforddeearningwiki wiki,但我仍然不明白并且觉得我不能形成一个直观的想法。
我会回到这个机会。
本文的目的是解释BP算法的直观印象。快速编写代码,特定的部分法律链可以参考以下博客(两个图像,没有公式)。
1)
LMS算法
故事从线性模型开始(顺便说一句):线性模型包括一般感知器学习算法和LMS算法。
感知器算法的损失函数是从错误的分类点到目的地的总距离。视觉解释如下:如果实例点被错误分类,则调整w和b的值,并且分离的超平面移动到错误的分类点旁边。Hyperplane有一个非常优雅的人物,在Bishop的PRML书中展示了这个过程。
然而,在理解了MLP BP算法之后,我觉得这个算法与LMS有一些共同之处。
MLP名称按名称称为多层感知器,但感知器算法是单层感知器。
LMS(Leastmeansquares)算法为Andrew Ngcs229的LectureNotes引入了更好的信息。
假设线性模型如下所示:
在之前的模型中,公式可表示为:
如何判断模型的质量?
损失函数定义为输出值h(x)和目标值y的平方。
通过解决部分指南,您可以获得:
为了找到合适的模型,即使用梯度法的合适的θ矢量,迭代公式是
因此,对于个人训练的第i个样本,权重更新公式为:
此更新的规则也称为Widrow-Hofflearningrule。从上到下几乎没有步骤。没有深刻的理论。但是,如果仔细观察上面的公式,您会发现一些自然而直观的功能。
首先,权重更新与y-h(x)有关。如果训练样本的预测值非常接近y,则意味着模型趋于完美并且重量的变化很小。
另一方面,如果预测值远离距离,则模型相对较差并且重量变化相对较大。
权重的变化也与输入节点值xi有关。
也就是说,在同一列车中,y-h(x)是相同的,因此细线的变化与相应输入节点x的大小成比例(参见顶部模型图)。
对此的直观印象是根据xi将残差效应分配给权重。其中残基是h(x)-y。
目前,它描述了LMS算法。如果您对收敛和梯度下降的特征感兴趣,请参阅讲义。
2)
MLP和BP算法
我们之前解释了逻辑回归。Logistic回归基本上是线性分类器,但它是线性变换后具有S形函数的非线性变换。
MLP神经网络还为此添加了新的非线性函数。为了便于讨论,这里的非线性函数使用S形函数,而损失函数忽略了调节项。然后可以通过下图表示MLP结构。
z:非线性变换前节点的值实际上是前一层节点的线性变换:非线性变换后的激活值
a = f(z):这是一个sigmoid函数


责任编辑:365bet网投官网

最新文章

热门文章

资讯排行

365bet娱乐网站

返回顶部