高效“炼丹”必备技能：一文实现深度学习数学原理入门，另有吴恩达老师亲授 ...

星宇心空

原标题：高效“炼丹”必备技能：一文实现深度学习数学原理入门，另有吴恩达老师亲讲课程

贾浩楠 发自 凹非寺

量子位 报道 | 公众号 QbitAI

哪个步伐员不想高效“炼丹”？

尤其是 深度学习算法开辟职员，寻求模子布局优化和进步编程服从是永久的目的。

但是，假如只做代码“搬运工”，不相识神经网络背后的数学原理，很难对项目有深刻全面的明白，debug反而会更难、耗时更长。

就以深度学习中常用的神经网络来说，典范模子包罗多层感知机(DLP)、卷积神经网络(CNN)、循环神经网络(RNN)等等，差别的项目，对神经网络的调参需求也不雷同。

下面的深度学习数学底子详解，以DLP为例，你读完后会对它的数学底子有全面的相识，而且 认识用数学表明算法的根本思绪。

除了DLP，文末还一并为你预备了RNN、CNN数学原理，以及吴恩达老师的AI数学底子课程。

一文实现AI数学底子入门，还在等什么？

多层感知机的数学表达

多层感知机的数学表达分为4个部门：学习算法、参数初始化、激活函数、优化函数。

学习算法

神经网络的学习过程可以看做是参数的权重在网络中履历的差别回归，也就是说我们的算法是要找出一个使参数得到最佳输出的回归方法，由此我们界说一个目的函数：丧失函数L（loss function）；另有一个参数J，它是练习集真实与估计值的量化表现。

我们通过正向和反向流传两种方法来使J最小化，学习算法可以表现为：

正向流传：

此中m是练习集的巨细，i是参数在网络中的迭代次数，y是模子的输出，θ是模子参数。

反向流传：

参数初始化

零初始化：使全部参数的权重和毛病都为零。

随机初始化：不停将随机噪音赋值给参数。假如噪音过大，大概会造成某些激活函数溢出，并影响到后续的梯度盘算。

Xavier方法：取值于正态分布的中央变量：

Glorot方法：同样取值于正态分布，方法差别。

激活函数

鼓励函数的功能是选择在网络中被通报的详细参数，更深一层的明白是，答应网络中被有用激活的神经元通报练习数据。

一下是一些常用的激活函数：

优化函数

风险，是神经网络中全部数据集的丧失，是我们必要优化的对象，界说为：

此中，X是一个可观测的一连空间中，与Y有关的元素，p(X,Y)是在这一空间中观察到点（X,Y）的边沿概率。

履历风险

在没有全部数据集，或全部数据集过大的环境下，我们不思量参数分布环境，仅将风险估计的范围限定在一个有代表性的数据集上，这种环境下，丧失函数可以表现为：

m是代表数据集的巨细。

于是可以得出：

梯度降落法

我们必要构造一个可微凸函数J，其任何一个局部的最小值都是整个函数的最小值，那么求这个函数的最小值就相称于解一个方程∇J(θ)=0，设它的解为θ⋆，于是我们得到：

学习率递减

实践证实，随着数据迭代次数增长，模子会渐渐低落学习率。如今已经有很多成熟地形貌学习率递减的公式。

优化函数还包罗输入优化、网络数据丢失正则化、反向流传正则化等，限于篇幅将链接放在文末。

其他有关深度学习的数学底子的参考链接

DLP中的其他优化函数，以及参数正向、反向流传时丧失函数具体推推导过程

http://www.ismailmebsout.com/deep-learning/

除了DLP，其他神经网络RNN、CNN等也有具体的数学表达推导过程

CNNhttp://www.ismailmebsout.com/Convolutional%20Neural%20Network%20-%20Part%201/

RNNhttp://www.ismailmebsout.com/recurrent-neural-networks/

deep learning数学底子入门

http://deeploria.gforge.inria.fr/cours/cours1.html#/definitions

Deep Learning Specialization. Master Deep Learning, and Break into AI，吴恩达

http://fr.coursera.org/specializations/deep-learning

Antoine Henrot的优化算法课程

http://www.iecl.univ-lorraine.fr/~Antoine.Henrot/english.html

— 完—

本文系网易消息•网易号特色内容鼓励筹划签约账号【量子位】原创内容，未经账号授权，克制随意转载。

AI落地最佳参考！

2020中国人工智能年度评比效果发表

12月16日，量子位MEET 2021智能将来大会现场，50大领航企业、10大明星创业公司、30大贸易领武士物、10大最佳产物、10大最佳办理方案、5大社会责任模范、5大最佳技能社区等年度奖项悉数颁出。

点击图片检察完备榜单：

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技能和产物新动态

一键三连「分享」、「点赞」和「在看」

科技前沿希望日日相见~返回搜狐，检察更多

责任编辑：