在深度学习中 ， 很多我们看着迷糊的东西往往和中学特别是高中数学有关 ， 所以学好中学数学很重要；而还有更多我们普通人类学了中学数学还看不懂的东西 ， 那些往往都和高等数学有关 ， 所以再学习好高等数学是多么重要 。
梯度下降 ， 求梯度 ， 可能是深度学习中最基础 ， 入门即遇到的一个概念了 。 如果用纯Python来实现深度学习过程当然不是不可以 ， 不过会过于繁琐和麻烦 ， 对算法要求比较高了 。 而深度学习框架往往就扮演着这样一个角色 ， 帮助开发者构建图 ， 优化大量底层枯燥操作 ， 内置各种算法 ， 自动求梯度也是其中之一 。
各个深度学习框架有各自的类和包 。 而在PyTorch里 ， 它则提供一个autograd包使其能够根据输入和前向传播过程自动构建计算图 ， 并执行反向传播 。 比如 ， 我们在创建Tensor的时候 ， 将requires_grad设置为True ， 那么库就会开始自动追踪在其上的所有操作 ， 这样可以利用链式法则进行梯度传播 。 而在完成计算后 ， 可以调用.backward()来完成所有梯度计算 。 此Tensor的梯度将累积到.grad属性中 。 如果不想继续追踪可以调用.detach()或者用with torch.no_grad() 。
说了半天 ， 可能很多朋友还是不明白梯度 。 的确这个乍一看抽象又玄 ， 云里雾里的 。 虽然 ， 我们一看那些平面示意图或者3D模型 ， 嗯看懂了 ， 不过一旦回到理论概念和数学知识上就又傻眼了 ， 啥啥啥 ， 唔 ， 说的就是不机智的机智客自己 。 数学公式的确晦涩严谨 ， 难以让我这样的凡人看懂 。 不过 ， 说到底核心原理其实是一个微积分的小知识点 。 函数是可微的 ， 而可微的函数 ， 理论上就可以用解析法来找到最小值 。 最小值是啥呢 ， 就是导数是0的点 。
【深度学习|深度学习中让人感觉很玄的求梯度】而梯度其实就是一个为了在神经网络中找到最优参数而用到的偏导数 ， 深度学习中梯度下降就是为了求得最小值 。 为啥要最小值 ， 是因为神经网络要训练数据 ， 就要确定权重和偏置 。 最优的权重和偏置往往就是损失函数最小时的参数 。 所以问题就集中到损失函数上了 。 而损失函数又过于复杂没法确定 ， 所以就找到了梯度这样的偏导数 ， 它指向的就是各点函数值减少最多的方向 。
求梯度就求梯度吧 ， 怎么又要自动求梯度 。 我们要手工做 ， 正如全部手工用纯Python搭建神经网络 ， 零碎繁杂 ， 实为艰辛 。 比如一个很基础的调节某个权重的问题 ， 要知道一个神经网络上往往都有很多层 ， 而每个层往往又有很多神经元节点 ， 要调节某一个权重 ， 你不得不先冻结其他节点 ， 一个个来测试 ， 这简直是海量计算 ， 哪怕是计算机也发憷 。 所以这就要用到梯度 。 而深度学习框架 ， 恰恰把很多底层琐碎的工作给我们自动完成了 。
推荐阅读
- 考研|“考研初试第三被刷，只因没提前联系导师”，知情人道出其中实情
- 教育部|终于轮到高中生“减负”了，教学进度将大幅调整，教育部已有通知
- 距离感|声音对学习有多重要？能提升专注力和模仿准确度！
- 中小学生|湖南规范中小学生校外培训材料：坚持凡编必审、凡用必审
- 讲座|贺昌中学·清华大学美术学院共同举办“以美育人”高峰论坛
- 课堂|帮助海外华裔青少年学习中华传统文化，青岛这个社区开办的跨国“云课堂”火了
- 疫情|青岛市教育局：中小学室外体育场将分期分批对外开放
- 大学|泰晤士高等教育发布全球国际化大学排名 港大蝉联第一
- 简历|中国留学生的海外实习之路
- 科学|两院院士评选"2021年中国十大科技进展新闻"揭晓