原文:【学习笔记】Pytorch深度学习—优化器(一)

前面我们学习过了损失函数,损失函数Loss是衡量模型输出与真实标签之间的差异的。有了损失函数Loss,通过Loss根据一定的策略 来更新模型中的参数使得损失函数Loss逐步降低 这便是优化器optimizer的任务。本节优化器optimizer主要包括 方面内容,分别是 什么是优化器,优化器的定义和作用是 Pytorch中提供的优化器optimizer的基本属性是 optimizer的方法是 图 ...

2020-08-19 21:57 0 801 推荐指数:

查看详情

深度学习Pytorch 学习笔记

目录 Pytorch Leture 05: Linear Rregression in the Pytorch Way Logistic Regression 逻辑回归 - 二分类 Lecture07: How to make netural network ...

Sun Oct 07 06:41:00 CST 2018 0 2533
PyTorch深度学习学习笔记PyTorch深度学习

第1章 PyTorch深度学习 深度学习的应用 接近人类水平的图像分类 接近人类水平的语音识别 机器翻译 自动驾驶汽车 Siri、Google语音和Alexa在最近几年更加准确 日本农民的黄瓜智能分拣 肺癌检测 准确度高于人类的语言翻译 读懂图片中的图像 ...

Mon Jun 24 07:57:00 CST 2019 2 469
学习笔记Pytorch深度学习—损失函数

前面学习了如何构建模型、模型初始化,本章学习损失函数。本章从3个方面学习,(1)损失函数的概念以及作用;(2)学习交叉熵损失函数;(3)学习其他损失函数NLL、BCE、BCEWithLogits Loss 损失函数概念 损失函数:衡量模型输出与真实标签的差异。 图 ...

Sun Aug 09 18:19:00 CST 2020 0 541
常见的深度学习优化

优化的使用: 在机器学习深度学习中,主要应用于梯度下降。比如:传统的优化主要结合数据集,通过变化单次循环所采用的数据量的大小来对梯度下降进行控制;非传统的优化则进一步结合数据集的特点和模型的训练时间,以不同的形式变化梯度下降的学习率 ...

Sun May 12 00:32:00 CST 2019 0 822
学习笔记Pytorch深度学习学习率调整策略

前面的课程学习优化的概念,优化中有很多超参数如学习率lr,momentum动量、weight_decay系数,这些超参数中最重要的就是学习率。学习率可以直接控制模型参数更新的步伐,此外,在整个模型训练过程中学习率也不是一成不变的,而是可以调整变化的。本节内容就可以分为以下3方面展开,分别 ...

Thu Aug 20 06:01:00 CST 2020 0 1151
学习笔记Pytorch深度学习-网络层之卷积层

卷积概念 什么是卷积? 以上图为例,中间为卷积核,在输入图像上进行滑动,当滑动到当前位置时,其卷积运算操作是对卷积核所覆盖像素,进行权值和对应位置处像素的乘加: \(\ output= (7 ...

Fri Aug 07 06:53:00 CST 2020 0 606
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM