一、激活函数 1、从ReLU到GELU,一文概览神经网络的激活函数: https://zhuanlan.zhihu.com/p/98863801 2、tensorflow使用激活函数:一种是作为某些层的activation参数指定,另一种是显式添加layers.Activation激活层 ...
下面的范例使用TensorFlow的中阶API实现线性回归模型。 TensorFlow的中阶API主要包括各种模型层,损失函数,优化器,数据管道,特征列等等。 结果: 这里出现了一个问题,我是在谷歌colab上使用gpu进行运行的,会报这个错误,但当我切换成cpu运行时就不报错了: 参考: 开源电子书地址:https: lyhue .github.io eat tensorflow in days ...
2020-04-10 15:36 3 819 推荐指数:
一、激活函数 1、从ReLU到GELU,一文概览神经网络的激活函数: https://zhuanlan.zhihu.com/p/98863801 2、tensorflow使用激活函数:一种是作为某些层的activation参数指定,另一种是显式添加layers.Activation激活层 ...
下面的范例使用TensorFlow的高阶API实现线性回归模型。 TensorFlow的高阶API主要为tf.keras.models提供的模型的类接口。 使用Keras接口有以下3种方式构建模型:使用Sequential按层顺序构建模型,使用函数式API构建任意结构模型,继承Model基类 ...
一般来说,监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization) 对于keras模型,目标函数中的正则化项一般在各层中指定,例如使用Dense的 kernel_regularizer 和 bias_regularizer等参数指定权重 ...
平方损失函数求导后,偏导太小,迭代更新慢,所以考虑用交叉熵损失函数(注意标记值和预测值不能写反了)(标记值为0或1,对0取对数是不存在的额): 交叉熵损失函数满足作为损失函数的两大规则:非负性,单调一致性 ...
如果需要训练的数据大小不大,例如不到1G,那么可以直接全部读入内存中进行训练,这样一般效率最高。 但如果需要训练的数据很大,例如超过10G,无法一次载入内存,那么通常需要在训练的过程中分批逐渐读入。 使用 tf.data API 可以构建数据输入管道,轻松处理大量的数据,不同的数据 ...
在定义了损失函数之后,需要通过优化器来寻找最小损失,下面介绍一些常见的优化方法。 (BGD,SGD,MBGD,Momentum,NAG,Adagrad,Adadelta,RMSprop,Adam,Adamax,Nadam) 1 梯度下降法 (Gradient Descent,GD) 1.1 ...
最近对tensorflow十分感兴趣,所以想做一个系列来详细讲解tensorflow来。 本教程主要由tensorflow2.0官方教程的个人学习复现笔记整理而来,并借鉴了一些keras构造神经网络的方法,中文讲解,方便喜欢阅读中文教程的朋友,tensorflow官方教程:https ...
机器学习界有一群炼丹师,他们每天的日常是: 拿来药材(数据),架起八卦炉(模型),点着六味真火(优化算法),就摇着蒲扇等着丹药出炉了。 不过,当过厨子的都知道,同样的食材,同样的菜谱,但火候不一样了,这出来的口味可是千差万别。火小了夹生,火大了易糊,火不匀则半生半糊。 机器学习也是一样,模型 ...