1.dropout dropout是一种常用的手段，用来防止过拟合的，dropout的意思是在训练过程中每次都随机选择一部分节点不要去学习，减少神经元的数量来降低模型的复杂度，同时增加模型的泛化能力。虽然会使得学习速度降低，因而需要合理的设置保留的节点数量。 在TensorFlow中 ...

一、基础正则化函数 tf.contrib.layers.l1_regularizer(scale, scope=None) 返回一个用来执行L1正则化的函数,函数的签名是func(weights). 参数: scale: 正则项的系数. scope: 可选的scope name ...

TensorFlow L2正则化 L2正则化在机器学习和深度学习非常常用，在TensorFlow中使用L2正则化非常方便，仅需将下面的运算结果加到损失函数后面即可 ...

本人人工智能初学者，现在在学习TensorFlow2.0，对一些学习内容做一下笔记。笔记中，有些内容理解可能较为肤浅、有偏差等，各位在阅读时如有发现问题，请评论或者邮箱（右侧边栏有邮箱地址）提醒。 若有小伙伴需要笔记的可复制的html或ipynb格式文件，请评论区留下你们的邮箱，或者邮箱（右侧 ...

正则化： 一般可以通过减少特征或者惩罚不重要特征的权重来缓解过拟合，但是我们通常不知道该惩罚那些特征的权重，而正则化就是帮助我们惩罚特征权重的，即特征的权重也会成为模型的损失函数一部分。可以理解为， 为了使用某个特征，我们需要付出loss的代价（loss为给权重weight加的一个loss ...

所谓过拟合，就是当一个模型过于复杂后，它可以很好的处理训练数据的每一个数据，甚至包括其中的随机噪点。而没有总结训练数据中趋势。使得在应对未知数据时错误里一下变得很大。这明显不是我们要的结果。 我们想 ...

tf.keras.regularizers下面有l1和l2正则化器，但是该正则化器的l2有点不一样，从 ...

方法有几种，总结一下方便后面使用。 1. tensorflow自动维护一个tf.GraphKeys.WEIGHTS集合，手动在集合里面添加（tf.add_to_collection()）想要进行正则化惩罚的变量。 然后创建 regularizer ...