tensorflow中的正则化及数据增强


正则化:

一般可以通过减少特征或者惩罚不重要特征的权重来缓解过拟合,但是我们通常不知道该惩罚那些特征的权重,而正则化就是帮助我们惩罚特征权重的,即特征的权重也会成为模型的损失函数一部分。可以理解为, 为了使用某个特征,我们需要付出loss的代价(loss为给权重weight加的一个loss,正则化),除非这个特征非常有效,否贼就会被loss上的增加覆盖效果。这样我们就能筛选出最有效的特征,减少特征权重防止过拟合。

一般来说,L1正则会制造稀疏的特征,大部分无用特征的权重会被至为0,

L2正则会让特征的权重不过大,使得特征的权重比较平均。       tensorflow.nn.l2_loss(weight) 就是计算weight的L2 loss。

数据增强:

tf.image.random_flip_left_right(): 照片的随机水平翻转        //这里没写参数列表,下同

tf.random_crop():从照片中随机剪切一块照片

tf.image.random_brightness():设置随机的亮度

tf.image.random_contrast():设置随机的对比度

tf.image.per_image_whitening():对数据进行标准化(对数据减去均值,除去方差,保证数据0平均, 方差为1)


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM