前三章我们陆续介绍了半监督和对抗训练的方案来提高模型在样本外的泛化能力,这一章我们介绍一种嵌入模型的数据增强方案 。之前没太重视这种方案,实在是方法过于朴实 。。。不过在最近用的几个数据集上mixup的表现都比较哇塞 , 所以我们再来聊聊~
Mixup
原理mixup的实现非常简单 , 它从训练集中随机选择两个样本,对x和y分别进行线性加权 , 使用融合后的\(\tilde{x}, \tilde{y}\)进行模型训练
- paper: mixup: Beyond Empirical Risk Minimization
- TF源码:https://github.com/facebookresearch/mixup-cifar10
- torch复现:ClassicSolution
\[\tilde{x} = \lambda x_i + (1-\lambda) x_j \\\tilde{y} = \lambda y_i + (1-\lambda) y_j\]对x的融合比较容易理解,例如针对图像输入,mixup对输入特征层的线性融合可以被直观的展现如下 。
![小样本利器4. 正则化+数据增强 Mixup Family代码实现](http://img.zhejianglong.com/231019/051P62400-0.png)
文章插图
对y的融合,如果是2分类问题且\(\lambda=0.3\), 一个y=1的样本融合一个y=0的样本后d得到\(\tilde{y}=[0.3,0.7]\),等价于两个样本损失函数的线性加权,既0.3 *CrossEntropy(y=0)+0.7 * CrossEntropy(y=1)
如何理解mixup会生效呢?作者是从数据增强的角度给出了解释 , 认为线性差值的方式拓展了训练集覆盖的区域,在原始样本未覆盖区域(in-between area)上让模型学到一个简单的label线性差值的结果,从而提高模型样本外的泛化效果~
不过我更倾向于从正则化的角度来理解,因为模型并不是在原始样本上补充差值样本进行训练,而是完全使用差值样本进行训练 。线性差值本身是基于一个简化的空间假设,既输入的线性加权可以映射到输出的线性加权 。这个简化的假设会作为先验信息对模型学习起到正则约束的作用,使得模型的分类边界更加平滑,且分类边界离样本高密度区更远 。这和我们上一章提到的半监督3大假设,平滑性假设 , 低密度分离假设相互呼应~
作者对比了原模型和mixup增强模型在对抗样本上的预测误差 , 验证了mixup可以有效提高模型在扰动样本上的鲁棒性,不过看误差感觉对抗训练可能可以和mixup并行使用,以后有机会尝试后再来补充~
![小样本利器4. 正则化+数据增强 Mixup Family代码实现](http://img.zhejianglong.com/231019/051PAU8-1.png)
文章插图
同时作者做了个有趣的实验,对比了在融合样本上的预测误差,举个栗子0.3个体育新闻融合0.7个娱乐新闻让模型去做预测,如果预测结果既非体育也非娱乐则判断为miss 。下图显示mixup可以有效降低miss率 。间接作证了mixup有提高in-between样本外预测的效果~
![小样本利器4. 正则化+数据增强 Mixup Family代码实现](http://img.zhejianglong.com/231019/051P621E-2.png)
文章插图
实际应用中还有几个细节有待讨论
- 在哪一层进行mixup效果更好
- 只在同一个类别内部进行mixup还是对全类别进行随机mixup
- 是否需要限制mixup样本之间的相似度,避免引入过多噪声作者尝试把mixup的范围限制在KNN200 , 不过效果没有随机mixup效果好
- 混合权重的选择论文并没有对应该如何选择插值的权重给出太多的建议,实际尝试中我也一般是从大往小了调,在一些小样本上如果权重太大会明显看到模型欠拟合 , 这时再考虑适当调低权重,和dropout扰动相同权重越大正则化效果越强,也就越容易欠拟合
推荐阅读
- 2022支付宝小鸡今日答题答案
- 支付宝庄园小课堂9月9日正确答案
- 如何玩空当接龙小游戏(电脑游戏空当接龙技巧)
- iqoo8pro和小米11ultra拍照对比_哪款拍照更好
- 离谱的汉字消消乐经典小吃怎么过
- 支付宝庄园小课堂答案
- 第三方代开的微信小程序更换管理员
- 支付宝庄园小课堂今天答案
- 纯小数是什么 小数含义是
- 荣耀v40屏幕材质_荣耀v40屏幕多大