分类: 数学 >> 计算数学 提交时间: 2018-04-03
摘要: 本文通过严格数学分析找出了逻辑回归过拟合的成因:边界样本的损失贡献比重大且随法向量增长而加速增大、边界样本分布散乱,顺便理清了正则项的作用机理。 利用过拟合机制,本文提出一种反拉方法,既能缓解过拟合,又能减少训练步数,在MNIST数据集上实现加速38.25倍,在CIFAR10数据集上实现加速5.61倍。
分类: 数学 >> 计算数学 提交时间: 2018-03-22
摘要: 本文通过严格数学分析找出了逻辑回归过拟合的成因:边界样本的损失贡献比重大且随法向量增长而加速增大、边界样本分布散乱,顺便理清了正则项的作用机理。 利用过拟合机制,本文提出一种反拉方法,既能缓解过拟合,又能减少训练步数,在MNIST数据集上实现加速38.25倍,在CIFAR10数据集上实现加速5.61倍。