Ridge 和 Lasso 回归的区别有哪些？
说一些相对初级的理解，仅供参考

直观上，二者都是通过添加惩罚项，给权重系数w一个约束，来缓解样本量太小时，最小二乘回归过拟合的现象，即w值过大的问题。与最小二乘回归比，Ridge优化的目标函数是在平方和损失后添加了L2范数的正则项，LASSO加的正则项则是L1范数。Ridge和LASSO的讨论其实是L2范数和L1范数之间的讨论。

从解的角度来说，Ridge可写出显式解，LASSO不行。L2是可导的，而L1在尖点处不可导，只能写出次微分。

在收缩w的方式上，L2对于w里的值是等比例收缩(乘一个小数)，而L1某种意义上是对w里的值作减法。因此使用L1的LASSO得到的解具有变量选择的功能(w向量里某些分量会被收缩为0)，L2难以实现变量选择。

L2和L1，都是关于L0问题的近似。当问题的变量是稀疏的时候，惩罚项采用的度量最优的应是L0度量，即直接优化w中有用的变量的个数。但L0非凸，难以直接优化。L1范数是L0的最优凸近似，即同时满足稀疏性、方便优化这两点。L2则不具有稀疏性，不适合需要稀疏解的问题。

从贝叶斯的视角，对平方和损失添加L2和L1正则项去优化权重w，可看作是假设w的先验分布，根据w的数据得到似然，得到w的后验分布，不断迭代的过程。此时Ridge和LASSO的区别为，前者所假设的w的先验分布的形式是Gauss分布，后者则是Laplace分布。