其他回归
要怎么真正理解回归(regression)呢？通过大量的数据统计，个体小的豆子往往倾向于产生比其更大的后代，而个体大的豆子往往倾向于产生比其更小的后代，新产生的个体有向着豆子的平均值的一种趋势，这种趋势就是回归。我们本篇文章讲的线性回归就是应用于预测的一种技术。这时，回归往往与分类相对。
线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索(Lasso)回归、弹性网络(ElasticNet)回归是最常用的回归技术。我先对这些技术做一个简单整理，让大家把脉络理清，等大家实际需要再深入探索。试图去穷尽知识只会把自己拖向疲累。
| 名称 | 解释 | 公式 |
|---|---|---|
| 线性回归(Linear Regression) | 一种以线性模型来建模自变量与因变量关系的方法 | $$y=wx+b$$ |
| 逻辑回归(Logistic Regression) | 对特定类别进行建模，用于二分类 | $$y=frac{1}{1+e^{-x}}$$ |
| 多项式回归(Polynomial Regression) | 自变量 x 和因变量 y 之间的关系被建模为关于 x 的 n 次多项式 | y=β0+β1x+β2x2+…+βmxm+ε |
| 逐步回归(Stepwise Regression) | 将多个变量一个一个地引入到模型，找到其对模型影响大的变量 | |
| 套索回归(Lasso Regression) | 稀疏矩阵，消除不重要的特征，MSE+L1范数 | $$Jleft ( Theta right )=MSEleft ( Theta right )+alpha sum left | Theta right |$$，其中，α越大模型权重越小 |
| 岭回归(Ridge Regression) | 正则化线性回归，增加模型自由度，防止过拟合，MSE+L2范数 | $$Jleft ( Theta right )=MSEleft ( Theta right )+alpha frac{1}{2}sumTheta ^{2}$$，其中，α越大模型权重越小 |
| 弹性网络(ElasticNet) | 介于岭回归和Lasso回归之间 | $$Jleft ( Theta right )=MSEleft ( Theta right )+gamma alpha sum left | Theta right |+alpha frac{1-gamma }{2}sumTheta ^{2}$$ ，其中，γ介于0和1之间，接近0则更倾向于岭回归，接近1则更倾向于Lasso回归 |
原创文章，作者：朋远方，如若转载，请注明出处：https://caovan.com/07-lijiexianxinghuiguiyutiduxiajiangbingzuojiandanyuce/.html
微信扫一扫 
