回归分析通过提供变量间的数学表达式来定量描述变量间相关关系的数学过程。比如说研究税收和财政收入的关系、研究身高和体重的关系、研究房价和面积、城区的关系等等。回归分析包括一元线性回归、多元线性回归、多项式回归、逻辑回归、定序回归等等。

  一元线性回归模型通过回归分析研究两变量之间的依存关系，将变量区分出来自变量和因变量，并研究确定自变量和因变量之间的具体关系的方程式。因变量必须是连续型变量，或者是近似连续的变量。

  一元线性回归就涉及到了两个变量：因变量\(y\)、自变量\(x\)。那么下面就给大家展示一元线性回归方程表达式： \[y=\beta_0+\beta_1x+\mu\]   表达式中各个系数的含义：

  * \(x\)：自变量
  * \(y\)：因变量
  * \(\beta_0\)：俗称截距项，是当\(x=0\)时，\(y\)的值
  * \(\beta_1\)：俗称斜率，是整个回归的核心
  * \(\mu\)：干扰项，是X这一因素外的其他因素对\(y\)的影响的大小。

  多元线性回归方程表达式即是多个因素影响因变量的方程式： \[y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3+\mu\]

  从上面的表达式中不难看出，要想得到具体的这个回归模型，我们得估计出\(\beta_0\)和\(\beta_1\)。常见的系数估计方法有：极大似然估计、最小二乘法、梯度下降法、M-估计等等，下面我们介绍最常用的最小二乘法。

  使用最小二乘法拟合回归系数，并且得到最优的一元回归线的前提就是：估计出的\(\beta_0\)和\(\beta_1\)得使上图中的所有\(\mu^2\)(残差平方和)的平方和最小。用最小二乘法估计参数的推导过程如下：

1. 写出拟合方程

2. 现有样本点\((x,y)\)

3. 残差(Residual)

4. 残差平方和(SSR)

5. 估计系数\(\beta_0\)和\(\beta_1\)

  根据一阶导数等于0，二阶大于等于0（证明略）求出未知参数。

  (1)对\(\beta_0\)求偏导

  令 \(G=y_i-\beta_0-\beta_1x_i\)，则 \(D=\sum\limits_{i=1}^nG^2\)

\[\begin{aligned} \frac{\partial D}{\partial \beta_0} &=2GG' \\ &=\sum\limits_{i=1}^{n}2(y_i-\beta_0-\beta_1x_i)(-1)\\ &=-2\sum\limits_{i=1}^{n}(y_i-\beta_0-\beta_1x_i)\\ &=-2(\sum\limits_{i=1}^{n}y_i-\sum\limits_{i=1}^{n}a-b\sum\limits_{i=1}^{n}x_i)\\ &=-2(n\bar{y}-n\beta_0-n\beta_1\bar{x}) \end{aligned}\]

  (2)对\(\beta_1\)求偏导 \[\begin{aligned} \frac{\partial D}{\partial \beta_1} &=2GG'\\ &=\sum\limits_{i=1}^{n}2(y_i-\beta_0-\beta_1x_i)(-x_i)\\ &=-2\sum\limits_{i=1}^{n}(x_iy_i-\beta_0x_i-\beta_1x_i^2)\\ &=-2(\sum\limits_{i=1}^{n}x_iy_i-\sum\limits_{i=1}^{n}\beta_0x_i-\sum\limits_{i=1}^{n}\beta_1x_i^2)\\ &=-2(\sum\limits_{i=1}^{n}x_iy_i-n\beta_0\bar{x}-\beta_1\sum\limits_{i=1}^{n}x_i^2) \end{aligned}\]

  (3)令偏导 \(\frac{\partial D}{\partial \beta_0}=0\)得： \[\begin{alignat}{2} &-2(n\bar{y}-n\beta_0-n\beta_1\bar{x})=0\\ &\Rightarrow\color{red}{\beta_0=\bar{y}-\beta_1\bar{x}} \end{alignat}\]

  (4)令 \(\frac{\partial D}{\partial \beta_1}=0\)，并将(3)代入得： \[\begin{alignat}{2} &-2(\sum\limits_{i=1}^{n}x_iy_i-n\color{red}{\beta_0}\bar{x}-\beta_1\sum\limits_{i=1}^{n}x_i^2)=0\\ &\Rightarrow\sum\limits_{i=1}^nx_1y_i-n\color{red}{\beta_0}\bar{x}-\beta_1\sum\limits_{i=1}^nx_i^2=0\\ &\Rightarrow\sum\limits_{i=1}^nx_iy_i-n\bar{x}(\color{red}{\bar{y}-\beta_1\bar{x}})-\beta_1\sum\limits_{i=1}^nx_i^2=0\\ &\Rightarrow\sum\limits_{i=1}^{n}x_iy_i-n\bar{x}\bar{y}=\beta_1(\sum\limits_{i=1}^{n}x_i^2-n\bar{x}^2)\\ &\Rightarrow\beta_1=\frac{\sum\limits_{i=1}^{n}x_iy_i-n\bar{x}\bar{y}}{\sum\limits_{i=1}^{n}x_i^2-n\bar{x}^2} \end{alignat}\]   又因为 \[\begin{alignat}{2} \sum\limits_{i=1}^n(x_i-\bar{x})(y_i-\bar{y}) &= \sum\limits_{i=1}^nx_iy_i-n\bar{x}\bar{y}\\ \sum\limits_{i=1}^n(x_i-\bar{x}) &= \sum\limits_{i=1}^nx_i^2-n\bar{x}^2 \end{alignat}\]   所以\(\color{red}{\beta_1=\frac{\sum\limits_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum\limits_{i=1}^n(x_i-\bar{x})^2}}\)

  下面以逻辑回归为例。逻辑回归假设\(y\)服从参数为\(ϕ\)伯努利分布，\(p(y)=ϕ^y(1−ϕ)^{1−y}，E[y]=ϕ\)。下面将其写出指数分布族的形式：

\[p(y)=ϕ^y(1−ϕ)^{1−y}\\=exp(log(ϕ^y(1−ϕ)^{1−y})\\=exp(ylog(ϕ)+(1−y)log(1−ϕ))\\=exp(ylog\frac{ϕ}{1−ϕ}+log(1−ϕ))\]   与指数分布族的一般形式对比可发现： \[b(η)=1\\η=log\frac{ϕ}{1−ϕ}\\T(y)=y\\a(η)=−log(1−ϕ)\]

  因为\[η=θ^Tx,η=log\frac{ϕ}{1−ϕ}\]   所以\[ϕ=\frac{1}{1+e^{−η}}=\frac{1}{1+e^{−θ^Tx}}\]   期望为 \[h_θ(x)=E[T(y)]=E[y]=ϕ=\frac{1}{1+e^{−η}}=\frac{1}{1+e^{−θ^Tx}}\]

  这正是逻辑回归的函数形式。

  glm(formula, family=family.generator, data, control = list(…))

  formula：指拟合函数。

  family：每一种响应分布（指数分布族）允许各种关联函数将均值和线性预测器关联起来。

  常用的family：

  binomal(link=‘logit’) # 响应变量服从二项分布，连接函数为logit，即logistic回归

  binomal(link=‘probit’) # 响应变量服从二项分布，连接函数为probit

  poisson(link=‘identity’) # 响应变量服从泊松分布，即泊松回归

  control:控制算法误差epsilon和最大迭代次数maxit。

  glm.control(epsilon = 1e-8, maxit = 25, trace = FALSE)

  改变最大迭代次数：control=list(maxit=100)，maxit:算法最大迭代次数。

  以AER包中的Affairs数据集作为例子。该数据集是关于婚姻出轨，其中affairs变量表示出轨次数，数据集中还包括结婚时间、教育、宗教等其它变量。由于affairs为正整数，为了进行Logistic回归先要将其转化为二元变量。

data(Affairs,package = 'AER')
summary(Affairs)

##     affairs          gender         age         yearsmarried    children 
##  Min.   : 0.000   female:315   Min.   :17.50   Min.   : 0.125   no :171  
##  1st Qu.: 0.000   male  :286   1st Qu.:27.00   1st Qu.: 4.000   yes:430  
##  Median : 0.000                Median :32.00   Median : 7.000            
##  Mean   : 1.456                Mean   :32.49   Mean   : 8.178            
##  3rd Qu.: 0.000                3rd Qu.:37.00   3rd Qu.:15.000            
##  Max.   :12.000                Max.   :57.00   Max.   :15.000            
##  religiousness     education       occupation        rating     
##  Min.   :1.000   Min.   : 9.00   Min.   :1.000   Min.   :1.000  
##  1st Qu.:2.000   1st Qu.:14.00   1st Qu.:3.000   1st Qu.:3.000  
##  Median :3.000   Median :16.00   Median :5.000   Median :4.000  
##  Mean   :3.116   Mean   :16.17   Mean   :4.195   Mean   :3.932  
##  3rd Qu.:4.000   3rd Qu.:18.00   3rd Qu.:6.000   3rd Qu.:5.000  
##  Max.   :5.000   Max.   :20.00   Max.   :7.000   Max.   :5.000

Affairs$naffairs[Affairs$affairs==0]=0
Affairs$naffairs[Affairs$affairs>0]=1
Affairs$naffairs <- factor(Affairs$naffairs)
table(Affairs$naffairs)

## 
##   0   1 
## 451 150

  可以看出naffairs这一新列中，出轨的例子有150起，未出轨的例子有451起。

lmodel <- glm(formula=naffairs~gender+age+yearsmarried+children+religiousness+education+occupation+rating,family=binomial(link='logit'),data=Affairs)
summary(lmodel)

## 
## Call:
## glm(formula = naffairs ~ gender + age + yearsmarried + children + 
##     religiousness + education + occupation + rating, family = binomial(link = "logit"), 
##     data = Affairs)
## 
## Deviance Residuals: 
##     Min       1Q   Median       3Q      Max  
## -1.5713  -0.7499  -0.5690  -0.2539   2.5191  
## 
## Coefficients:
##               Estimate Std. Error z value Pr(>|z|)    
## (Intercept)    1.37726    0.88776   1.551 0.120807    
## gendermale     0.28029    0.23909   1.172 0.241083    
## age           -0.04426    0.01825  -2.425 0.015301 *  
## yearsmarried   0.09477    0.03221   2.942 0.003262 ** 
## childrenyes    0.39767    0.29151   1.364 0.172508    
## religiousness -0.32472    0.08975  -3.618 0.000297 ***
## education      0.02105    0.05051   0.417 0.676851    
## occupation     0.03092    0.07178   0.431 0.666630    
## rating        -0.46845    0.09091  -5.153 2.56e-07 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 675.38  on 600  degrees of freedom
## Residual deviance: 609.51  on 592  degrees of freedom
## AIC: 627.51
## 
## Number of Fisher Scoring iterations: 4