共计 891 个字符，预计需要花费 3 分钟才能阅读完成。

引言

在上一篇文章机器学习导论—梯度下降法中介绍了最小二乘法线性回归和梯度下降法，这篇文章会介绍使用Logistic回归。文章得到额结论可能与之前描述的相似，但是要注意本文使用的预测函数与之前是不一样的，本文使用的是非线性函数作为预测函数，欲知详情请继续往下看吧~

Logisitic回归

下面要介绍的内容基于对目标的分类。在梯度下降法那篇博文中我们得到的预测值很多时候都是比较大数值，然而对于一个二分类问题来说，只需要预测的结果为0或者1（一般情况下0表示负样本，1为正样本），为了达到这样的效果我们必须要修改我们之前定义的预测函数，不能使用简单的多项式函数来表示，因此新的预测函数的定义如下所示：

上面的公式就被称为Logistic函数或者Sigmoid函数。

下面给出Sigmoid函数的函数示意图：

由上面的图可以看出无论横坐标Z如何变换，纵坐标的范围都在[0 1]范围之内，因此可以很好的用于二分类的情况。

注意：（1）读者会很好奇为什么预测函数就选择Sigmoid函数而不选择其他函数？

答：其实预测函数的选择并不局限于Sigmoid函数，只要保证函数能够平滑的从0到1变换即可，因此只要读者找到其他的函数可以达到这个要求即可，不过目前来看使用Sigmoid函数居多。

给出部分Sigmoid函数的特性：

由之前的介绍知道预测函数的范围是在[0 1]，因此我们对给定的样本进行预测的概率为可以定义如下：

上面的式子使用了后验概率估计的知识，对于给定的样本数据信息X和θ预测当它是正样本或者负样本的概率。上面的两个式子可以简化为一个公式：

假设存在m个训练样本，我们可以得到参数θ的最大似然估计函数为：

为了方便最大似然估计函数的计算，我们对上述的式子两边取对数Log得到如下表达式：

与之前线性回归中使用的求取最大值的方法一致，使用随机梯度下降法计算步骤如下：

根据之前介绍的预测函数的相关特性，上面的结论可以变换为如下公式：

注意：上面的代价函数中的参数θ的更新过程看起来与之前的最小二乘法介绍的更新公式很相似，几乎一模一样。但是我们要注意到预测函数的定义是完全不一样的！本文的预测函数是个非线性函数!