逻辑回归最大似然与最小化损失函数

共计 563 个字符，预计需要花费 2 分钟才能阅读完成。

逻辑回归中极大似然函数与最小化对数损失函数本质上是一致，现在就开始论证

Log损失函数的标准形式

$$L(Y,P(Y|X))=-logP(Y|X)$$

使用极大似然估计，公式中涉及到数的连乘，如果使用对数可以将其转化为加减法，方便运算

在逻辑回归中P(Y|X)的公式定义如下所示

 
\[ P(Y=y|x)= \begin{cases}
h_\theta(x)=g(f(x))=\frac{1}{1+exp^{-f(x)}},\quad y= 1 \\
1-h_\theta(x)=1-g(f(x))=\frac{1}{1+exp^{f(x)}},\quad y=0
\end{cases}  \]
将上述式子带入到对数损失函数中可以得到
\[ L(Y,P(Y|X))= \begin{cases}
log(1+exp^{-f(x)}),\quad y= 1 \\
log(1+exp^{f(x)}),\quad y=0
\end{cases} \]
最终得到基于对数代价函数
\[ J(\theta)=-\frac{1}{m}[\sum_{i=1}^n y^{(i)}log h_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))] \]
 
上面公式中的方括号中间的部分就是最大似然估计，所以到这里应该可以明白最小化负的似然估计就是最大熵估计