共计 567 个字符，预计需要花费 2 分钟才能阅读完成。
关于这两个之间的关系推导也有很多篇文章，现在从一个稍微简单的地方推导最大熵和逻辑回归之间的关系
最大熵定义了在给定变量x之后对应的条件分布
\[ P(y|x,\theta)=\frac{exp^{\theta*f(x,y)}}{\sum_{y \in D_y}^{}exp^{\theta*f(x,y)}} \]
假设我们设定y的是二元变量,也就是只有两种可能
\[ D_y=(y_0,y_1) \]
因此对应的f(x,y)如下所示：
\[ f(x,y)= \begin{cases}
g(x),\quad y=y_1 \\
0,\quad y=y_0
\end{cases} \]
由此可以推导对应的P(y=y1|x)的结果如下：
\begin{aligned}
P(y=y_1|x) &=\frac{exp^{\theta*f(x,y_1)}}{\sum_{y \in D_y}^{}exp^{\theta*f(x,y)}} \\
&=\frac{exp^{\theta*g(x)}}{exp^{\theta*0}+exp^{\theta*g(x)}} \\
&=\frac{1}{exp^{-\theta*g(x)}+1}
\end{aligned}
同理y=y0时也可以推导出来，不难发现推导出来的结果与逻辑回归二分类情况一模一样
对于最大熵模型二样。当类别数只有两种的时候就退化成逻辑回归模型
正文完
请博主喝杯咖啡吧！
