# KL散度KL divergence

**URL:** <https://forum.beginner.center/t/topic/2433>\
**Category:** 🛠工具与编程\
**Tags:** 基本概念, kl-divergence\
**Created:** [2025 年11 月 25 日 10:26 UTC](https://forum.beginner.center/t/topic/2433 "2025-11-25T10:26:51Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

作者： ![doggie](https://forum.beginner.center/user_avatar/forum.beginner.center/doggie/32/550_2.png) [@doggie](https://forum.beginner.center/u/doggie)\
发布日期： [2025 年11 月 25 日 10:26 UTC](https://forum.beginner.center/t/topic/2433/1 "2025-11-25T10:26:51Z")

</div>

# 前置知识

高中数学：对数：[高中数学基础——对数logarithm - 🛠工具与编程 / 数学 - 始徒Beginner](https://forum.beginner.center/t/topic/2434)  
初中数学：开根

# 正文

KL散度（Kullback-Leibler divergence，KL divergence）用来描述差异，比如人工智能中模型预测结果和真实结果的差异

离散概率公式

D\_{KL}(P \parallel Q) = \sum\_{i} P(i) \log \left( \frac{P(i)}{Q(i)} \right)

连续概率公式

D\_{KL}(P \parallel Q) = \int P(x) \log \left( \frac{P(x)}{Q(x)} \right) dx

# KL散度从哪来？

为了测量概率分布之间的距离  
比如一个标准硬币，正面和反面的概率都是0.5

但此时你拿到一个有误差的硬币，它抛出正面的概率更高，如何判断误差有多大？直接比一下两个硬币抛出来正面的比例就行

 ![files/Intuitively Understanding the KL Divergence 00-02-20.png](https://discoursecdn.beginner.center/original/2X/3/32d5217ae5264015706b4ff1570a8917deabb7a1.jpeg)

现在我们手上有两个硬币，都有误差，我们怎么比较他们的误差有多大？还是一样，比较两者出现正面的比例，就可以判断误差有多大了

当然我们也可以换一种计算方法，为了投出一样的序列，比如这个序列

```auto
H（正、head）HHTHHTHHHTHT

```

一号硬币想投出这个序列的概率就是$p\_1 \cdot p\_1 \cdot p\_2 \cdot p\_1 \cdot p\_1 \cdot p\_2 \cdot p\_1 \cdot p\_1 \cdot p\_1 \cdot p\_2 \cdot p\_1 \cdot p\_1$  
二号硬币是$q\_1 \cdot q\_1 \cdot q\_2 \cdot q\_1 \cdot q\_1 \cdot q\_2 \cdot q\_1 \cdot q\_1 \cdot q\_1 \cdot q\_2 \cdot q\_1 \cdot q\_2$

 ![files/Intuitively Understanding the KL Divergence 00-02-55.png](https://discoursecdn.beginner.center/original/2X/b/b42e710f59f3cfd067b66f2519ebb7f475aed4c5.jpeg)  
简化一下就是  
一号硬币的概率是$p\_1^{N\_H} p\_2^{N\_T}$  
二号硬币是$q\_1^{N\_H} q\_2^{N\_T}$

然后计算一下两者概率比，就是两者差异程度

 ![files/Intuitively Understanding the KL Divergence 00-03-15.png](https://discoursecdn.beginner.center/original/2X/2/2fd936bcccf5d7d69438f4367c9a7b52845c9c4c.jpeg)

接下来我们开始公式的转换，先变换一下形式，方便后续的转换

\left(\frac{p\_1^{N\_H} p\_2^{N\_T}}{q\_1^{N\_H} q\_2^{N\_T}}\right) = \log \left(\frac{p\_1^{N\_H} p\_2^{N\_T}}{q\_1^{N\_H} q\_2^{N\_T}}\right)^{\frac{1}{N}}

继续转换

\log \left(\frac{p\_1^{N\_H} p\_2^{N\_T}}{q\_1^{N\_H} q\_2^{N\_T}}\right)^{\frac{1}{N}} = \frac{1}{N} \log \left(\frac{p\_1^{N\_H} p\_2^{N\_T}}{q\_1^{N\_H} q\_2^{N\_T}}\right)

利用对数的性质将对数展开。这里使用了对数的幂规则 log(a^b) = b\times log(a)

\frac{1}{N} \log \left(\frac{p\_1^{N\_H} p\_2^{N\_T}}{q\_1^{N\_H} q\_2^{N\_T}}\right) = \frac{1}{N} \log p\_1^{N\_H} + \frac{1}{N} \log p\_2^{N\_T} - \frac{1}{N} \log q\_1^{N\_H} - \frac{1}{N} \log q\_2^{N\_T}

将公式$\frac{1}{N}替换为 \frac{N\_H}{N}和 \frac{N\_T}{N}$

\frac{1}{N} \log p\_1^{N\_H} + \frac{1}{N} \log p\_2^{N\_T} - \frac{1}{N} \log q\_1^{N\_H} - \frac{1}{N} \log q\_2^{N\_T} = \frac{N\_H}{N} \log p\_1 + \frac{N\_T}{N} \log p\_2 - \frac{N\_H}{N} \log q\_1 - \frac{N\_T}{N} \log q\_2

调整一下顺序

\frac{N\_H}{N} \log p\_1 + \frac{N\_T}{N} \log p\_2 - \frac{N\_H}{N} \log q\_1 - \frac{N\_T}{N} \log q\_2 = (\frac{N\_H}{N} \log p\_1 - \frac{N\_H}{N} \log q\_1）+ (\frac{N\_T}{N} \log p\_2 - \frac{N\_T}{N} \log q\_2)

最后就转化成了

(\frac{N\_H}{N} \log p\_1 - \frac{N\_H}{N} \log q\_1）+ (\frac{N\_T}{N} \log p\_2 - \frac{N\_T}{N} \log q\_2) = p\_1 \log \frac{p\_1}{q\_1} + p\_2 \log \frac{p\_2}{q\_2}

跟KL散度的离散变量公式是不是很像，只不过这里是两个硬币，如果是多个，就要用 \sum\_{i}

D\_{KL}(P \parallel Q) = \sum\_{i} P(i) \log \left( \frac{P(i)}{Q(i)} \right)

# 补充

离散概率用于离散变量，比如血压分类  
连续概率用于连续变量，比如血压值

# 参考

本篇内容主要来自 [Intuitively Understanding the KL Divergence - YouTube](https://www.youtube.com/watch?v=SxGYPqCgJWM)
