技术博客 | 记录学习笔记和思考

以下内容由AI辅助生成

一、问题背景：我们到底在担心什么？

在 Transformer 的注意力机制中，有一个非常经典的公式：

很多人在第一次看到这个公式时都会产生疑问：

• 为什么注意力机制使用点积来计算相关性？
• 为什么点积之后要接一个 softmax？
• 最关键的是：为什么一定要除以 ？

如果只是把它当成论文中的经验公式，那么对注意力机制的理解仍然停留在表面。事实上，这个结构并不是为了“效果更好看”，而是为了解决一个在训练过程中非常具体、而且非常致命的问题。

二、softmax 的作用，以及它对输入尺度的敏感性

softmax 的定义如下：

它的作用是把一组实数打分映射为一个概率分布。但 softmax 有一个非常重要的性质：

softmax 对输入的整体尺度极其敏感

当输入数值较为温和时，softmax 会产生一个相对平滑的分布；而当输入整体变大时，softmax 的输出会迅速变得极端。

一个简单的数值例子

情况一：输入尺度适中

1
2

输入: z = [1, 0]
输出: softmax(z) ≈ [0.73, 0.27]

两个位置都有明显概率，模型仍然保留不确定性。

情况二：输入尺度变大

1
2

输入: z = [10, 0]
输出: softmax(z) ≈ [0.9999, 0.0001]

此时 softmax 的输出已经几乎等同于 one-hot 分布 [1, 0]。

这是因为指数函数会将线性差距放大为指数级差距，只要输入的整体尺度变大，softmax 的输出就会迅速向极端塌缩。

三、注意力分数为什么会天然变大：点积的统计性质

在注意力机制中，softmax 的输入来自查询向量和键向量的点积：

对于单个 query-key 对，这个分数可以写成：

在常见训练设置中（例如经过 LayerNorm 之后），可以合理假设：

• 各维度的 相互独立
• 均值为 0
• 方差为 1

点积方差的数学推导

在上述假设下，对于每一项 ：

• 均值：
• 方差：

当 项独立相加时：

因此标准差为：

关键结论：点积的典型数值规模与 成正比

这并非实现细节或偶然现象，而是高维点积在统计意义上的必然结果。

具体数值示例

当 时，点积值可能达到 ±45，这会让 softmax 严重饱和。

四、softmax 的梯度结构：什么是 Jacobian？

softmax 是一个向量到向量的函数：

• 输入：
• 输出：

当输入和输出都是向量时，需要描述这样一件事：

某一个输入分量发生微小变化，会如何影响所有输出分量

所有这些“偏导关系”组成的一整张表，称为 Jacobian 矩阵：

softmax 的 Jacobian 具体形式

对于 softmax，其 Jacobian 有明确的数学形式：

关键观察：

• 当 （饱和状态）时，
• 当 时，

梯度大小直接由输出概率本身控制

五、softmax 饱和：输出分布发生了什么变化

对比：适中尺度 vs 大尺度

输入尺度适中时（例如 ）：

1
2
3
4
5
6
7
8
9

位置:    1      2      3      4
输入:    2      1      0     -1
概率:  0.52   0.28   0.14   0.06

可视化:
位置 1: ██████████████████ (52%)
位置 2: ████████████ (28%)
位置 3: ██████ (14%)
位置 4: ██ (6%)

在这种状态下，多个位置都具有非零概率，输出对输入变化是敏感的。

输入尺度变大时（例如 ）：

1
2
3
4
5
6
7
8
9

位置:    1      2       3        4
输入:   20     10       0      -10
概率:  1.00   0.00    0.00     0.00

可视化:
位置 1: ████████████████████████████████ (≈100%)
位置 2: (≈0%)
位置 3: (≈0%)
位置 4: (≈0%)

此时，几乎所有概率质量都集中在单一位置，其余位置的概率被压缩到接近零。

这种从“平滑分布”到“极端分布”的转变，称为 softmax 饱和（saturation）。

六、梯度是如何在 softmax 处消失的

在反向传播中，梯度的传递遵循链式法则：

未饱和状态：梯度正常传播

1
2
3
4
5
6
7
8
9
10
11
12

反向传播路径：

Loss
  │ ∂L/∂s (来自上游)
  ↓
softmax
  │ ∂s/∂z ≈ [0.2, 0.3, 0.1, ...] (梯度有效)
  ↓
logits z
  │ ∂z/∂Q, ∂z/∂K (梯度继续传播)
  ↓
Q, K (参数可以更新)

饱和状态：梯度被截断

1
2
3
4
5
6
7
8
9
10
11
12

反向传播路径：

Loss
  │ ∂L/∂s (来自上游)
  ↓
softmax
  │ ∂s/∂z ≈ [0.00001, 0, 0, ...] (梯度几乎为0！)
  ↓
logits z
  │ ∂z/∂Q ≈ 0, ∂z/∂K ≈ 0 (梯度消失)
  ↓
Q, K (参数无法更新！)

梯度不是在网络深处逐层衰减的，而是在 softmax 这一层被直接截断的

这是一种发生位置非常明确的梯度消失问题。

七、从点积到梯度消失的完整因果链

将前面的所有环节串联起来，可以得到一条完整因果链：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

高维点积统计性质
    ↓
点积方差 ∝ d_k
    ↓
点积值的典型尺度 ∝ √d_k
    ↓
softmax 输入整体变大
    ↓
指数函数放大差距
    ↓
softmax 输出趋向 one-hot 分布
    ↓
softmax Jacobian 中梯度项趋近于 0
    ↓
∂s/∂z ≈ 0 导致梯度截断
    ↓
Q、K 无法更新，注意力权重过早固定

问题的本质是：点积让 softmax 过早进入了饱和区间，从而导致梯度消失。

八、为什么这不是梯度爆炸问题

这一现象有时会被误认为是梯度爆炸，但两者在机制上完全不同。

梯度爆炸 vs 梯度消失对比

关键区别：

softmax 的梯度由其输出概率控制，具体形式为 和 。由于概率值 ，这些导数在数值上是有上界的，不可能随着输入增大而放大梯度。

softmax 只会压缩梯度，而不会放大梯度。

因此，这里出现的问题不是梯度失控增大，而是梯度被系统性压缩并最终消失。

九、根本解决方案：Scaled Dot-Product Attention

既然问题的根源在于点积的方差与维度成正比（），那么最直接的解决方式就是对点积进行缩放：

缩放后的统计性质

缩放后，点积的方差变为：

效果：

• 控制点积的典型尺度稳定在常数级别（与维度无关）
• 防止 softmax 过早进入饱和区
• 保持输出对输入变化的敏感性
• 让梯度能够持续传回 Q 和 K

这一步的本质是方差归一化（variance normalization）。

十、为什么是

三种缩放方式的对比

直观解释

• 不做缩放：点积方差随 线性增长，softmax 很快饱和
• **除以 **：矫枉过正，点积方差变成 ，当 很大时会让所有注意力权重过于平均，失去了“注意”的意义
• **除以 **：恰好让方差归一化到 1，既不会饱和也不会过于平滑

这一选择与 Xavier 初始化、LayerNorm 等方法背后的统计思想是一致的：保持信号的方差在网络中稳定传播。

十一、总结

点积过大不会导致梯度爆炸，而是会使 softmax 过早进入饱和状态。一旦 softmax 的输出分布变得极端，其 Jacobian 中的梯度项会趋近于零，导致梯度在这一层被有效截断，学习信号无法继续传播到 Q 和 K。

的引入，正是为了把点积的方差从 归一化到 1，从而把 softmax 的输入尺度拉回到一个模型仍然能够持续学习的区间。

这是一个精心设计的数学解决方案，背后的统计原理清晰明确。

以下内容由AI辅助生成

一、训练神经网络到底在做什么

训练神经网络,本质只有一件事:

不断微调参数,使模型输出更接近真实目标。

参数该往哪个方向调、调多大力度,完全由梯度决定。

如果梯度能够稳定传播,模型就能学习;
如果梯度在传播过程中衰减或失控,训练就会失败。

二、什么是梯度(不涉及神经网络)

1. 变化率的直觉理解

考虑函数:

当 发生微小变化时, 的变化量取决于当前位置。

• 在 附近, 增加 0.01, 约增加 0.02
• 在 附近,同样增加 0.01, 却增加约 0.2

这说明:
同样的输入变化,在不同位置,对输出的影响不同。

2. 导数的定义

这种“对变化的敏感程度”,就是导数。

数学上,导数的定义为:

对 :

注: 在单变量函数中称为导数,在多变量函数中,所有偏导数组成的向量称为梯度。

三、梯度在训练中的作用

1. 参数是如何被更新的

设一个最简单的模型:

定义损失函数:

训练的目标是让损失 变小。

2. 梯度下降规则

参数更新公式为:

其含义是:

• 梯度大 → 参数调整幅度大
• 梯度小 → 参数调整幅度小
• 梯度为 0 → 参数不再更新

梯度决定了模型是否还能继续学习。

四、神经网络中的梯度从哪里来

1. 神经网络是复合函数

多层神经网络可以表示为函数嵌套:

损失函数是 。

2. 反向传播的本质

反向传播使用链式法则计算梯度:

也就是说:

梯度是多个导数的连乘结果。

五、梯度消失:为什么“传不到前面”

1. 连乘导致的数值衰减

假设每一层反向传播的导数约为 0.5:

• 10 层:
  

• 50 层:
  

梯度几乎为 0。

2. 对训练的影响

• 输出层附近仍能更新
• 输入层附近梯度趋近于 0
• 参数几乎不发生变化

这称为梯度消失(Vanishing Gradient)。

六、梯度爆炸:同一机制的反面

1. 连乘导致的数值放大

若每一层导数约为 1.5:

• 10 层:
• 50 层:

2. 对训练的影响

• 参数更新幅度极大
• 损失函数变为 NaN 或 inf
• 数值溢出,模型发散

这称为梯度爆炸(Exploding Gradient)。

七、激活函数为什么会深刻影响梯度

1. 激活函数的作用

如果每一层只有线性变换:

多层叠加后仍等价于一次线性变换,模型表达能力有限。

因此神经网络必须引入非线性激活函数。

2. 激活函数在反向传播中的角色

在反向传播过程中,每一层梯度都会乘上激活函数的导数:

激活函数的导数直接决定梯度是被缩小,还是能够稳定传播。

3. Sigmoid:典型的饱和型激活函数

函数形态:

1
2
3
4
5
6

y
1 |           ________
  |         /
  |       /
0 |______/____________ x
  -∞   0         +∞

形态特征:

• 输出值域在 (0, 1) 之间
• 两端逐渐变平,存在明显饱和区
• 当输入绝对值较大时(如 或 ),函数几乎不变化
• 在饱和区内,导数接近 0
• 最大导数出现在 处,值为 0.25

多层连乘后,即使在最佳位置,导数也只有 0.25,梯度迅速衰减,极易出现梯度消失。

4. ReLU:非饱和激活函数

函数形态:

1
2
3
4
5
6

y
  |
  |        /
  |       /
0 |______/____________ x
  -∞   0         +∞

形态特征:

• 负区间输出恒为 0( 时 )
• 正区间保持线性增长( 时 )
• 正区间内导数恒为 1
• 负区间内导数恒为 0

优点: 梯度在正区间不会被缩小,更适合深层网络。

缺点: 负区间梯度为 0,可能导致“神经元死亡”问题(Dead ReLU),即某些神经元永远不会被激活。

5. GELU:平滑的非饱和激活函数

函数形态:

1
2
3
4
5
6

y
  |          /
  |        /
  |     __/
0 |____/______________ x
  -∞   0         +∞

形态特征:

• 整体趋势类似 ReLU
• 负区间平滑过渡,而非硬截断(允许小的负值通过)
• 在 附近是光滑可导的
• 同时保持梯度稳定与函数连续性
• 避免了 ReLU 的“神经元死亡”问题

因此在 Transformer 等现代深层模型中被广泛采用。

6. 激活函数对梯度的整体影响

• Sigmoid / Tanh: 饱和型激活函数,导数最大值为 0.25(Sigmoid)或 1(Tanh),在饱和区导数接近 0,易导致梯度消失
• ReLU: 非饱和激活函数,正区间导数恒为 1,但负区间导数为 0,可能导致神经元死亡
• GELU / Swish: 平滑的非饱和激活函数,结合了 ReLU 的优点并避免了硬截断,在深层网络中表现更好

八、梯度消失与爆炸的本质

梯度问题并非偶然,而是反向传播机制的必然结果:

• 小于 1 的数反复相乘 → 梯度消失
• 大于 1 的数反复相乘 → 梯度爆炸

问题与网络深度、激活函数和结构设计强相关。

九、常见解决思路

针对梯度消失:

• 使用非饱和激活函数(如 ReLU、GELU)代替 Sigmoid、Tanh
• 引入残差连接(ResNet),为梯度提供直接的反向传播路径
• 使用批归一化(Batch Normalization)或层归一化(Layer Normalization)稳定数值尺度
• 适当的权重初始化(如 Xavier、He 初始化)使初始梯度保持在合理范围

针对梯度爆炸:

• 梯度裁剪(Gradient Clipping),限制梯度的最大范数
• 降低学习率
• 使用权重正则化(如 L2 正则化)
• 批归一化同样有助于防止梯度爆炸

十、总结

梯度消失是信号衰减问题,
梯度爆炸是信号放大失控问题。

深度学习模型结构的演进,本质上是在解决同一个问题:
如何让梯度稳定、完整地传回去。

以下内容由AI辅助生成

——从函数形式到分段线性逼近的机制说明

一、感知机与神经网络的基本函数形式

在深度学习中，感知机及其扩展的神经网络，并不是在使用人为指定的多项式函数形式，例如：

其基本计算结构为：

其中：

• ：输入特征
• ：可学习参数
• ：激活函数（形式固定，由模型结构决定）

神经网络的非线性能力并非来自显式写入平方、立方项，而是来自激活函数与多层组合。

二、模型结构与参数学习的区分

神经网络需要在两个层面上理解：

• 结构层面：
  层数、连接方式、激活函数类型（人为设计）

• 参数层面：
  权重 、偏置 （通过数据训练得到）

网络不会“选择一个解析公式”，而是在固定结构下，通过参数不断调整，形成某种函数形状。

三、单层感知机的表达能力边界

当模型只有一层（无隐藏层）时：

虽然激活函数引入了非线性，但其表达能力仍然受限：

• 决策边界是线性的（对于分类任务）
• 无法表示真正复杂的非线性决策区域

例如 XOR、圆形边界等问题，无法由单层感知机解决。
复杂函数的表达能力来自隐藏层。

四、复杂函数是如何被“学出来”的

神经网络学习复杂函数的过程，本质是连续的数值优化：

1. 参数随机初始化，函数形状与目标无关
2. 前向传播，计算当前模型对应的输出函数
3. 计算损失函数，仅反映预测误差
4. 反向传播，计算参数对损失的梯度
5. 梯度下降，微小更新参数
6. 多次迭代，函数形状逐步调整

模型并不“理解函数形式”，只是不断在函数空间中朝误差更小的方向移动。

五、非线性激活的作用（以 ReLU 为说明示例）

为便于几何化理解，引入 ReLU 激活函数作为示例：

对一维输入：

其几何特征为：

• 当 ，输出为 0
• 当 ，输出为一条直线

一个 ReLU 神经元在一维输入下，只做一件事：
在某个位置之后，开始贡献一段线性函数。

六、折点的定义与来源

ReLU 的“折点”定义为：

需要明确：

• 网络中不存在名为 的独立参数
• 折点是权重 与偏置 的比值结果
• 训练过程中仅对 做梯度下降
• 折点位置是参数学习的自然副产物

七、多 ReLU 网络的函数性质

对一维输入、单隐藏层 ReLU 网络：

该函数族具有严格性质：

• 在任意区间内是线性的
• 在折点处一阶导数发生跳变
• 整体函数为分段线性函数

复杂性来自多个折点及其线性部分的叠加。

八、三 ReLU 拼接示例（严格区分“折点”与“输出折线”）

考虑如下网络：

1. 折点（竖直分界线）

该网络包含三个 ReLU，因此理论上只有三个折点：

它们对应三条竖直分界线，用于划分输入区间，本身不是函数图像的一部分：

1
2

│        │        │
t₁       t₂       t₃

2. 区间划分

折点将输入轴划分为四个区间：

3. 各区间内的函数来源（这是关键）

区间 A：

• ReLU(x+1) = 0
• ReLU(x) = 0
• ReLU(x−1) = 0

输出为：

这是一个常数函数，因此图像是一条横线。

这条横线并不对应任何单个 ReLU
而是“三个 ReLU 全部未激活”的叠加结果

区间 B：

• ReLU(x+1) = x+1
• 其余两个 ReLU = 0

输出为：

这一段直线由 ReLU₁ 单独贡献

区间 C：

• ReLU(x+1) = x+1
• ReLU(x) = x

输出为：

这一段直线是 ReLU₁ 与 ReLU₂ 的线性叠加

区间 D：

• 三个 ReLU 全部激活

输出为：

这一段直线是 三个 ReLU 的线性部分之和

4. 输出函数的折线示意（结果）

1
2
3
4
5
6
7
8
9
10

y
│               /
│            __/   ← ReLU₁ + ReLU₂ + ReLU₃
│         __/
│      __/        ← ReLU₁ + ReLU₂
│   __/
│__/              ← ReLU₁
│──────────────   ← 所有 ReLU = 0（常数段）
└──────────────── x
   -1     0     1

需要严格理解：

• 竖线（t）：表示 ReLU 的激活边界
• 折线：表示当前所有“已激活 ReLU”的线性部分之和
• 折线不是某个 ReLU 单独“画出来的”

九、为什么这种结构可以逼近抛物线

抛物线 的本质特征是：

• 斜率随 连续增大

ReLU 网络无法产生连续曲率，但可以通过：

• 足够多折点
• 足够密的斜率跳变

在有限区间内逼近这种行为。

十、有限 ReLU 的表达极限

在一维情况下：

• 有限 ReLU 网络 ⇒ 分段线性函数
• ⇒ 处处光滑、二阶导数非零

因此：

• ❌ 有限 ReLU 无法在整个实数轴上精确等于
• ✅ 在任意有限区间内，可以逼近到任意精度

十一、需要多少个 ReLU（量级结论）

在区间 上，用单隐藏层 ReLU 网络逼近：

若最大误差为 ，所需 ReLU 数量满足：

含义为：

• 区间越大 → 折点越多
• 精度要求越高 → 折点越多

十二、整体总结

• 神经网络不显式构造高次多项式
• 表达能力来自线性变换与非线性激活的组合
• ReLU 在一维下本质生成分段线性函数
• 折点是参数学习的自然结果，而非人为设定
• 折线是多个 ReLU 线性部分的叠加结果
• 光滑函数只能被有限 ReLU 逼近，不能被精确等同

以下内容由AI辅助生成

一、从最基本的问题开始

1.1 模型如何表达预测？

假设你在训练一个图像分类模型：

任务：判断这张图是「猫」还是「狗」？

模型不会直接给出“猫”或“狗”这样的硬答案，而是输出概率分布：

• “我认为是猫的概率是 0.8，是狗的概率是 0.2”

👉 核心理解：模型输出的是“置信度（概率）”，而不是确定的答案。

1.2 如何评价模型预测的好坏？

假设真实答案是「猫」，我们看不同预测的质量：

我们需要设计一个损失函数，满足：

• 正确答案的概率越大 → 损失越小
• 正确答案的概率越小 → 损失越大

1.3 为什么选择对数函数？

观察函数 loss = -log(p) 的行为：

关键特性：

1. p 接近 1 → 损失接近 0（奖励正确预测）
2. p 接近 0 → 损失趋向无穷（严厉惩罚错误）
3. 非线性增长：从 p=0.9 到 p=0.1，损失增加了 20 倍以上

为什么对数函数如此合适？这来自最大似然估计的数学原理（第四章详解）。

1.4 交叉熵的最简形式

对于单次预测：

• 真实答案是类别 A
• 模型给 A 的概率是 p

损失函数：

这就是交叉熵的核心。

二、为什么叫“交叉熵”？

2.1 先理解“熵”

熵（Entropy）是信息论中的核心概念，衡量不确定性。

两个例子

例子 1：完全确定

• 明天 100% 会下雨
• 熵 = 0（无不确定性）

例子 2：完全随机

• 抛硬币，正反各 50%
• 熵最大（最大不确定性）

数学定义

对于概率分布 P：

含义：平均每次需要多少信息量（比特）来描述发生的事情。

2.2 什么是“交叉”？

现实中经常出现这种情况：

• 真实世界：按分布 P 在运行
• 你的认知：却认为它是分布 Q

当你用错误的分布 Q 去理解真实分布 P 时，会产生额外的“信息代价”。

交叉熵的定义

2.3 为什么叫“交叉”？

看公式的结构：

“交叉”的含义：两个不同分布的交叉使用

• 权重来自 P
• 编码来自 Q

对比：

• **熵 H(P)**：用自己编码自己
• **交叉熵 H(P,Q)**：用别人编码自己

2.4 在机器学习中的应用

真实标签（one-hot）：P = [0, 0, 1, 0] — 第3类是正确答案

模型输出（Softmax）：Q = [0.1, 0.2, 0.6, 0.1]

计算交叉熵：

2.5 为什么简化成了 -log(p)？

在分类任务中，真实标签是 one-hot：只有正确类是1，其他是0

代入交叉熵公式，求和后只剩下正确类别那一项：

这就是为什么实际代码中：

1

loss = -log(Q[y_true])

三、二分类和多分类的具体形式

3.1 二分类交叉熵（Binary Cross Entropy）

设定：

• 模型输出：p = P(y=1|x)，通过 Sigmoid 得到
• 真实标签：y ∈ {0, 1}

损失函数：

理解：这是分段函数的简洁写法

具体例子：

1
2
3
4
5

真实标签 y = 1, 模型预测 p = 0.9
损失 = -log(0.9) ≈ 0.105

真实标签 y = 1, 模型预测 p = 0.1
损失 = -log(0.1) ≈ 2.303

3.2 多分类交叉熵（Categorical Cross Entropy）

完整流程：

步骤1：模型输出 logits

1

z = [2.0, 1.0, 0.1]

步骤2：Softmax 归一化

计算结果：p₁ ≈ 0.659, p₂ ≈ 0.242, p₃ ≈ 0.099

步骤3：计算交叉熵

真实标签 y = [0, 1, 0]（第2类是正确答案）

简化形式（利用 one-hot）：

四、从最大似然估计理解交叉熵

4.1 一个侦探问题

你发现了一枚硬币和抛掷记录：

1

结果：正、正、反、正、正

任务：判断硬币正面的概率是多少？

思考过程：

结论：θ = 0.8 最能解释观测数据！

这就是最大似然估计（MLE）的核心思想。

4.2 概率 vs 似然：关键区别

概率（Probability）

• 已知：参数 θ
• 求：数据出现的概率
• 方向：从原因推结果

1

P(data|θ) = “给定硬币特性，某个结果出现的概率”

似然（Likelihood）

• 已知：数据（已经发生了）
• 求：哪个参数最可能
• 方向：从结果推原因

1

L(θ|data) = “给定观测结果，哪个参数最合理”

数学关系：L(θ|data) = P(data|θ)

数值相同，但含义完全相反。

4.3 硬币问题的形式化

Step 1: 建立概率模型

1
2

P(x=1|θ) = θ      # 正面
P(x=0|θ) = 1-θ    # 反面

Step 2: 计算联合概率

观测：正、正、反、正、正

假设独立：

Step 3: 似然函数

问题：θ 取什么值时，L(θ) 最大？

4.4 为什么要取对数？

这是连接 MLE 和交叉熵的关键步骤。

原因1：连乘变连加

对于 N 个样本：L(θ) = ∏ P(xᵢ|θ)

当 N 很大时：

• 数值下溢：太多小于1的数相乘，结果趋近0
• 计算困难：浮点数精度问题

取对数后：

连乘变连加，数值稳定！

原因2：不改变最优解

log 是严格单调递增函数：

原因3：求导更简单

• 原函数：L(θ) = θ⁴(1-θ)
• 对数函数：ℓ(θ) = 4log θ + log(1-θ)

求导：dℓ/dθ = 4/θ - 1/(1-θ) = 0

解得：θ = 0.8

4.5 MLE 的通用形式

给定：

• 数据：x₁, x₂, …, xₙ
• 参数：θ
• 模型：P(x|θ)

三步曲：

1. 似然函数：L(θ) = ∏ᵢ P(xᵢ|θ)
2. 对数似然：ℓ(θ) = ∑ᵢ log P(xᵢ|θ)
3. 最大化：θ̂ = argmax ∑ᵢ log P(xᵢ|θ)

核心思想：

找一个参数 θ，使得“已发生的数据”在该模型下出现的概率最大。

4.6 从 MLE 到机器学习

监督学习中：

• 数据：(x₁,y₁), (x₂,y₂), …, (xₙ,yₙ)
• 模型：P_θ(y|x)

MLE 目标：

从最大化到最小化：

深度学习框架做最小化（梯度下降）：

右边就是负对数似然（NLL）

每个样本的损失：

这正是交叉熵损失！

五、MLE = NLL = 交叉熵

5.1 完整的等价链

1
2
3
4
5
6
7

最大似然估计（MLE）
    ↓ 取对数
对数似然（Log-Likelihood）
    ↓ 变号（max → min）
负对数似然（NLL）
    ↓ 用分布语言重写
交叉熵（Cross Entropy）

5.2 逐步推导

Step 1: MLE 原始形式

Step 2: 取对数

这是对数似然（Log-Likelihood）

Step 3: 变号

这是负对数似然（NLL）

Step 4: 用分布语言重写

真实分布 P（one-hot）：P(y|x) = 1 当 y=y_true，否则 = 0

模型分布：Q_θ(y|x) = P_θ(y|x)

交叉熵定义：

代入 one-hot：

与 NLL 完全一致！

5.3 核心等价关系

因此：

5.4 为什么有不同的名字？

本质相同，只是不同学科的不同表述。

5.5 数值例子：三者的一致性

3分类问题，3个样本：

数据：

• 样本1: y₁=0, 预测 P_θ(0|x₁) = 0.7
• 样本2: y₂=1, 预测 P_θ(1|x₂) = 0.8
• 样本3: y₃=2, 预测 P_θ(2|x₃) = 0.5

方法1：MLE（最大化似然）

1
2

L(θ) = 0.7 × 0.8 × 0.5 = 0.28
log L(θ) = log(0.7) + log(0.8) + log(0.5) = -1.273

方法2：NLL（最小化负对数似然）

1

NLL = -log L(θ) = 1.273

方法3：交叉熵

1
2
3
4

L₁ = -log(0.7) ≈ 0.357
L₂ = -log(0.8) ≈ 0.223
L₃ = -log(0.5) ≈ 0.693
总和 = 1.273

三种方法，完全相同的结果！

六、为什么这样设计？

6.1 理论基础：来自统计学

分类模型在建模条件概率 P(y|x)

统计学告诉我们：

• 最自然的参数估计方法是 MLE
• MLE 具有一致性、渐近正态性等优良性质
• MLE 等价于最小化交叉熵

结论：

交叉熵不是人为设计的，而是从统计学基本原理推导出来的

6.2 工程优势：梯度简洁

Softmax + Cross Entropy 的梯度：

特点：

1. 形式极简：就是预测值和真实值的差
2. 没有复杂的链式法则
3. 数值稳定：不会梯度消失或爆炸
4. 计算高效

这就是为什么深度学习框架直接提供 CrossEntropyLoss。

6.3 信息论视角：最小化分布差异

交叉熵可以分解为：

其中：

• H(P)：真实分布的熵（常数）
• KL(P‖Q)：KL散度（分布差异）

因此：最小化交叉熵 ⟺ 最小化 KL 散度 ⟺ 让模型分布逼近真实分布

七、总结

7.1 核心理解

交叉熵损失 = -log(正确答案的概率)

• = 负对数似然
• = 最大似然估计的优化目标

7.2 从三个角度理解

直觉：

“你给正确答案分配的概率有多低，我就罚你多狠”

统计学：

“让已发生的数据在当前模型下概率最大”

信息论：

“用模型的分布去理解真实分布所付出的代价”

7.3 关键等价关系

7.4 理解路径

1
2
3
4
5
6
7
8
9
10
11

1. 问题：如何评价模型预测？
       ↓
2. 直觉：正确答案概率越高越好
       ↓
3. 函数：-log(p) 提供合适的惩罚
       ↓
4. 统计学：这是最大似然估计
       ↓
5. 信息论：这也是交叉熵
       ↓
6. 等价：MLE = Log-Likelihood = NLL = Cross Entropy

7.5 最小记忆单元

如果只记一件事：

交叉熵 = -log(正确类的概率)

它来自最大似然估计：让模型给真实答案的概率最大

八、结语

交叉熵损失看似简单的 **-log(p)**，实际上：

• 来自统计学：最大似然估计的自然结果
• 来自信息论：分布差异的度量
• 工程优良：梯度简洁、数值稳定

理解交叉熵和最大似然的联系，你就真正理解了：

• 为什么这样设计损失函数
• 为什么深度学习能够工作
• 如何从原理出发思考问题

以下内容由AI辅助生成

Softmax 是多分类任务中最常见的输出层函数。它的任务表面上是“把 logits 变成概率”，但本质是：将一组可加的分数转换为可比较、可优化的相对强度，并与极大似然/交叉熵无缝对接，同时保证数值稳定和梯度友好。

1. 问题设定：从 logits 到概率

1.1 什么是 logits？

神经网络最后一层通常输出一组实数：

这组 称为 logits（未归一化分数）。

1.2 我们需要什么？

我们需要一个函数，将任意实数向量映射到“概率单纯形”：

其中概率单纯形定义为：

1.3 硬约束（缺一不可）

• 非负性：输出必须 > 0

• 归一化：总和为 1

• 全域定义：对所有实数输入都有定义

• 保序性：

  例子：如果 logits 是 ，那么 Softmax 后 的顺序不变

• 可微性：平滑可导，梯度稳定（用于反向传播）

2. Softmax 的定义

2.1 标准形式

其中：

• ：类别数
• ：第 类的 logit
• 分母：对所有类别的指数求和，用于归一化

2.2 向量形式

2.3 数值稳定版（工程实践）

为什么要减 ？

当 很大时（如 1000）， 会导致数值溢出（Overflow，变成 Inf）。减去 后：

• 最大的 logit 变为 0：
• 其他 logit 都是负数： 最多下溢到 0，不会 NaN
• 数学上结果完全相同（分子分母同时除以 ）

例子：

• 原始： → 溢出！
• 稳定版： → ✓

3. 为什么输出在 (0,1) 且和为 1？

这是纯代数结论，无需“概率直觉”。

令

3.1 为什么 ？

• 对任意实数 ，都有
• 分母是正数之和，必然 > 0
• 因此

3.2 为什么 ？

分母包含分子本身：

（除非 ，否则严格 < 1）

3.3 为什么 ？

3.4 本质

Softmax = 对一组正数做 L1 归一化

指数的作用是将“任意实数”转为“严格正权重”。

4. 为什么必须用指数？

4.1 方案一：直接归一化 ❌

问题：

• 可能为负 → “概率”为负
• 分母可能为 0
• 符号变化时语义被破坏

结论：不满足基本约束

4.2 方案二：ReLU 后归一化 ❌

问题：

• 0 处不可导，训练困难
• 大量类可能变为 0，梯度长期为 0（神经元“死亡”）
• 相对差异被扭曲

4.3 方案三：平方归一化 ❌

问题：

• 与 得到相同权重
• logits 的“偏好方向”丢失
• 分类语义崩塌

5. 指数为什么“刚刚好”？

指数函数 同时满足所有需求：

1. 严格正性：（无零点、无负值、无断点）

2. 严格单调：保持顺序

3. 差异放大：线性差转为倍率差
   

   例子：

   • 如果 ，则 倍
   • 如果 ，则 倍
   • logit 差距越大，概率比越悬殊

4. 加法→乘法同态：
   

第 4 点是关键的“桥梁”性质，后文将深入阐述。

6. e 是什么？

6.1 连续复利的极限

背景：假设你存 1 元钱，年利率 100%。

• 一年计息 1 次： 元
• 半年计息 1 次： 元
• 每天计息： 元
• 每秒计息： 元

当计息频率趋于无限（连续复利），极限就是 ：

6.2 级数定义（实际计算常用）

算到 已经非常接近 2.71828。

6.3 最关键性质：自导数

这是 Softmax + 交叉熵梯度简洁的根本原因。

7. 为什么用 e 而非其他底数？

7.1 其他底数可行吗？

假设用底数 ：

导数为：

7.2 梯度尺度污染

配合交叉熵时，梯度变为：

而使用 时：

7.3 为什么这很重要？

• 学习率本应直接控制步长
• 换底数会引入无意义的常数
• 多层网络中尺度难以控制
• 表达能力没有提升，纯属干扰

结论：用 等价于“剥离多余的常数尺度”，使系统最简洁。

8. Softmax + 交叉熵的“奇迹”

8.1 什么是交叉熵？

在分类任务中，我们用 one-hot 编码 表示真实标签：

• 如果样本属于第 2 类（共 3 类）：
• 只有正确类别为 1，其他为 0

交叉熵损失衡量预测分布 与真实分布 的差异：