技术博客 | 记录学习笔记和思考

以下内容由AI辅助生成

本文从导数的直觉含义出发，逐步引入链式法则、偏导数、反向传播与梯度下降，并通过一个带分叉的完整计算图示例，解释反向传播为什么必须存在，以及梯度复用与梯度汇总在计算中究竟发生在什么地方。

一、导数的本质：变化率

导数描述的是变量之间的变化关系：

当一个量发生微小变化时，另一个量会随之变化多少。

数学上通常写作：

直觉上可以理解为：

每增加一点点， 大概会增加或减少多少。

在机器学习中，导数的意义并不是求解数学问题，而是用于判断如何调整参数，结果才会向更好的方向变化。

二、多变量函数与偏导数

实际问题中，函数往往依赖多个变量，例如：

此时，单一导数已经不足以描述不同变量对结果的影响。偏导数的含义是：

在保持其他变量不变的前提下，只考察某一个变量变化，对结果造成的影响。

例如：

则有：

即使是同一个损失函数，不同参数对它的影响程度也是不同的。

三、多步计算与链式法则

当一个量的变化需要通过中间变量传递时，就会出现多步依赖关系。

设：

则：

这就是链式法则。

它的直觉表述是：

多步计算的变化率，可以拆成每一步变化率的连乘。

链式法则是反向传播的核心数学规则，但并非唯一规则。在分叉结构中，还需要偏导数的加法规则来汇总来自不同路径的梯度。

四、神经网络的数学本质

从数学角度看，神经网络只是一个参数极多、结构复杂的函数：

训练的目标可以概括为一句话：

通过调整参数，使损失函数 尽可能小。

关键问题因此变成：

每个参数改变一点点，会让损失函数变多少？

也就是计算：

五、正向传播与反向传播的分工

正向传播的作用是计算数值。

在正向传播中，输入数据沿着计算图向前传递：

在一次正向传播完成后，损失函数 是一个确定的数值。

反向传播并不是将函数倒过来计算，而是：

在正向计算完成之后，以损失函数为起点，沿计算图的反方向系统地应用链式法则，计算损失函数对各个中间变量和参数的偏导数。

反向传播过程中传递的不是损失函数本身，而是：

也就是说，如果当前位置发生单位变化，最终损失函数会变化多少。

六、梯度下降：参数更新发生的地方

反向传播的结果是得到各个参数对应的梯度，但它本身并不修改参数。

参数的更新由梯度下降完成：

其中， 是学习率，用来控制每一步更新的幅度。

梯度的符号决定更新方向，梯度的大小决定更新步长。当梯度逐渐接近零时，参数逐步逼近损失函数的极小值。

七、为什么反向传播要沿着计算图反向进行

在线性链结构中，每个节点只有一条梯度传播路径，反向传播的优势不太明显。

真正的区别来自具有分叉和汇合的结构。

在分叉结构中，一个节点可能同时影响多个下游节点；在反向传播时，这些下游节点对损失函数的影响，必须被完整地汇总回上游节点。这一过程无法通过简单的正向计算完成。

因此，反向传播在工程上是不可替代的。

八、一个完整的二分叉数值示例

计算图结构

1
2
3
4
5

            h2 = w2 · h1
          ↗
x ──→ h1                ──→ y = h2 + h3 ──→ L
          ↘
            h3 = w3 · h1

对应的数学定义为：

设定具体数值：

正向传播计算过程

此时，损失函数是一个确定的数值。

反向传播计算过程

现在从损失函数 开始，逐步计算每个变量的梯度。

第一步：计算

第二步：梯度分发到两个分支

由于 ，梯度会同时传递到两个分支：

第三步：计算 和

第四步：梯度汇总到

这是关键步骤。由于 同时影响 和 ，来自两个分支的梯度必须相加：

第五步：计算

至此，我们得到了所有参数的梯度：

九、反向传播在分叉结构中的作用方式

反向传播仍然完全遵循链式法则。差异不在于数学规则本身，而在于计算图的结构。

在上述分叉结构中：

输出 同时依赖于 和 ，因此损失函数对 的梯度会被同时传递到这两个分支。这是梯度分发。

中间节点 同时影响 和 ，因此在反向传播时，来自不同分支的梯度必须在 处进行相加。这是梯度汇总，遵循偏导数的加法规则。

此外，正向传播中计算得到的中间变量（如 ）会在反向传播中被多次使用（计算 和 时都用到了），从而避免重复计算。这是梯度复用。

这些现象并不是额外引入的规则，而是链式法则和偏导数加法规则在分叉计算图中的自然结果。

十、总结

导数描述变量之间的变化率，偏导数用于区分多变量函数中不同变量的影响。链式法则解决多步依赖问题，偏导数的加法规则处理梯度汇总。反向传播是以损失函数为起点，对这些数学规则在计算图上的系统组织。梯度下降利用反向传播得到的梯度更新参数。在具有分叉结构的网络中，反向传播天然包含梯度分发、梯度复用与梯度汇总。

可以用一句话概括全文：

反向传播不是新的数学，而是对链式法则和偏导数加法规则在复杂计算图上的高效组织与实现。

以下内容由AI辅助生成

——从函数形式到分段线性逼近的机制说明

一、感知机与神经网络的基本函数形式

在深度学习中，感知机及其扩展的神经网络，并不是在使用人为指定的多项式函数形式，例如：

其基本计算结构为：

其中：

• ：输入特征
• ：可学习参数
• ：激活函数（形式固定，由模型结构决定）

神经网络的非线性能力并非来自显式写入平方、立方项，而是来自激活函数与多层组合。

二、模型结构与参数学习的区分

神经网络需要在两个层面上理解：

• 结构层面：
  层数、连接方式、激活函数类型（人为设计）

• 参数层面：
  权重 、偏置 （通过数据训练得到）

网络不会“选择一个解析公式”，而是在固定结构下，通过参数不断调整，形成某种函数形状。

三、单层感知机的表达能力边界

当模型只有一层（无隐藏层）时：

虽然激活函数引入了非线性，但其表达能力仍然受限：

• 决策边界是线性的（对于分类任务）
• 无法表示真正复杂的非线性决策区域

例如 XOR、圆形边界等问题，无法由单层感知机解决。
复杂函数的表达能力来自隐藏层。

四、复杂函数是如何被“学出来”的

神经网络学习复杂函数的过程，本质是连续的数值优化：

1. 参数随机初始化，函数形状与目标无关
2. 前向传播，计算当前模型对应的输出函数
3. 计算损失函数，仅反映预测误差
4. 反向传播，计算参数对损失的梯度
5. 梯度下降，微小更新参数
6. 多次迭代，函数形状逐步调整

模型并不“理解函数形式”，只是不断在函数空间中朝误差更小的方向移动。

五、非线性激活的作用（以 ReLU 为说明示例）

为便于几何化理解，引入 ReLU 激活函数作为示例：

对一维输入：

其几何特征为：

• 当 ，输出为 0
• 当 ，输出为一条直线

一个 ReLU 神经元在一维输入下，只做一件事：
在某个位置之后，开始贡献一段线性函数。

六、折点的定义与来源

ReLU 的“折点”定义为：

需要明确：

• 网络中不存在名为 的独立参数
• 折点是权重 与偏置 的比值结果
• 训练过程中仅对 做梯度下降
• 折点位置是参数学习的自然副产物

七、多 ReLU 网络的函数性质

对一维输入、单隐藏层 ReLU 网络：

该函数族具有严格性质：

• 在任意区间内是线性的
• 在折点处一阶导数发生跳变
• 整体函数为分段线性函数

复杂性来自多个折点及其线性部分的叠加。

八、三 ReLU 拼接示例（严格区分“折点”与“输出折线”）

考虑如下网络：

1. 折点（竖直分界线）

该网络包含三个 ReLU，因此理论上只有三个折点：

它们对应三条竖直分界线，用于划分输入区间，本身不是函数图像的一部分：

1
2

│        │        │
t₁       t₂       t₃

2. 区间划分

折点将输入轴划分为四个区间：

3. 各区间内的函数来源（这是关键）

区间 A：

• ReLU(x+1) = 0
• ReLU(x) = 0
• ReLU(x−1) = 0

输出为：

这是一个常数函数，因此图像是一条横线。

这条横线并不对应任何单个 ReLU
而是“三个 ReLU 全部未激活”的叠加结果

区间 B：

• ReLU(x+1) = x+1
• 其余两个 ReLU = 0

输出为：

这一段直线由 ReLU₁ 单独贡献

区间 C：

• ReLU(x+1) = x+1
• ReLU(x) = x

输出为：

这一段直线是 ReLU₁ 与 ReLU₂ 的线性叠加

区间 D：

• 三个 ReLU 全部激活

输出为：

这一段直线是 三个 ReLU 的线性部分之和

4. 输出函数的折线示意（结果）

1
2
3
4
5
6
7
8
9
10

y
│               /
│            __/   ← ReLU₁ + ReLU₂ + ReLU₃
│         __/
│      __/        ← ReLU₁ + ReLU₂
│   __/
│__/              ← ReLU₁
│──────────────   ← 所有 ReLU = 0（常数段）
└──────────────── x
   -1     0     1

需要严格理解：

• 竖线（t）：表示 ReLU 的激活边界
• 折线：表示当前所有“已激活 ReLU”的线性部分之和
• 折线不是某个 ReLU 单独“画出来的”

九、为什么这种结构可以逼近抛物线

抛物线 的本质特征是：

• 斜率随 连续增大

ReLU 网络无法产生连续曲率，但可以通过：

• 足够多折点
• 足够密的斜率跳变

在有限区间内逼近这种行为。

十、有限 ReLU 的表达极限

在一维情况下：

• 有限 ReLU 网络 ⇒ 分段线性函数
• ⇒ 处处光滑、二阶导数非零

因此：

• ❌ 有限 ReLU 无法在整个实数轴上精确等于
• ✅ 在任意有限区间内，可以逼近到任意精度

十一、需要多少个 ReLU（量级结论）

在区间 上，用单隐藏层 ReLU 网络逼近：

若最大误差为 ，所需 ReLU 数量满足：

含义为：

• 区间越大 → 折点越多
• 精度要求越高 → 折点越多

十二、整体总结

• 神经网络不显式构造高次多项式
• 表达能力来自线性变换与非线性激活的组合
• ReLU 在一维下本质生成分段线性函数
• 折点是参数学习的自然结果，而非人为设定
• 折线是多个 ReLU 线性部分的叠加结果
• 光滑函数只能被有限 ReLU 逼近，不能被精确等同

以下内容由AI辅助生成

一、从最基本的问题开始

1.1 模型如何表达预测？

假设你在训练一个图像分类模型：

任务：判断这张图是「猫」还是「狗」？

模型不会直接给出“猫”或“狗”这样的硬答案，而是输出概率分布：

• “我认为是猫的概率是 0.8，是狗的概率是 0.2”

👉 核心理解：模型输出的是“置信度（概率）”，而不是确定的答案。

1.2 如何评价模型预测的好坏？

假设真实答案是「猫」，我们看不同预测的质量：

我们需要设计一个损失函数，满足：

• 正确答案的概率越大 → 损失越小
• 正确答案的概率越小 → 损失越大

1.3 为什么选择对数函数？

观察函数 loss = -log(p) 的行为：

关键特性：

1. p 接近 1 → 损失接近 0（奖励正确预测）
2. p 接近 0 → 损失趋向无穷（严厉惩罚错误）
3. 非线性增长：从 p=0.9 到 p=0.1，损失增加了 20 倍以上

为什么对数函数如此合适？这来自最大似然估计的数学原理（第四章详解）。

1.4 交叉熵的最简形式

对于单次预测：

• 真实答案是类别 A
• 模型给 A 的概率是 p

损失函数：

这就是交叉熵的核心。

二、为什么叫“交叉熵”？

2.1 先理解“熵”

熵（Entropy）是信息论中的核心概念，衡量不确定性。

两个例子

例子 1：完全确定

• 明天 100% 会下雨
• 熵 = 0（无不确定性）

例子 2：完全随机

• 抛硬币，正反各 50%
• 熵最大（最大不确定性）

数学定义

对于概率分布 P：

含义：平均每次需要多少信息量（比特）来描述发生的事情。

2.2 什么是“交叉”？

现实中经常出现这种情况：

• 真实世界：按分布 P 在运行
• 你的认知：却认为它是分布 Q

当你用错误的分布 Q 去理解真实分布 P 时，会产生额外的“信息代价”。

交叉熵的定义

2.3 为什么叫“交叉”？

看公式的结构：

“交叉”的含义：两个不同分布的交叉使用

• 权重来自 P
• 编码来自 Q

对比：

• **熵 H(P)**：用自己编码自己
• **交叉熵 H(P,Q)**：用别人编码自己

2.4 在机器学习中的应用

真实标签（one-hot）：P = [0, 0, 1, 0] — 第3类是正确答案

模型输出（Softmax）：Q = [0.1, 0.2, 0.6, 0.1]

计算交叉熵：

2.5 为什么简化成了 -log(p)？

在分类任务中，真实标签是 one-hot：只有正确类是1，其他是0

代入交叉熵公式，求和后只剩下正确类别那一项：

这就是为什么实际代码中：

1

loss = -log(Q[y_true])

三、二分类和多分类的具体形式

3.1 二分类交叉熵（Binary Cross Entropy）

设定：

• 模型输出：p = P(y=1|x)，通过 Sigmoid 得到
• 真实标签：y ∈ {0, 1}

损失函数：

理解：这是分段函数的简洁写法

具体例子：

1
2
3
4
5

真实标签 y = 1, 模型预测 p = 0.9
损失 = -log(0.9) ≈ 0.105

真实标签 y = 1, 模型预测 p = 0.1
损失 = -log(0.1) ≈ 2.303

3.2 多分类交叉熵（Categorical Cross Entropy）

完整流程：

步骤1：模型输出 logits

1

z = [2.0, 1.0, 0.1]

步骤2：Softmax 归一化

计算结果：p₁ ≈ 0.659, p₂ ≈ 0.242, p₃ ≈ 0.099

步骤3：计算交叉熵

真实标签 y = [0, 1, 0]（第2类是正确答案）

简化形式（利用 one-hot）：

四、从最大似然估计理解交叉熵

4.1 一个侦探问题

你发现了一枚硬币和抛掷记录：

1

结果：正、正、反、正、正

任务：判断硬币正面的概率是多少？

思考过程：

结论：θ = 0.8 最能解释观测数据！

这就是最大似然估计（MLE）的核心思想。

4.2 概率 vs 似然：关键区别

概率（Probability）

• 已知：参数 θ
• 求：数据出现的概率
• 方向：从原因推结果

1

P(data|θ) = “给定硬币特性，某个结果出现的概率”

似然（Likelihood）

• 已知：数据（已经发生了）
• 求：哪个参数最可能
• 方向：从结果推原因

1

L(θ|data) = “给定观测结果，哪个参数最合理”

数学关系：L(θ|data) = P(data|θ)

数值相同，但含义完全相反。

4.3 硬币问题的形式化

Step 1: 建立概率模型

1
2

P(x=1|θ) = θ      # 正面
P(x=0|θ) = 1-θ    # 反面

Step 2: 计算联合概率

观测：正、正、反、正、正

假设独立：

Step 3: 似然函数

问题：θ 取什么值时，L(θ) 最大？

4.4 为什么要取对数？

这是连接 MLE 和交叉熵的关键步骤。

原因1：连乘变连加

对于 N 个样本：L(θ) = ∏ P(xᵢ|θ)

当 N 很大时：

• 数值下溢：太多小于1的数相乘，结果趋近0
• 计算困难：浮点数精度问题

取对数后：

连乘变连加，数值稳定！

原因2：不改变最优解

log 是严格单调递增函数：

原因3：求导更简单

• 原函数：L(θ) = θ⁴(1-θ)
• 对数函数：ℓ(θ) = 4log θ + log(1-θ)

求导：dℓ/dθ = 4/θ - 1/(1-θ) = 0

解得：θ = 0.8

4.5 MLE 的通用形式

给定：

• 数据：x₁, x₂, …, xₙ
• 参数：θ
• 模型：P(x|θ)

三步曲：

1. 似然函数：L(θ) = ∏ᵢ P(xᵢ|θ)
2. 对数似然：ℓ(θ) = ∑ᵢ log P(xᵢ|θ)
3. 最大化：θ̂ = argmax ∑ᵢ log P(xᵢ|θ)

核心思想：

找一个参数 θ，使得“已发生的数据”在该模型下出现的概率最大。

4.6 从 MLE 到机器学习

监督学习中：

• 数据：(x₁,y₁), (x₂,y₂), …, (xₙ,yₙ)
• 模型：P_θ(y|x)

MLE 目标：

从最大化到最小化：

深度学习框架做最小化（梯度下降）：

右边就是负对数似然（NLL）

每个样本的损失：

这正是交叉熵损失！

五、MLE = NLL = 交叉熵

5.1 完整的等价链

1
2
3
4
5
6
7

最大似然估计（MLE）
    ↓ 取对数
对数似然（Log-Likelihood）
    ↓ 变号（max → min）
负对数似然（NLL）
    ↓ 用分布语言重写
交叉熵（Cross Entropy）

5.2 逐步推导

Step 1: MLE 原始形式

Step 2: 取对数

这是对数似然（Log-Likelihood）

Step 3: 变号

这是负对数似然（NLL）

Step 4: 用分布语言重写

真实分布 P（one-hot）：P(y|x) = 1 当 y=y_true，否则 = 0

模型分布：Q_θ(y|x) = P_θ(y|x)

交叉熵定义：

代入 one-hot：

与 NLL 完全一致！

5.3 核心等价关系

因此：

5.4 为什么有不同的名字？

本质相同，只是不同学科的不同表述。

5.5 数值例子：三者的一致性

3分类问题，3个样本：

数据：

• 样本1: y₁=0, 预测 P_θ(0|x₁) = 0.7
• 样本2: y₂=1, 预测 P_θ(1|x₂) = 0.8
• 样本3: y₃=2, 预测 P_θ(2|x₃) = 0.5

方法1：MLE（最大化似然）

1
2

L(θ) = 0.7 × 0.8 × 0.5 = 0.28
log L(θ) = log(0.7) + log(0.8) + log(0.5) = -1.273

方法2：NLL（最小化负对数似然）

1

NLL = -log L(θ) = 1.273

方法3：交叉熵

1
2
3
4

L₁ = -log(0.7) ≈ 0.357
L₂ = -log(0.8) ≈ 0.223
L₃ = -log(0.5) ≈ 0.693
总和 = 1.273

三种方法，完全相同的结果！

六、为什么这样设计？

6.1 理论基础：来自统计学

分类模型在建模条件概率 P(y|x)

统计学告诉我们：

• 最自然的参数估计方法是 MLE
• MLE 具有一致性、渐近正态性等优良性质
• MLE 等价于最小化交叉熵

结论：

交叉熵不是人为设计的，而是从统计学基本原理推导出来的

6.2 工程优势：梯度简洁

Softmax + Cross Entropy 的梯度：

特点：

1. 形式极简：就是预测值和真实值的差
2. 没有复杂的链式法则
3. 数值稳定：不会梯度消失或爆炸
4. 计算高效

这就是为什么深度学习框架直接提供 CrossEntropyLoss。

6.3 信息论视角：最小化分布差异

交叉熵可以分解为：

其中：

• H(P)：真实分布的熵（常数）
• KL(P‖Q)：KL散度（分布差异）

因此：最小化交叉熵 ⟺ 最小化 KL 散度 ⟺ 让模型分布逼近真实分布

七、总结

7.1 核心理解

交叉熵损失 = -log(正确答案的概率)

• = 负对数似然
• = 最大似然估计的优化目标

7.2 从三个角度理解

直觉：

“你给正确答案分配的概率有多低，我就罚你多狠”

统计学：

“让已发生的数据在当前模型下概率最大”

信息论：

“用模型的分布去理解真实分布所付出的代价”

7.3 关键等价关系

7.4 理解路径

1
2
3
4
5
6
7
8
9
10
11

1. 问题：如何评价模型预测？
       ↓
2. 直觉：正确答案概率越高越好
       ↓
3. 函数：-log(p) 提供合适的惩罚
       ↓
4. 统计学：这是最大似然估计
       ↓
5. 信息论：这也是交叉熵
       ↓
6. 等价：MLE = Log-Likelihood = NLL = Cross Entropy

7.5 最小记忆单元

如果只记一件事：

交叉熵 = -log(正确类的概率)

它来自最大似然估计：让模型给真实答案的概率最大

八、结语

交叉熵损失看似简单的 **-log(p)**，实际上：

• 来自统计学：最大似然估计的自然结果
• 来自信息论：分布差异的度量
• 工程优良：梯度简洁、数值稳定

理解交叉熵和最大似然的联系，你就真正理解了：

• 为什么这样设计损失函数
• 为什么深度学习能够工作
• 如何从原理出发思考问题

以下内容由AI辅助生成

Softmax 是多分类任务中最常见的输出层函数。它的任务表面上是“把 logits 变成概率”，但本质是：将一组可加的分数转换为可比较、可优化的相对强度，并与极大似然/交叉熵无缝对接，同时保证数值稳定和梯度友好。

1. 问题设定：从 logits 到概率

1.1 什么是 logits？

神经网络最后一层通常输出一组实数：

这组 称为 logits（未归一化分数）。

1.2 我们需要什么？

我们需要一个函数，将任意实数向量映射到“概率单纯形”：

其中概率单纯形定义为：

1.3 硬约束（缺一不可）

• 非负性：输出必须 > 0

• 归一化：总和为 1

• 全域定义：对所有实数输入都有定义

• 保序性：

  例子：如果 logits 是 ，那么 Softmax 后 的顺序不变

• 可微性：平滑可导，梯度稳定（用于反向传播）

2. Softmax 的定义

2.1 标准形式

其中：

• ：类别数
• ：第 类的 logit
• 分母：对所有类别的指数求和，用于归一化

2.2 向量形式

2.3 数值稳定版（工程实践）

为什么要减 ？

当 很大时（如 1000）， 会导致数值溢出（Overflow，变成 Inf）。减去 后：

• 最大的 logit 变为 0：
• 其他 logit 都是负数： 最多下溢到 0，不会 NaN
• 数学上结果完全相同（分子分母同时除以 ）

例子：

• 原始： → 溢出！
• 稳定版： → ✓

3. 为什么输出在 (0,1) 且和为 1？

这是纯代数结论，无需“概率直觉”。

令

3.1 为什么 ？

• 对任意实数 ，都有
• 分母是正数之和，必然 > 0
• 因此

3.2 为什么 ？

分母包含分子本身：

（除非 ，否则严格 < 1）

3.3 为什么 ？

3.4 本质

Softmax = 对一组正数做 L1 归一化

指数的作用是将“任意实数”转为“严格正权重”。

4. 为什么必须用指数？

4.1 方案一：直接归一化 ❌

问题：

• 可能为负 → “概率”为负
• 分母可能为 0
• 符号变化时语义被破坏

结论：不满足基本约束

4.2 方案二：ReLU 后归一化 ❌

问题：

• 0 处不可导，训练困难
• 大量类可能变为 0，梯度长期为 0（神经元“死亡”）
• 相对差异被扭曲

4.3 方案三：平方归一化 ❌

问题：

• 与 得到相同权重
• logits 的“偏好方向”丢失
• 分类语义崩塌

5. 指数为什么“刚刚好”？

指数函数 同时满足所有需求：

1. 严格正性：（无零点、无负值、无断点）

2. 严格单调：保持顺序

3. 差异放大：线性差转为倍率差
   

   例子：

   • 如果 ，则 倍
   • 如果 ，则 倍
   • logit 差距越大，概率比越悬殊

4. 加法→乘法同态：
   

第 4 点是关键的“桥梁”性质，后文将深入阐述。

6. e 是什么？

6.1 连续复利的极限

背景：假设你存 1 元钱，年利率 100%。

• 一年计息 1 次： 元
• 半年计息 1 次： 元
• 每天计息： 元
• 每秒计息： 元

当计息频率趋于无限（连续复利），极限就是 ：

6.2 级数定义（实际计算常用）

算到 已经非常接近 2.71828。

6.3 最关键性质：自导数

这是 Softmax + 交叉熵梯度简洁的根本原因。

7. 为什么用 e 而非其他底数？

7.1 其他底数可行吗？

假设用底数 ：

导数为：

7.2 梯度尺度污染

配合交叉熵时，梯度变为：

而使用 时：

7.3 为什么这很重要？

• 学习率本应直接控制步长
• 换底数会引入无意义的常数
• 多层网络中尺度难以控制
• 表达能力没有提升，纯属干扰

结论：用 等价于“剥离多余的常数尺度”，使系统最简洁。

8. Softmax + 交叉熵的“奇迹”

8.1 什么是交叉熵？

在分类任务中，我们用 one-hot 编码 表示真实标签：

• 如果样本属于第 2 类（共 3 类）：
• 只有正确类别为 1，其他为 0

交叉熵损失衡量预测分布 与真实分布 的差异：

因为 是 one-hot，只有真实类别 处为 1，所以简化为：

意义：

• 如果 （预测完全正确）→
• 如果 （预测很不确定）→
• 如果 （预测错误）→

目标：最小化交叉熵 = 最大化正确类别的预测概率。

8.2 交叉熵损失的完整形式

使用 one-hot 标签 ，交叉熵（也叫负对数似然）：

8.3 代入 Softmax

8.4 梯度极简

这个“干净到难以置信”的形式，根源于：

若用其他正函数 替代指数，梯度会出现复杂的 项，优化困难且不稳定。

9. “加法 → 乘法”：唯一的自然桥梁

这不是比喻，而是结构必然性。

9.1 Logits 的加法世界

最后一层的典型形式：

语义是“证据累加”：

• 支持特征 → 增加
• 反对证据 → 减少
• 多条证据 → 分数相加

例子（图像分类）：

• 检测到“毛发” → 猫的分数 +2
• 检测到“尖耳朵” → 猫的分数 +1.5
• 检测到“圆脸” → 猫的分数 +1
• 最终：

比较两类时，自然量是差值：

表示“ 相对 的净优势”，典型的加法结构。

9.2 概率的乘法世界

分类中真正关心的是“相对可能性”，即比值：

例子：

• 如果
• 比值：，表示“猫的可能性是狗的 3.5 倍”
• 这是倍率/赔率，本质是乘法结构（比例、连乘）

9.3 核心需求：差值控制比值

希望存在单调函数 ，使得：

左边：概率的比例结构（乘法世界）
右边：logit 的差分结构（加法世界）

我们需要一座桥，将“差”转为“比”。

9.4 一致性约束逼出指数

希望满足传递性：

• 若 比 强 ， 比 强
• 则 比 应强

即：

对应概率比值的链式相乘：

结合两式，得函数方程：

在“正、连续、单调”等合理条件下，唯一解是指数族：

因此：