拉巴力的纸皮箱

从 RNN 到 Transformer:序列建模的结构性转变

发表于 2026-01-31

以下内容由AI辅助生成

一、自然语言建模的真正难点

自然语言处理的困难，并不在于单词本身，而在于单词之间如何构成有意义的整体。一句话的语义，往往由跨越较长距离、受句法和语义结构约束的成分共同决定。主语与谓语之间可能相隔多个从句，但它们之间的依赖关系依然是理解句子的关键。

因此，自然语言建模的核心问题，本质上是一个序列建模问题：模型需要在任意位置上，合理利用来自序列中其他位置的信息，尤其是那些距离较远但语义上至关重要的部分。

二、表示与结构的分离：从词向量说起

在神经网络进入 NLP 之前，单词只是离散符号，计算机无法直接处理。word2vec 等词向量模型通过分布式假设，将单词映射到连续向量空间，使语义相近的词在向量空间中彼此接近，从而为神经网络提供可计算的输入表示。

这类方法解决的是“词如何用向量表示”的问题：把离散的 token 变成可计算、可度量相似性、可组合的向量。但词向量并不理解语言结构，它不包含顺序、依赖或句法信息。在词向量层面，“dog bites man” 与 “man bites dog” 的差异极小。因此，词向量只是语言处理的表示层，而真正负责建模语言结构和依赖关系的，是后续的序列模型。

三、RNN：用状态表达序列的直觉解法

循环神经网络（RNN）是最早系统性处理序列数据的神经网络结构。它的核心思想非常直观：将序列看作一个随时间推进的过程，用一个隐藏状态不断吸收历史信息，并与当前输入共同决定下一状态。

在这一框架中，隐藏状态被视为“到目前为止的全部记忆”，序列信息被逐步压缩进一个向量中。对于较短、依赖结构简单的序列，这种机制能够有效工作。然而，在自然语言中，这一设计逐渐显露出根本性的局限。

四、编码器思想与固定长度向量的隐患

在 RNN 的基础上，Encoder–Decoder 架构成为早期机器翻译等任务的主流范式。该架构试图将任意长度的输入序列编码为一个固定长度的向量，再由解码器生成输出。这种设计在工程上极具吸引力：接口统一、结构简洁，似乎也符合“一句话有一个整体含义”的直觉。

但这一设计隐含了一个极强的假设：序列中的所有关键信息都可以被无损压缩进一个固定维度的向量中。语言并不满足这一假设。自然语言包含多实体、多关系、多层次结构，将这些信息压缩为单一向量，必然带来信息丢失。

五、从 RNN 到 LSTM：为“记不住”而生的改造

随着 RNN 被用于更长的句子、更复杂的翻译与生成任务，人们发现一个反复出现的问题：模型很难稳定地保留长距离信息。训练中常见的现象包括梯度在长序列上逐步衰减或放大，导致早期输入对后期输出的影响越来越弱；同时，隐藏状态维度固定，使得历史信息被不断覆盖，重要但较早出现的内容容易丢失。

LSTM（以及后来的 GRU）正是在这一背景下提出的。它并不改变“用递归方式推进序列”的总体框架，而是对 RNN 的内部记忆结构做了加强：引入显式的记忆通道，并用门控机制控制信息的写入、保留与读取，从而使模型在训练上更容易保留较长时间跨度的关键信息。

然而，LSTM 仍然继承了 RNN 的结构性前提：所有历史信息最终仍要通过有限维度的状态来承载，并且信息的使用仍遵循顺序访问。也就是说，LSTM 能显著缓解“记不住”的训练困难，但并未从根本上改变“固定容量 + 顺序传递”的结构限制。

六、RNN 与 LSTM 的结构性瓶颈

RNN 与 LSTM 的第一个核心问题是表示容量受限。隐藏状态维度是固定的，而输入序列长度却可变且可能很长。随着序列增长，新信息不断进入，早期但重要的信息容易被覆盖，出现表示能力饱和的现象。

第二个问题是依赖路径过长。远距离依赖必须通过逐步状态传递来实现，依赖路径长度随序列长度线性增长。这使得信息需要经过多次非线性变换才能抵达目标位置，导致远距离信息逐渐被稀释；同时也加剧了训练中梯度不稳定的风险。

第三个问题是访问方式受限。无论是 RNN 还是 LSTM，当模型在某一步需要利用很早之前的某个 token 信息时，都无法直接读取那个位置的表示，只能依赖逐步传递后的“残留痕迹”。这使得模型很难做到“按需回看”，更谈不上对不同上下文进行灵活检索。

七、CNN 的引入：以并行与局部模式补足序列建模

在深度学习体系中，CNN 以并行计算效率高、善于捕捉局部模式而著称。将 CNN 引入序列建模的动机，主要来自两个现实需求：一是希望摆脱 RNN 的严格时间依赖，从而提升训练与推理的并行效率；二是希望利用卷积对局部 n-gram 结构的强归纳偏置，更高效地抽取短程组合模式。

在文本序列中，CNN 通常通过局部卷积提取短程特征，再通过堆叠多层扩大视野，以期覆盖更长距离的上下文。这种思路在一定程度上能兼顾速度与局部结构建模，因此一度成为与 RNN 并行发展的路线。

八、CNN 的“感受野”问题及其语言局限

所谓感受野，指网络中某个位置的表示最终能够“看到”的输入范围。在 CNN 中，单层卷积只能关注局部窗口，想要覆盖更远的距离，必须不断增加网络深度。于是出现了第一个问题：感受野增长缓慢，要覆盖整句往往需要非常深的网络。

更关键的是第二个问题：即使感受野在理论上覆盖了全句，远距离信息仍需要经过多层非线性变换才能传递到目标位置，路径长度与网络深度直接相关。距离越远，通常意味着需要更多层的传递，信息更容易在层层变换中衰减，远距离依赖的贡献被持续稀释。

此外，卷积窗口是固定的，它无法根据当前语义需求动态改变“该看谁”。语言中的关键依赖往往是稀疏且结构化的：当模型处理某个词时，它真正需要关注的可能是远处的某个主语或指代对象，而不是附近的若干词。CNN 的局部、固定窗口机制难以提供这种基于上下文的选择性访问能力。

九、长距离依赖：语言建模的本质矛盾

自然语言中的依赖关系具有三个显著特征：依赖在整体中是稀疏的，但一旦存在便至关重要；依赖的重要性并不随距离单调衰减，而由句法和语义结构决定；依赖是动态的，不同位置在不同上下文中需要关注不同的历史信息。

而 RNN、LSTM 与 CNN 的共同问题在于，它们都在用固定结构提前决定信息如何被压缩或传播：要么将历史压缩进有限维度的状态，要么通过局部堆叠被动扩大视野。这种结构假设与语言依赖的选择性与动态性存在根本冲突。

十、注意力机制：从“压缩历史”到“动态选择”

注意力机制的提出标志着序列建模思路的关键转向。与其将所有历史信息压缩进一个固定向量，注意力机制选择保留所有位置的中间表示，并在当前任务需要时，通过可学习的权重对历史信息进行加权选择。

在这种机制下，模型不再依赖单一记忆状态，而是根据当前上下文动态决定“该看谁、看多少”。注意力提供了一种可学习的软指针，使模型能够直接访问与当前预测最相关的部分，从而显著缩短了信息传递路径，并缓解了固定长度表示带来的信息瓶颈。

十一、Transformer：结构性转变的完成

Transformer 正是在注意力机制的基础上构建的。它彻底放弃了以时间步为核心的顺序递归结构，转而采用基于自注意力的全局依赖建模方式。在 Transformer 中，任意两个位置之间都可以直接建立联系，依赖路径长度不再随序列长度增长。

同时，由于不再依赖前一时间步的隐藏状态，Transformer 可以对所有位置并行计算注意力权重。这一特性使其在 GPU 上具备极高的计算效率，为大规模模型和海量数据训练提供了可行性。自注意力机制既实现了“保留所有信息”，又通过权重分配实现“按需选择”，从结构上更贴合语言依赖稀疏、动态且不随距离衰减的特性。

十二、总结

从词向量到序列模型，问题从“词如何用向量表示”逐步走向“词如何形成结构化语义”。RNN 用递归状态试图承载历史，LSTM 在此基础上通过门控增强记忆保留能力，CNN 以卷积堆叠的方式在并行效率与局部模式建模上提供替代路径。然而，它们共同面临的结构性限制是：要么依赖固定容量的压缩状态，要么依赖固定窗口与多层传递的被动传播，难以对语言中稀疏而关键的长距离依赖进行动态、直接的访问。

Transformer 的关键突破在于改变了这一前提：它不再提前压缩历史，而是保留所有位置的表示，通过自注意力为每个位置动态分配依赖权重，实现对关键信息的直接访问；同时，其计算天然支持并行，使得在大规模数据与算力条件下训练更深更大的模型成为可能。这种从“顺序传递”到“全局访问、动态选择”的结构转变，构成了序列建模范式演进的核心脉络。

十三、关键要点

1. 核心问题

自然语言的长距离依赖具有稀疏性、非单调性、动态性三大特征，这与传统序列模型的固定结构假设存在根本冲突。

2. 两种范式

压缩传递（RNN/LSTM）：将历史压缩进固定维度状态，像把整本书总结成一句话
选择访问（Transformer）：保留所有位置的完整表示，通过动态计算注意力权重决定“该看谁、看多少”，再加权提取信息——相当于保留整本书，每次根据需要重点阅读相关章节

3. 依赖路径

信息传递路径长度决定了远距离依赖的建模能力：RNN/LSTM 为，CNN 为至，Transformer 为。

4. 结构性瓶颈

RNN/LSTM：固定容量 vs. 可变序列 → 表示瓶颈
CNN：固定窗口 vs. 稀疏依赖 → 访问受限
Transformer：全局注意力 → 并行高效，但复杂度为

5. 范式转变

从“如何更好地压缩”（LSTM 的工程优化）到“是否需要压缩”（Attention 的结构创新），后者带来了序列建模的根本性突破。

从 One-hot 到 Embedding：词的分布式表示是如何从语料中学习得到的

发表于 2026-01-31

以下内容由AI辅助生成

在自然语言处理任务中，模型面对的基本对象是离散的符号（词或 token），而大多数机器学习方法只能处理连续数值。因此，一个核心问题是：如何将离散的词表示为数值向量，并使这些向量能够反映词的语义与用法差异。

词向量（word embedding）正是对这一问题的系统性回答。本文将从最基础的表示方法出发，逐步引入分布式表示与 embedding 的训练机制，并以 Skip-gram + Negative Sampling 为例，说明词向量是如何通过损失函数和梯度下降从大规模语料中学习得到的。

1. One-hot 表示：离散符号的直接编码

最直接的词表示方法是 one-hot 编码。

设词表大小为，则每个词对应一个维向量，仅在该词对应的位置为 1，其余位置为 0。例如，词表为：

$我爱你中国北京$

则“北京”的 one-hot 表示为：

one-hot 的优点在于形式简单、语义唯一、不需要训练；但其缺点同样明显：

向量维度随词表线性增长，难以扩展
表示高度稀疏，计算与存储效率低
不包含任何语义信息，不同词之间的相似度恒为 0

因此，one-hot 只能作为索引机制，而无法承担“语义表示”的角色。

2. 分布式表示的核心思想

2.1 分布式表示的基本假设

分布式表示（distributed representation）基于一个经典假设：

一个词的意义可以通过它的上下文分布来刻画。

在这一思想下，每个词不再由一个孤立的维度表示，而是由一个低维、稠密、连续的向量表示；语义相近的词，其向量在空间中也应当相近。

2.2 构建分布式表示的两类方法

构建词的分布式表示，主要有两大类方法：

基于计数的方法（count-based methods）
- 典型代表：LSA、基于共现矩阵的 SVD、PMI / PPMI
- 思路：先统计词与上下文的共现频次，再通过矩阵分解获得低维表示
- 特点：依赖全局统计，数学结构清晰，但在大规模语料上扩展性较差
基于神经网络的推理方法（prediction-based methods）
- 典型代表：Word2Vec（Skip-gram / CBOW）、GloVe（部分融合统计思想）
- 思路：将“学习词向量”转化为一个预测任务，通过最小化损失函数学习向量参数
- 特点：可在线训练、扩展性好、在实践中效果优异

本文后续讨论的 embedding 学习机制，属于第二类：基于神经网络的推理方法。

3. Embedding 的形式化定义

在神经网络框架中，embedding 可以形式化为一个可学习的查表映射：

词表大小：
向量维度：
embedding 矩阵：

对于任意一个词（或 token），embedding 层的作用可以理解为：
根据词的 id，从矩阵中取出对应的一行，作为该词的向量表示。

embedding 的参数并非人工设定，而是通过下游训练目标、借助梯度下降从数据中学习得到。

4. Skip-gram + Negative Sampling：从语料到训练目标

4.1 训练样本的构造

给定一个 token 序列：

设窗口大小为，对每个位置，构造训练对：

中心词：
上下文词：，其中

这样即可从原始语料中构造大量正样本对。

4.2 输入向量表与输出向量表

在 Skip-gram 模型中，会维护两张独立的 embedding 表：

输入向量表：用于中心词
输出向量表：用于上下文 / 候选词

对词表中任意词 id 为 i：

在输入向量表中，取到它作为“中心词”时使用的向量
在输出向量表中，取到它作为“候选上下文词”时使用的向量

这两种向量使用相同的词表索引，但参数彼此独立，承担的统计角色也不同。

4.3 打分函数与概率建模

在 Skip-gram 中，模型会为“中心词 + 候选词”这一对分配一个匹配分数。

这个分数可以理解为：
中心词向量与候选词向量在向量空间中的相似程度。

随后，模型会把这个分数映射成一个介于 0 和 1 之间的值，用来表示“该候选词是否真的是中心词上下文”的概率。

5. 损失函数与向量学习机制

5.1 Negative Sampling 的训练目标

对于一个真实的中心词–上下文词对，Negative Sampling 的训练目标可以分解为两点：

正样本目标
让中心词与真实上下文词的匹配分数变大。
负样本目标
随机采样若干个与无关的词作为负样本，
并让中心词与这些负样本的匹配分数变小。

训练时，模型会把“真实上下文”当作正类，“随机词”当作负类，
并对每一对样本计算二分类的对数损失，然后把这些损失加起来进行优化。

5.2 为什么一次更新会同时影响多种向量

需要强调的是：
输入向量和输出向量并不是分别训练的，而是由同一个训练目标同时驱动。

在一次训练中：

中心词对应的输入向量会被更新
真实上下文词对应的输出向量会被更新
每一个负样本对应的输出向量也都会被更新

从几何角度看，训练过程等价于：

把中心词向量与真实上下文向量在空间中拉近
把中心词向量与随机负样本向量在空间中推远

6. 为什么需要两张向量表

引入输入表与输出表的根本原因在于：同一个词在训练目标中承担了两种不同的功能：

作为中心词：用于生成一个中间表示，以预测周围词
作为候选词：用于与中心词表示进行匹配，判断是否为真实上下文

这两种角色在语言统计中并不对称。强制它们共享同一套参数，相当于引入了不必要的约束，会削弱模型对真实共现结构的拟合能力。

训练完成后，实践中通常仅使用输入向量表中的向量作为最终词向量表示，因为它更稳定地反映了词在语义空间中的位置。

7. 一个最小可跑的 PyTorch 示例（核心机制版）

下面给出一个极简的 Skip-gram + Negative Sampling 实现，仅保留核心机制：

输入 / 输出向量的分离
正负样本共同驱动参数更新

import torch
import torch.nn as nn
import torch.nn.functional as F

V, D = 3, 2   # 示例：吃 / 苹果 / 北京

class SGNS(nn.Module):
    def __init__(self):
        super().__init__()
        self.in_emb = nn.Embedding(V, D)
        self.out_emb = nn.Embedding(V, D)

    def forward(self, center, pos, neg):
        v = self.in_emb(center)
        u_pos = self.out_emb(pos)
        u_neg = self.out_emb(neg)

        pos_loss = -F.logsigmoid(torch.sum(v * u_pos, dim=1))
        neg_loss = -F.logsigmoid(-torch.sum(v * u_neg, dim=1))

        return (pos_loss + neg_loss).mean()

在这个示例中可以看到：

一个损失函数同时作用于多种向量
每一步更新只涉及当前样本用到的向量行

8. 总结

One-hot 只是离散索引，不包含语义
分布式表示的目标是用低维稠密向量刻画词的使用规律
分布式表示可以通过计数方法或基于神经网络的推理方法构建
Skip-gram + Negative Sampling 将词向量学习转化为正负样本的区分问题
同一个训练目标同时驱动输入向量与输出向量的学习
通过大量样本的迭代更新，词的语义结构自然在向量空间中形成

为什么点积太大会导致 Softmax 梯度问题，以及这个问题是如何被解决的

发表于 2026-01-30

以下内容由AI辅助生成

一、问题背景：我们到底在担心什么？

在 Transformer 的注意力机制中，有一个非常经典的公式：

很多人在第一次看到这个公式时都会产生疑问：

为什么注意力机制使用点积来计算相关性？
为什么点积之后要接一个 softmax？
最关键的是：为什么一定要除以？

如果只是把它当成论文中的经验公式，那么对注意力机制的理解仍然停留在表面。事实上，这个结构并不是为了“效果更好看”，而是为了解决一个在训练过程中非常具体、而且非常致命的问题。

二、softmax 的作用，以及它对输入尺度的敏感性

softmax 的定义如下：

它的作用是把一组实数打分映射为一个概率分布。但 softmax 有一个非常重要的性质：

softmax 对输入的整体尺度极其敏感

当输入数值较为温和时，softmax 会产生一个相对平滑的分布；而当输入整体变大时，softmax 的输出会迅速变得极端。

一个简单的数值例子

情况一：输入尺度适中

1 2	输入: z = [1, 0] 输出: softmax(z) ≈ [0.73, 0.27]

两个位置都有明显概率，模型仍然保留不确定性。

情况二：输入尺度变大

1 2	输入: z = [10, 0] 输出: softmax(z) ≈ [0.9999, 0.0001]

此时 softmax 的输出已经几乎等同于 one-hot 分布 [1, 0]。

这是因为指数函数会将线性差距放大为指数级差距，只要输入的整体尺度变大，softmax 的输出就会迅速向极端塌缩。

三、注意力分数为什么会天然变大：点积的统计性质

在注意力机制中，softmax 的输入来自查询向量和键向量的点积：

对于单个 query-key 对，这个分数可以写成：

在常见训练设置中（例如经过 LayerNorm 之后），可以合理假设：

各维度的相互独立
均值为 0
方差为 1

点积方差的数学推导

在上述假设下，对于每一项：

均值：
方差：

当项独立相加时：

因此标准差为：

关键结论：点积的典型数值规模与成正比

这并非实现细节或偶然现象，而是高维点积在统计意义上的必然结果。

具体数值示例

维度	点积标准差	典型点积范围
64	8	[-16, 16]
128	11.3	[-23, 23]
512	22.6	[-45, 45]

当时，点积值可能达到 ±45，这会让 softmax 严重饱和。

四、softmax 的梯度结构：什么是 Jacobian？

softmax 是一个向量到向量的函数：

输入：
输出：

当输入和输出都是向量时，需要描述这样一件事：

某一个输入分量发生微小变化，会如何影响所有输出分量

所有这些“偏导关系”组成的一整张表，称为 Jacobian 矩阵：

softmax 的 Jacobian 具体形式

对于 softmax，其 Jacobian 有明确的数学形式：

关键观察：

当（饱和状态）时，
当时，

梯度大小直接由输出概率本身控制

五、softmax 饱和：输出分布发生了什么变化

对比：适中尺度 vs 大尺度

输入尺度适中时（例如）：

位置:    1      2      3      4
输入:    2      1      0     -1
概率:  0.52   0.28   0.14   0.06

可视化:
位置 1: ██████████████████ (52%)
位置 2: ████████████ (28%)
位置 3: ██████ (14%)
位置 4: ██ (6%)

在这种状态下，多个位置都具有非零概率，输出对输入变化是敏感的。

输入尺度变大时（例如）：

位置:    1      2       3        4
输入:   20     10       0      -10
概率:  1.00   0.00    0.00     0.00

可视化:
位置 1: ████████████████████████████████ (≈100%)
位置 2: (≈0%)
位置 3: (≈0%)
位置 4: (≈0%)

此时，几乎所有概率质量都集中在单一位置，其余位置的概率被压缩到接近零。

这种从“平滑分布”到“极端分布”的转变，称为 softmax 饱和（saturation）。

六、梯度是如何在 softmax 处消失的

在反向传播中，梯度的传递遵循链式法则：

未饱和状态：梯度正常传播

反向传播路径：

Loss
  │ ∂L/∂s (来自上游)
  ↓
softmax
  │ ∂s/∂z ≈ [0.2, 0.3, 0.1, ...] (梯度有效)
  ↓
logits z
  │ ∂z/∂Q, ∂z/∂K (梯度继续传播)
  ↓
Q, K (参数可以更新)

饱和状态：梯度被截断

反向传播路径：

Loss
  │ ∂L/∂s (来自上游)
  ↓
softmax
  │ ∂s/∂z ≈ [0.00001, 0, 0, ...] (梯度几乎为0！)
  ↓
logits z
  │ ∂z/∂Q ≈ 0, ∂z/∂K ≈ 0 (梯度消失)
  ↓
Q, K (参数无法更新！)

梯度不是在网络深处逐层衰减的，而是在 softmax 这一层被直接截断的

这是一种发生位置非常明确的梯度消失问题。

七、从点积到梯度消失的完整因果链

将前面的所有环节串联起来，可以得到一条完整因果链：

高维点积统计性质
    ↓
点积方差 ∝ d_k
    ↓
点积值的典型尺度 ∝ √d_k
    ↓
softmax 输入整体变大
    ↓
指数函数放大差距
    ↓
softmax 输出趋向 one-hot 分布
    ↓
softmax Jacobian 中梯度项趋近于 0
    ↓
∂s/∂z ≈ 0 导致梯度截断
    ↓
Q、K 无法更新，注意力权重过早固定

问题的本质是：点积让 softmax 过早进入了饱和区间，从而导致梯度消失。

八、为什么这不是梯度爆炸问题

这一现象有时会被误认为是梯度爆炸，但两者在机制上完全不同。

梯度爆炸 vs 梯度消失对比

特征	梯度爆炸	本文讨论的问题
梯度大小	趋向无穷大	趋向零
发生原因	导数累乘 > 1	softmax 饱和导致 ∂s/∂z ≈ 0
数值稳定性	数值溢出	数值下溢
训练表现	参数震荡、NaN	参数停止更新

关键区别：

softmax 的梯度由其输出概率控制，具体形式为和。由于概率值，这些导数在数值上是有上界的，不可能随着输入增大而放大梯度。

softmax 只会压缩梯度，而不会放大梯度。

因此，这里出现的问题不是梯度失控增大，而是梯度被系统性压缩并最终消失。

九、根本解决方案：Scaled Dot-Product Attention

既然问题的根源在于点积的方差与维度成正比（），那么最直接的解决方式就是对点积进行缩放：

缩放后的统计性质

缩放后，点积的方差变为：

效果：

控制点积的典型尺度稳定在常数级别（与维度无关）
防止 softmax 过早进入饱和区
保持输出对输入变化的敏感性
让梯度能够持续传回 Q 和 K

这一步的本质是方差归一化（variance normalization）。

十、为什么是

三种缩放方式的对比

缩放方式	softmax 行为	问题
不做缩放	很快饱和	梯度消失
除以	过于均匀	区分能力不足，所有位置概率接近
除以	稳定且可学习	✓ 最优

直观解释

不做缩放：点积方差随线性增长，softmax 很快饱和
**除以 **：矫枉过正，点积方差变成，当很大时会让所有注意力权重过于平均，失去了“注意”的意义
**除以 **：恰好让方差归一化到 1，既不会饱和也不会过于平滑

这一选择与 Xavier 初始化、LayerNorm 等方法背后的统计思想是一致的：保持信号的方差在网络中稳定传播。

十一、总结

点积过大不会导致梯度爆炸，而是会使 softmax 过早进入饱和状态。一旦 softmax 的输出分布变得极端，其 Jacobian 中的梯度项会趋近于零，导致梯度在这一层被有效截断，学习信号无法继续传播到 Q 和 K。

的引入，正是为了把点积的方差从归一化到 1，从而把 softmax 的输入尺度拉回到一个模型仍然能够持续学习的区间。

这是一个精心设计的数学解决方案，背后的统计原理清晰明确。

残差连接（Residual Connection）：从直觉困境到现代神经网络的核心结构

发表于 2026-01-30

以下内容由AI辅助生成

1. 引言：一个看似显然却失败的直觉

在深度学习中，一个最自然的想法是：

神经网络越深，模型的表达能力越强，性能应该越好。

然而，大量实验表明，当网络深度不断增加时（例如从几十层到上百层），模型往往会出现一个反直觉现象：

训练误差上升
即使在训练集上，也无法达到较浅网络的性能

这种现象被称为深层网络退化问题（Degradation Problem）。

重要的是，这并不是由于过拟合，也不仅仅是梯度消失或爆炸，而是一个深层模型在优化层面“学不动”的问题。

2. 问题的本质：为什么深层网络会“退化”？

从理论上看，一个更深的网络至少应该能够模拟一个浅层网络：

只要新增的层学会恒等映射（Identity Mapping）
网络性能就不应下降

但实践中发现：

普通神经网络并不擅长学习“恒等变换”

也就是说，让几层网络保持输出与输入一致（y = x），在数值优化上并不容易。

这揭示了退化问题的本质：

不是模型不够强
而是优化目标本身不友好

3. 残差连接的直观思想

残差连接的核心思想可以用一个非常生活化的比喻来理解。

传统网络：

从零开始学习一个完整映射
残差思想：

在原有输入的基础上，只学习“需要修正的部分”

换句话说，与其直接学习目标函数，不如学习它相对于输入的偏差。

4. 形式化定义：什么是残差连接？

在数学上，残差学习通过一次重参数化来实现。

传统形式：

残差形式：

其中：

：输入
：残差函数
从直接加到输出的通路称为 残差连接（Residual / Skip Connection）

5. 为什么残差连接有效？

5.1 恒等映射变得容易

如果某些层对任务无贡献：

普通网络：很难逼近恒等映射
残差网络：只需令

这使得：

“零修正”成为一种稳定解

从而保证深层网络至少不会比浅层网络更差。

5.2 梯度传播更顺畅

对于残差结构：

反向传播时：

这个恒定的 “+1”：

为梯度提供了一条直接通路
显著缓解了梯度消失问题

5.3 优化过程更友好

经验和理论分析表明：

残差结构使损失函数的优化景观更加平滑
梯度下降类方法更容易收敛

这是极深网络得以成功训练的关键。

6. 一个重要澄清：是不是每一层都应该用残差？

答案是否定的。

现代神经网络并不是对每一层使用残差，而是：

在“模块（Block）级别”使用残差连接

原因在于：

层层残差会削弱非线性表达能力
有些层的目标是“改变表示空间”，并不适合残差

7. 残差连接在经典模型中的使用

7.1 ResNet

ResNet 的基本单元不是单层，而是一个残差块：

2～3 层卷积 + 非线性
外部包裹一条 shortcut

残差连接作用于整个模块，而非每一层。

7.2 Transformer

在 Transformer 中：

Attention 子层
Feed-Forward 子层

每一个子层外部都配有残差连接，但子层内部仍然是传统结构。

这说明：

残差是一种结构设计原则，而不是具体算子。

8. 什么时候不适合使用残差连接？

通常不使用残差的地方包括：

输入嵌入层
下采样或维度剧烈变化的层
输出层（分类 / 回归头）
非常浅的网络

残差更适合用于：

在同一表示空间内逐步精炼特征

9. 总结

残差连接的核心价值在于：

重参数化学习目标，使优化更容易
为梯度提供稳定通路
保证深层模型不发生性能退化

因此，现代深度学习模型的设计范式可以概括为：

用传统网络层构建表示，用残差连接保证这些表示能被有效优化。

这也是为什么，从 ResNet 到 Transformer，残差连接已经成为深度模型的基础组件。

从 0 理解梯度消失与梯度爆炸

发表于 2026-01-30

以下内容由AI辅助生成

一、训练神经网络到底在做什么

训练神经网络,本质只有一件事:

不断微调参数,使模型输出更接近真实目标。

参数该往哪个方向调、调多大力度,完全由梯度决定。

如果梯度能够稳定传播,模型就能学习;
如果梯度在传播过程中衰减或失控,训练就会失败。

二、什么是梯度(不涉及神经网络)

1. 变化率的直觉理解

考虑函数:

当发生微小变化时, 的变化量取决于当前位置。

在附近, 增加 0.01, 约增加 0.02
在附近,同样增加 0.01, 却增加约 0.2

这说明:
同样的输入变化,在不同位置,对输出的影响不同。

2. 导数的定义

这种“对变化的敏感程度”,就是导数。

数学上,导数的定义为:

对 :

注: 在单变量函数中称为导数,在多变量函数中,所有偏导数组成的向量称为梯度。

三、梯度在训练中的作用

1. 参数是如何被更新的

设一个最简单的模型:

定义损失函数:

训练的目标是让损失变小。

2. 梯度下降规则

参数更新公式为:

其含义是:

梯度大 → 参数调整幅度大
梯度小 → 参数调整幅度小
梯度为 0 → 参数不再更新

梯度决定了模型是否还能继续学习。

四、神经网络中的梯度从哪里来

1. 神经网络是复合函数

多层神经网络可以表示为函数嵌套:

损失函数是。

2. 反向传播的本质

反向传播使用链式法则计算梯度:

也就是说:

梯度是多个导数的连乘结果。

五、梯度消失:为什么“传不到前面”

1. 连乘导致的数值衰减

假设每一层反向传播的导数约为 0.5:

10 层:
50 层:

梯度几乎为 0。

2. 对训练的影响

输出层附近仍能更新
输入层附近梯度趋近于 0
参数几乎不发生变化

这称为梯度消失(Vanishing Gradient)。

六、梯度爆炸:同一机制的反面

1. 连乘导致的数值放大

若每一层导数约为 1.5:

10 层:
50 层:

2. 对训练的影响

参数更新幅度极大
损失函数变为 NaN 或 inf
数值溢出,模型发散

这称为梯度爆炸(Exploding Gradient)。

七、激活函数为什么会深刻影响梯度

1. 激活函数的作用

如果每一层只有线性变换:

多层叠加后仍等价于一次线性变换,模型表达能力有限。

因此神经网络必须引入非线性激活函数。

2. 激活函数在反向传播中的角色

在反向传播过程中,每一层梯度都会乘上激活函数的导数:

$梯度$

激活函数的导数直接决定梯度是被缩小,还是能够稳定传播。

3. Sigmoid:典型的饱和型激活函数

函数形态:

y
1 |           ________
  |         /
  |       /
0 |______/____________ x
  -∞   0         +∞

形态特征:

输出值域在 (0, 1) 之间
两端逐渐变平,存在明显饱和区
当输入绝对值较大时(如或 ),函数几乎不变化
在饱和区内,导数接近 0
最大导数出现在处,值为 0.25

多层连乘后,即使在最佳位置,导数也只有 0.25,梯度迅速衰减,极易出现梯度消失。

4. ReLU:非饱和激活函数

函数形态:

y
  |
  |        /
  |       /
0 |______/____________ x
  -∞   0         +∞

形态特征:

负区间输出恒为 0( 时 )
正区间保持线性增长( 时 )
正区间内导数恒为 1
负区间内导数恒为 0

优点: 梯度在正区间不会被缩小,更适合深层网络。

缺点: 负区间梯度为 0,可能导致“神经元死亡”问题(Dead ReLU),即某些神经元永远不会被激活。

5. GELU:平滑的非饱和激活函数

函数形态:

y
  |          /
  |        /
  |     __/
0 |____/______________ x
  -∞   0         +∞

形态特征:

整体趋势类似 ReLU
负区间平滑过渡,而非硬截断(允许小的负值通过)
在附近是光滑可导的
同时保持梯度稳定与函数连续性
避免了 ReLU 的“神经元死亡”问题

因此在 Transformer 等现代深层模型中被广泛采用。

6. 激活函数对梯度的整体影响

Sigmoid / Tanh: 饱和型激活函数,导数最大值为 0.25(Sigmoid)或 1(Tanh),在饱和区导数接近 0,易导致梯度消失
ReLU: 非饱和激活函数,正区间导数恒为 1,但负区间导数为 0,可能导致神经元死亡
GELU / Swish: 平滑的非饱和激活函数,结合了 ReLU 的优点并避免了硬截断,在深层网络中表现更好

八、梯度消失与爆炸的本质

梯度问题并非偶然,而是反向传播机制的必然结果:

小于 1 的数反复相乘 → 梯度消失
大于 1 的数反复相乘 → 梯度爆炸

问题与网络深度、激活函数和结构设计强相关。

九、常见解决思路

针对梯度消失:

使用非饱和激活函数(如 ReLU、GELU)代替 Sigmoid、Tanh
引入残差连接(ResNet),为梯度提供直接的反向传播路径
使用批归一化(Batch Normalization)或层归一化(Layer Normalization)稳定数值尺度
适当的权重初始化(如 Xavier、He 初始化)使初始梯度保持在合理范围

针对梯度爆炸:

梯度裁剪(Gradient Clipping),限制梯度的最大范数
降低学习率
使用权重正则化(如 L2 正则化)
批归一化同样有助于防止梯度爆炸

十、总结

梯度消失是信号衰减问题,
梯度爆炸是信号放大失控问题。

深度学习模型结构的演进,本质上是在解决同一个问题:
如何让梯度稳定、完整地传回去。

链式法则与反向传播：从直觉到结构理解

发表于 2026-01-30

以下内容由AI辅助生成

本文从导数的直觉含义出发，逐步引入链式法则、偏导数、反向传播与梯度下降，并通过一个带分叉的完整计算图示例，解释反向传播为什么必须存在，以及梯度复用与梯度汇总在计算中究竟发生在什么地方。

一、导数的本质：变化率

导数描述的是变量之间的变化关系：

当一个量发生微小变化时，另一个量会随之变化多少。

数学上通常写作：

直觉上可以理解为：

每增加一点点，大概会增加或减少多少。

在机器学习中，导数的意义并不是求解数学问题，而是用于判断如何调整参数，结果才会向更好的方向变化。

二、多变量函数与偏导数

实际问题中，函数往往依赖多个变量，例如：

此时，单一导数已经不足以描述不同变量对结果的影响。偏导数的含义是：

在保持其他变量不变的前提下，只考察某一个变量变化，对结果造成的影响。

例如：

则有：

即使是同一个损失函数，不同参数对它的影响程度也是不同的。

三、多步计算与链式法则

当一个量的变化需要通过中间变量传递时，就会出现多步依赖关系。

设：

则：

这就是链式法则。

它的直觉表述是：

多步计算的变化率，可以拆成每一步变化率的连乘。

链式法则是反向传播的核心数学规则，但并非唯一规则。在分叉结构中，还需要偏导数的加法规则来汇总来自不同路径的梯度。

四、神经网络的数学本质

从数学角度看，神经网络只是一个参数极多、结构复杂的函数：

训练的目标可以概括为一句话：

通过调整参数，使损失函数尽可能小。

关键问题因此变成：

每个参数改变一点点，会让损失函数变多少？

也就是计算：

五、正向传播与反向传播的分工

正向传播的作用是计算数值。

在正向传播中，输入数据沿着计算图向前传递：

$中间变量$

在一次正向传播完成后，损失函数是一个确定的数值。

反向传播并不是将函数倒过来计算，而是：

在正向计算完成之后，以损失函数为起点，沿计算图的反方向系统地应用链式法则，计算损失函数对各个中间变量和参数的偏导数。

反向传播过程中传递的不是损失函数本身，而是：

$当前变量$

也就是说，如果当前位置发生单位变化，最终损失函数会变化多少。

六、梯度下降：参数更新发生的地方

反向传播的结果是得到各个参数对应的梯度，但它本身并不修改参数。

参数的更新由梯度下降完成：

其中，是学习率，用来控制每一步更新的幅度。

梯度的符号决定更新方向，梯度的大小决定更新步长。当梯度逐渐接近零时，参数逐步逼近损失函数的极小值。

七、为什么反向传播要沿着计算图反向进行

在线性链结构中，每个节点只有一条梯度传播路径，反向传播的优势不太明显。

真正的区别来自具有分叉和汇合的结构。

在分叉结构中，一个节点可能同时影响多个下游节点；在反向传播时，这些下游节点对损失函数的影响，必须被完整地汇总回上游节点。这一过程无法通过简单的正向计算完成。

因此，反向传播在工程上是不可替代的。

八、一个完整的二分叉数值示例

计算图结构

            h2 = w2 · h1
          ↗
x ──→ h1                ──→ y = h2 + h3 ──→ L
          ↘
            h3 = w3 · h1

对应的数学定义为：

设定具体数值：

正向传播计算过程

此时，损失函数是一个确定的数值。

反向传播计算过程

现在从损失函数开始，逐步计算每个变量的梯度。

第一步：计算

第二步：梯度分发到两个分支

由于，梯度会同时传递到两个分支：

第三步：计算和

第四步：梯度汇总到

这是关键步骤。由于同时影响和，来自两个分支的梯度必须相加：

第五步：计算

至此，我们得到了所有参数的梯度：

九、反向传播在分叉结构中的作用方式

反向传播仍然完全遵循链式法则。差异不在于数学规则本身，而在于计算图的结构。

在上述分叉结构中：

输出同时依赖于和，因此损失函数对的梯度会被同时传递到这两个分支。这是梯度分发。

中间节点同时影响和，因此在反向传播时，来自不同分支的梯度必须在处进行相加。这是梯度汇总，遵循偏导数的加法规则。

此外，正向传播中计算得到的中间变量（如）会在反向传播中被多次使用（计算和时都用到了），从而避免重复计算。这是梯度复用。

这些现象并不是额外引入的规则，而是链式法则和偏导数加法规则在分叉计算图中的自然结果。

十、总结

导数描述变量之间的变化率，偏导数用于区分多变量函数中不同变量的影响。链式法则解决多步依赖问题，偏导数的加法规则处理梯度汇总。反向传播是以损失函数为起点，对这些数学规则在计算图上的系统组织。梯度下降利用反向传播得到的梯度更新参数。在具有分叉结构的网络中，反向传播天然包含梯度分发、梯度复用与梯度汇总。

可以用一句话概括全文：

反向传播不是新的数学，而是对链式法则和偏导数加法规则在复杂计算图上的高效组织与实现。

感知机与神经网络如何学习并逼近复杂函数

发表于 2026-01-30

以下内容由AI辅助生成

——从函数形式到分段线性逼近的机制说明

一、感知机与神经网络的基本函数形式

在深度学习中，感知机及其扩展的神经网络，并不是在使用人为指定的多项式函数形式，例如：

其基本计算结构为：

其中：

：输入特征
：可学习参数
：激活函数（形式固定，由模型结构决定）

神经网络的非线性能力并非来自显式写入平方、立方项，而是来自激活函数与多层组合。

二、模型结构与参数学习的区分

神经网络需要在两个层面上理解：

结构层面：
层数、连接方式、激活函数类型（人为设计）
参数层面：
权重、偏置（通过数据训练得到）

网络不会“选择一个解析公式”，而是在固定结构下，通过参数不断调整，形成某种函数形状。

三、单层感知机的表达能力边界

当模型只有一层（无隐藏层）时：

虽然激活函数引入了非线性，但其表达能力仍然受限：

决策边界是线性的（对于分类任务）
无法表示真正复杂的非线性决策区域

例如 XOR、圆形边界等问题，无法由单层感知机解决。
复杂函数的表达能力来自隐藏层。

四、复杂函数是如何被“学出来”的

神经网络学习复杂函数的过程，本质是连续的数值优化：

参数随机初始化，函数形状与目标无关
前向传播，计算当前模型对应的输出函数
计算损失函数，仅反映预测误差
反向传播，计算参数对损失的梯度
梯度下降，微小更新参数
多次迭代，函数形状逐步调整

模型并不“理解函数形式”，只是不断在函数空间中朝误差更小的方向移动。

五、非线性激活的作用（以 ReLU 为说明示例）

为便于几何化理解，引入 ReLU 激活函数作为示例：

对一维输入：

其几何特征为：

当，输出为 0
当，输出为一条直线

一个 ReLU 神经元在一维输入下，只做一件事：
在某个位置之后，开始贡献一段线性函数。

六、折点的定义与来源

ReLU 的“折点”定义为：

需要明确：

网络中不存在名为的独立参数
折点是权重与偏置的比值结果
训练过程中仅对做梯度下降
折点位置是参数学习的自然副产物

七、多 ReLU 网络的函数性质

对一维输入、单隐藏层 ReLU 网络：

该函数族具有严格性质：

在任意区间内是线性的
在折点处一阶导数发生跳变
整体函数为分段线性函数

复杂性来自多个折点及其线性部分的叠加。

八、三 ReLU 拼接示例（严格区分“折点”与“输出折线”）

考虑如下网络：

1. 折点（竖直分界线）

该网络包含三个 ReLU，因此理论上只有三个折点：

它们对应三条竖直分界线，用于划分输入区间，本身不是函数图像的一部分：

1 2	│ │ │ t₁ t₂ t₃

2. 区间划分

折点将输入轴划分为四个区间：

3. 各区间内的函数来源（这是关键）

区间 A：

ReLU(x+1) = 0
ReLU(x) = 0
ReLU(x−1) = 0

输出为：

这是一个常数函数，因此图像是一条横线。

这条横线并不对应任何单个 ReLU
而是“三个 ReLU 全部未激活”的叠加结果

区间 B：

ReLU(x+1) = x+1
其余两个 ReLU = 0

输出为：

这一段直线由 ReLU₁ 单独贡献

区间 C：

ReLU(x+1) = x+1
ReLU(x) = x

输出为：

这一段直线是 ReLU₁ 与 ReLU₂ 的线性叠加

区间 D：

三个 ReLU 全部激活

输出为：

这一段直线是 三个 ReLU 的线性部分之和

4. 输出函数的折线示意（结果）

y
│               /
│            __/   ← ReLU₁ + ReLU₂ + ReLU₃
│         __/
│      __/        ← ReLU₁ + ReLU₂
│   __/
│__/              ← ReLU₁
│──────────────   ← 所有 ReLU = 0（常数段）
└──────────────── x
   -1     0     1

需要严格理解：

竖线（t）：表示 ReLU 的激活边界
折线：表示当前所有“已激活 ReLU”的线性部分之和
折线不是某个 ReLU 单独“画出来的”

九、为什么这种结构可以逼近抛物线

抛物线的本质特征是：

斜率随连续增大

ReLU 网络无法产生连续曲率，但可以通过：

足够多折点
足够密的斜率跳变

在有限区间内逼近这种行为。

十、有限 ReLU 的表达极限

在一维情况下：

有限 ReLU 网络 ⇒ 分段线性函数
⇒ 处处光滑、二阶导数非零

因此：

❌ 有限 ReLU 无法在整个实数轴上精确等于
✅ 在任意有限区间内，可以逼近到任意精度

十一、需要多少个 ReLU（量级结论）

在区间上，用单隐藏层 ReLU 网络逼近：

若最大误差为，所需 ReLU 数量满足：

含义为：

区间越大 → 折点越多
精度要求越高 → 折点越多

十二、整体总结

神经网络不显式构造高次多项式
表达能力来自线性变换与非线性激活的组合
ReLU 在一维下本质生成分段线性函数
折点是参数学习的自然结果，而非人为设定
折线是多个 ReLU 线性部分的叠加结果
光滑函数只能被有限 ReLU 逼近，不能被精确等同

交叉熵损失与最大似然估计：完全理解指南

发表于 2026-01-29

以下内容由AI辅助生成

一、从最基本的问题开始

1.1 模型如何表达预测？

假设你在训练一个图像分类模型：

任务：判断这张图是「猫」还是「狗」？

模型不会直接给出“猫”或“狗”这样的硬答案，而是输出概率分布：

“我认为是猫的概率是 0.8，是狗的概率是 0.2”

👉 核心理解：模型输出的是“置信度（概率）”，而不是确定的答案。

1.2 如何评价模型预测的好坏？

假设真实答案是「猫」，我们看不同预测的质量：

模型给猫的概率 p	评价	期望的损失
0.99	非常准确	应该很小
0.8	比较好	适中
0.51	勉强对	较大
0.1	完全错误	应该很大

我们需要设计一个损失函数，满足：

正确答案的概率越大 → 损失越小
正确答案的概率越小 → 损失越大

1.3 为什么选择对数函数？

观察函数 loss = -log(p) 的行为：

正确类概率 p	-log(p)	含义
0.99	0.01	几乎完美
0.9	0.10	很好
0.5	0.69	随机猜测水平
0.1	2.30	很差
0.01	4.60	完全错误

关键特性：

p 接近 1 → 损失接近 0（奖励正确预测）
p 接近 0 → 损失趋向无穷（严厉惩罚错误）
非线性增长：从 p=0.9 到 p=0.1，损失增加了 20 倍以上

为什么对数函数如此合适？这来自最大似然估计的数学原理（第四章详解）。

1.4 交叉熵的最简形式

对于单次预测：

真实答案是类别 A
模型给 A 的概率是 p

损失函数：

这就是交叉熵的核心。

二、为什么叫“交叉熵”？

2.1 先理解“熵”

熵（Entropy）是信息论中的核心概念，衡量不确定性。

两个例子

例子 1：完全确定

明天 100% 会下雨
熵 = 0（无不确定性）

例子 2：完全随机

抛硬币，正反各 50%
熵最大（最大不确定性）

数学定义

对于概率分布 P：

含义：平均每次需要多少信息量（比特）来描述发生的事情。

2.2 什么是“交叉”？

现实中经常出现这种情况：

真实世界：按分布 P 在运行
你的认知：却认为它是分布 Q

当你用错误的分布 Q 去理解真实分布 P 时，会产生额外的“信息代价”。

交叉熵的定义

2.3 为什么叫“交叉”？

看公式的结构：

公式部分	来源	含义
P(x)	真实分布 P	事件实际发生的频率（权重）
log Q(x)	模型分布 Q	用模型的方式编码

“交叉”的含义：两个不同分布的交叉使用

权重来自 P
编码来自 Q

对比：

**熵 H(P)**：用自己编码自己
**交叉熵 H(P,Q)**：用别人编码自己

2.4 在机器学习中的应用

真实标签（one-hot）：P = [0, 0, 1, 0] — 第3类是正确答案

模型输出（Softmax）：Q = [0.1, 0.2, 0.6, 0.1]

计算交叉熵：

2.5 为什么简化成了 -log(p)？

在分类任务中，真实标签是 one-hot：只有正确类是1，其他是0

代入交叉熵公式，求和后只剩下正确类别那一项：

$正确类$

这就是为什么实际代码中：

1	loss = -log(Q[y_true])

三、二分类和多分类的具体形式

3.1 二分类交叉熵（Binary Cross Entropy）

设定：

模型输出：p = P(y=1|x)，通过 Sigmoid 得到
真实标签：y ∈ {0, 1}

损失函数：

理解：这是分段函数的简洁写法

真实标签 y	实际计算
y = 1	-log(p)
y = 0	-log(1-p)

具体例子：

真实标签 y = 1, 模型预测 p = 0.9
损失 = -log(0.9) ≈ 0.105

真实标签 y = 1, 模型预测 p = 0.1
损失 = -log(0.1) ≈ 2.303

3.2 多分类交叉熵（Categorical Cross Entropy）

完整流程：

步骤1：模型输出 logits

1	z = [2.0, 1.0, 0.1]

步骤2：Softmax 归一化

计算结果：p₁ ≈ 0.659, p₂ ≈ 0.242, p₃ ≈ 0.099

步骤3：计算交叉熵

真实标签 y = [0, 1, 0]（第2类是正确答案）

简化形式（利用 one-hot）：

四、从最大似然估计理解交叉熵

4.1 一个侦探问题

你发现了一枚硬币和抛掷记录：

1	结果：正、正、反、正、正

任务：判断硬币正面的概率是多少？

思考过程：

假设的概率 θ	出现这串结果的概率
θ = 0.5	0.5⁴ × 0.5¹ = 0.03125
θ = 0.8	0.8⁴ × 0.2¹ ≈ 0.0819
θ = 0.9	0.9⁴ × 0.1¹ ≈ 0.0656

结论：θ = 0.8 最能解释观测数据！

这就是最大似然估计（MLE）的核心思想。

4.2 概率 vs 似然：关键区别

概率（Probability）

已知：参数 θ
求：数据出现的概率
方向：从原因推结果

1	P(data\|θ) = “给定硬币特性，某个结果出现的概率”

似然（Likelihood）

已知：数据（已经发生了）
求：哪个参数最可能
方向：从结果推原因

1	L(θ\|data) = “给定观测结果，哪个参数最合理”

数学关系：L(θ|data) = P(data|θ)

数值相同，但含义完全相反。

4.3 硬币问题的形式化

Step 1: 建立概率模型

1 2	P(x=1\|θ) = θ # 正面 P(x=0\|θ) = 1-θ # 反面

Step 2: 计算联合概率

观测：正、正、反、正、正

假设独立：

Step 3: 似然函数

问题：θ 取什么值时，L(θ) 最大？

4.4 为什么要取对数？

这是连接 MLE 和交叉熵的关键步骤。

原因1：连乘变连加

对于 N 个样本：L(θ) = ∏ P(xᵢ|θ)

当 N 很大时：

数值下溢：太多小于1的数相乘，结果趋近0
计算困难：浮点数精度问题

取对数后：

连乘变连加，数值稳定！

原因2：不改变最优解

log 是严格单调递增函数：

原因3：求导更简单

原函数：L(θ) = θ⁴(1-θ)
对数函数：ℓ(θ) = 4log θ + log(1-θ)

求导：dℓ/dθ = 4/θ - 1/(1-θ) = 0

解得：θ = 0.8

4.5 MLE 的通用形式

给定：

数据：x₁, x₂, …, xₙ
参数：θ
模型：P(x|θ)

三步曲：

似然函数：L(θ) = ∏ᵢ P(xᵢ|θ)
对数似然：ℓ(θ) = ∑ᵢ log P(xᵢ|θ)
最大化：θ̂ = argmax ∑ᵢ log P(xᵢ|θ)

核心思想：

找一个参数 θ，使得“已发生的数据”在该模型下出现的概率最大。

4.6 从 MLE 到机器学习

监督学习中：

数据：(x₁,y₁), (x₂,y₂), …, (xₙ,yₙ)
模型：P_θ(y|x)

MLE 目标：

从最大化到最小化：

深度学习框架做最小化（梯度下降）：

右边就是负对数似然（NLL）

每个样本的损失：

这正是交叉熵损失！

五、MLE = NLL = 交叉熵

5.1 完整的等价链

最大似然估计（MLE）
    ↓ 取对数
对数似然（Log-Likelihood）
    ↓ 变号（max → min）
负对数似然（NLL）
    ↓ 用分布语言重写
交叉熵（Cross Entropy）

5.2 逐步推导

Step 1: MLE 原始形式

Step 2: 取对数

这是对数似然（Log-Likelihood）

Step 3: 变号

这是负对数似然（NLL）

Step 4: 用分布语言重写

真实分布 P（one-hot）：P(y|x) = 1 当 y=y_true，否则 = 0

模型分布：Q_θ(y|x) = P_θ(y|x)

交叉熵定义：

代入 one-hot：

与 NLL 完全一致！

5.3 核心等价关系

$交叉熵负对数似然（）$

因此：

$交叉熵对数似然最大似然估计$

5.4 为什么有不同的名字？

视角	术语	来源	强调什么
统计学	最大似然/对数似然	统计学	参数估计
信息论	交叉熵	信息论	分布差异
工程	NLL/CrossEntropyLoss	深度学习	损失函数

本质相同，只是不同学科的不同表述。

5.5 数值例子：三者的一致性

3分类问题，3个样本：

数据：

样本1: y₁=0, 预测 P_θ(0|x₁) = 0.7
样本2: y₂=1, 预测 P_θ(1|x₂) = 0.8
样本3: y₃=2, 预测 P_θ(2|x₃) = 0.5

方法1：MLE（最大化似然）

1 2	L(θ) = 0.7 × 0.8 × 0.5 = 0.28 log L(θ) = log(0.7) + log(0.8) + log(0.5) = -1.273

方法2：NLL（最小化负对数似然）

1	NLL = -log L(θ) = 1.273

方法3：交叉熵

L₁ = -log(0.7) ≈ 0.357
L₂ = -log(0.8) ≈ 0.223
L₃ = -log(0.5) ≈ 0.693
总和 = 1.273

三种方法，完全相同的结果！

六、为什么这样设计？

6.1 理论基础：来自统计学

分类模型在建模条件概率 P(y|x)

统计学告诉我们：

最自然的参数估计方法是 MLE
MLE 具有一致性、渐近正态性等优良性质
MLE 等价于最小化交叉熵

结论：

交叉熵不是人为设计的，而是从统计学基本原理推导出来的

6.2 工程优势：梯度简洁

Softmax + Cross Entropy 的梯度：

特点：

形式极简：就是预测值和真实值的差
没有复杂的链式法则
数值稳定：不会梯度消失或爆炸
计算高效

这就是为什么深度学习框架直接提供 CrossEntropyLoss。

6.3 信息论视角：最小化分布差异

交叉熵可以分解为：

其中：

H(P)：真实分布的熵（常数）
KL(P‖Q)：KL散度（分布差异）

因此：最小化交叉熵 ⟺ 最小化 KL 散度 ⟺ 让模型分布逼近真实分布

七、总结

7.1 核心理解

交叉熵损失 = -log(正确答案的概率)

= 负对数似然
= 最大似然估计的优化目标

7.2 从三个角度理解

直觉：

“你给正确答案分配的概率有多低，我就罚你多狠”

统计学：

“让已发生的数据在当前模型下概率最大”

信息论：

“用模型的分布去理解真实分布所付出的代价”

7.3 关键等价关系

$最大似然负对数似然交叉熵$

7.4 理解路径

1. 问题：如何评价模型预测？
       ↓
2. 直觉：正确答案概率越高越好
       ↓
3. 函数：-log(p) 提供合适的惩罚
       ↓
4. 统计学：这是最大似然估计
       ↓
5. 信息论：这也是交叉熵
       ↓
6. 等价：MLE = Log-Likelihood = NLL = Cross Entropy

7.5 最小记忆单元

如果只记一件事：

交叉熵 = -log(正确类的概率)

它来自最大似然估计：让模型给真实答案的概率最大

八、结语

交叉熵损失看似简单的 **-log(p)**，实际上：

来自统计学：最大似然估计的自然结果
来自信息论：分布差异的度量
工程优良：梯度简洁、数值稳定

理解交叉熵和最大似然的联系，你就真正理解了：

为什么这样设计损失函数
为什么深度学习能够工作
如何从原理出发思考问题

Softmax：从直觉到本质

发表于 2026-01-28

以下内容由AI辅助生成

Softmax 是多分类任务中最常见的输出层函数。它的任务表面上是“把 logits 变成概率”，但本质是：将一组可加的分数转换为可比较、可优化的相对强度，并与极大似然/交叉熵无缝对接，同时保证数值稳定和梯度友好。

1. 问题设定：从 logits 到概率

1.1 什么是 logits？

神经网络最后一层通常输出一组实数：

这组称为 logits（未归一化分数）。

1.2 我们需要什么？

我们需要一个函数，将任意实数向量映射到“概率单纯形”：

其中概率单纯形定义为：

1.3 硬约束（缺一不可）

非负性：输出必须 > 0
归一化：总和为 1
全域定义：对所有实数输入都有定义
保序性：

例子：如果 logits 是，那么 Softmax 后的顺序不变
可微性：平滑可导，梯度稳定（用于反向传播）

2. Softmax 的定义

2.1 标准形式

其中：

：类别数
：第类的 logit
分母：对所有类别的指数求和，用于归一化

2.2 向量形式

2.3 数值稳定版（工程实践）

为什么要减？

当很大时（如 1000），会导致数值溢出（Overflow，变成 Inf）。减去后：

最大的 logit 变为 0：
其他 logit 都是负数： $负数$ 最多下溢到 0，不会 NaN
数学上结果完全相同（分子分母同时除以）

例子：

原始： → 溢出！
稳定版： → ✓

3. 为什么输出在 (0,1) 且和为 1？

这是纯代数结论，无需“概率直觉”。

令

3.1 为什么？

对任意实数，都有
分母是正数之和，必然 > 0
因此

3.2 为什么？

分母包含分子本身：

（除非，否则严格 < 1）

3.3 为什么？

3.4 本质

Softmax = 对一组正数做 L1 归一化

指数的作用是将“任意实数”转为“严格正权重”。

4. 为什么必须用指数？

4.1 方案一：直接归一化 ❌

问题：

可能为负 → “概率”为负
分母可能为 0
符号变化时语义被破坏

结论：不满足基本约束

4.2 方案二：ReLU 后归一化 ❌

问题：

0 处不可导，训练困难
大量类可能变为 0，梯度长期为 0（神经元“死亡”）
相对差异被扭曲

4.3 方案三：平方归一化 ❌

问题：

与得到相同权重
logits 的“偏好方向”丢失
分类语义崩塌

5. 指数为什么“刚刚好”？

指数函数同时满足所有需求：

严格正性：（无零点、无负值、无断点）
严格单调：保持顺序
差异放大：线性差转为倍率差

例子：
- 如果，则倍
- 如果，则倍
- logit 差距越大，概率比越悬殊
加法→乘法同态：

第 4 点是关键的“桥梁”性质，后文将深入阐述。

6. e 是什么？

6.1 连续复利的极限

背景：假设你存 1 元钱，年利率 100%。

一年计息 1 次：元
半年计息 1 次：元
每天计息：元
每秒计息：元

当计息频率趋于无限（连续复利），极限就是：

6.2 级数定义（实际计算常用）

算到已经非常接近 2.71828。

6.3 最关键性质：自导数

这是 Softmax + 交叉熵梯度简洁的根本原因。

7. 为什么用 e 而非其他底数？

7.1 其他底数可行吗？

假设用底数：

导数为：

7.2 梯度尺度污染

配合交叉熵时，梯度变为：

而使用时：

7.3 为什么这很重要？

学习率本应直接控制步长
换底数会引入无意义的常数
多层网络中尺度难以控制
表达能力没有提升，纯属干扰

结论：用等价于“剥离多余的常数尺度”，使系统最简洁。

8. Softmax + 交叉熵的“奇迹”

8.1 什么是交叉熵？

在分类任务中，我们用 one-hot 编码 表示真实标签：

如果样本属于第 2 类（共 3 类）：
只有正确类别为 1，其他为 0

交叉熵损失衡量预测分布与真实分布的差异：

因为是 one-hot，只有真实类别处为 1，所以简化为：

意义：

如果（预测完全正确）→
如果（预测很不确定）→
如果（预测错误）→

目标：最小化交叉熵 = 最大化正确类别的预测概率。

8.2 交叉熵损失的完整形式

使用 one-hot 标签，交叉熵（也叫负对数似然）：

8.3 代入 Softmax

8.4 梯度极简

这个“干净到难以置信”的形式，根源于：

若用其他正函数替代指数，梯度会出现复杂的项，优化困难且不稳定。

9. “加法 → 乘法”：唯一的自然桥梁

这不是比喻，而是结构必然性。

9.1 Logits 的加法世界

最后一层的典型形式：

语义是“证据累加”：

支持特征 → 增加
反对证据 → 减少
多条证据 → 分数相加

例子（图像分类）：

检测到“毛发” → 猫的分数 +2
检测到“尖耳朵” → 猫的分数 +1.5
检测到“圆脸” → 猫的分数 +1
最终： $猫$

比较两类时，自然量是差值：

表示“ 相对的净优势”，典型的加法结构。

9.2 概率的乘法世界

分类中真正关心的是“相对可能性”，即比值：

例子：

如果 $猫狗$
比值： $猫狗$ ，表示“猫的可能性是狗的 3.5 倍”
这是倍率/赔率，本质是乘法结构（比例、连乘）

9.3 核心需求：差值控制比值

希望存在单调函数，使得：

左边：概率的比例结构（乘法世界）
右边：logit 的差分结构（加法世界）

我们需要一座桥，将“差”转为“比”。

9.4 一致性约束逼出指数

希望满足传递性：

若比强，比强
则比应强

即：

对应概率比值的链式相乘：

结合两式，得函数方程：

在“正、连续、单调”等合理条件下，唯一解是指数族：

因此：

归一化后：

（为温度参数，通常）

结论：“加法→乘法”不是比喻，而是结构要求的必然结果。

9.5 对训练的友好性

训练使用对数似然，对数将乘法拉回加法：

指数：加法 → 乘法
对数：乘法 → 加法

整个系统形成闭环：logits 的差是线性的，log 概率比也是线性的，梯度才简洁稳定。

10. 信息论视角：最大熵推导

10.1 问题设定

在约束条件下：

最大化熵：

10.2 拉格朗日方法

用拉格朗日乘子法求解，得到：

归一化后即为 Softmax。

10.3 深层意义

Softmax 不是约定俗成，而是在“仅知期望分数”约束下，熵最大的唯一形式。

这从信息论角度证明了 Softmax 的必然性。

11. 总结：Softmax 的必然性

Softmax 不是随便设计的，而是唯一同时满足以下要求的函数：

基础要求：

任意实数输入 → 正数输出 → 和为 1
大的 logit → 大的概率（保序）
处处可导，梯度稳定

核心机制：

用指数把“证据累加”（加法）转成“可能性倍率”（乘法）
logit 差 2 → 概率比倍；差 5 → 比倍

训练完美：

配合交叉熵，梯度就是（干净到极致）
用而非其他底数，避免梯度尺度污染

数值稳定：

减防溢出，下溢到 0 也符合语义

理论支撑：

最大熵原理下的唯一解
指数族分布的自然形式

一句话：Softmax 是“把加法世界的分数转成乘法世界的概率”的唯一自然方式。

激活函数的本质原理与作用

发表于 2026-01-27

以下内容由AI辅助生成

——从 XOR 出发理解非线性、表达能力与训练

一、从一个最小反例开始:XOR 与线性模型的根本局限

在讨论激活函数之前,有必要从一个最简单、却最具代表性的例子入手。
XOR(异或)问题以极低的维度,清晰地揭示了线性模型与深度神经网络在本质上的差异。

1. XOR 问题的定义

XOR 的规则如下:

x₁	x₂	XOR
0	0	0
0	1	1
1	0	1
1	1	0

在二维平面中表示为:

x₂ ↑
   |
 1 |   ○       ●
   |
   |
 0 |   ●       ○
   +----------------→ x₁
       0       1
● 表示输出为 1
○ 表示输出为 0

正类与负类分布在对角位置。

2. 线性模型为何无法解决 XOR

任何不包含非线性激活的神经网络,无论堆叠多少层,其整体形式都可以合并为一次线性变换:

在二维空间中,这意味着其决策边界只能是一条直线:

x₂ ↑
   |
 1 |   ○   |   ●
   |       |
   |       |
 0 |   ●   |   ○
   +----------------→ x₁

无论如何调整这条直线,都无法将 XOR 的正负样本完全分开。

这是一个严格的数学事实:
线性函数在复合运算下是封闭的,多层线性网络在表达能力上等价于单层线性模型。

二、引入 ReLU 后发生了什么:XOR 被分开的全过程

XOR 的关键意义在于:
只要引入非线性,问题的几何结构就会发生根本变化。

1. 一个最小的两层 ReLU 网络

输入: x₁, x₂

隐藏层:
h₁ = ReLU(x₁ - x₂)
h₂ = ReLU(x₂ - x₁)

输出层:
y = h₁ + h₂

其中:

2. 逐点计算

(0,0): h₁ = 0, h₂ = 0 → y = 0
(1,1): h₁ = 0, h₂ = 0 → y = 0
(1,0): h₁ = 1, h₂ = 0 → y = 1
(0,1): h₁ = 0, h₂ = 1 → y = 1

XOR 被完全正确地区分。

3. 几何解释:空间是如何被切分并重组的

(x₁ - x₂ = 0)、(x₂ - x₁ = 0) 是两条对角线
ReLU 在每条直线处将空间一分为二
一侧被整体压缩为 0,另一侧保持线性结构

叠加后,空间被划分为四个区域:

x₂ ↑
   |
 1 |   ○   |   ●
   |-------+-------
   |   ●   |   ○
 0 |
   +----------------→ x₁

最终形成的是 X 形的分段线性决策边界,而不是一条直线。

三、从 XOR 抽象出的第一性原理:激活函数究竟在做什么

1. 激活函数并不是“画曲线”

一个常见但不准确的说法是:
激活函数把线性模型变成了曲线模型。

事实上,以 ReLU 为代表的现代激活函数并不会直接生成光滑曲线。

它们真正做的是:

用线性超平面切分空间
对部分区域进行门控(压缩、屏蔽)
将多个线性区域以条件方式组合

因此,ReLU 网络本质上是分段线性模型。
非线性并不来自单次变换,而来自多次空间切分与重组的叠加效果。

2. 非线性存在的根本原因

非线性激活的首要作用不是增强模型能力,而是:

打破线性函数在复合运算下的封闭性,防止深度网络在数学上退化为线性模型。

这是激活函数存在的第一性原因。

四、表达能力与表达准确性:两个必须区分的层面

在理解激活函数的作用时,一个至关重要、却常被忽略的问题是:
表达能力与表达准确性并不是同一个概念。

表达能力:模型是否具备表示复杂函数的可能性
表达准确性:模型是否通过训练学到了合适的函数

激活函数解决的是前者的问题。
它并不直接提高预测准确率,而是为后续训练提供必要的表达前提。

五、不同激活函数的本质角色、形态与使用场景

虽然所有激活函数都引入了非线性,但它们的设计目标和承担的角色并不相同。

1. ReLU:结构型非线性(隐藏层主力)

函数形态:

y
│        /
│       /
│      /
│_____/________ x
      0

ReLU 的核心特性是:

分段线性:将复杂函数拆解为可组合的局部线性结构
局部结构偏好:适合刻画分块、层级关系
稀疏激活:部分神经元在给定输入下完全关闭
梯度稳定:正区间不饱和,使深层网络可训练

因此,ReLU 及其变体成为现代深度网络隐藏层的默认选择。

2. sigmoid:概率型非线性(输出语义)

函数形态:

y
1 |        ______
  |       /
  |      /
0 |_____/________ x
        0

sigmoid 的核心作用在于:

将实数映射到 (0,1)
自然对应概率含义

其局限在于两端饱和、梯度易消失,因此:

不适合深层隐藏层
主要用于 二分类输出层 或 门控结构(如 LSTM 的门)

3. tanh:对称信号非线性(历史与特定场景)

函数形态:

y
 1 |      ______
   |     /
 0 |____/______
   |    \
-1 |     \_____
            x

tanh 可以视为 sigmoid 的零中心版本:

输出对称,值域为 (-1, 1)
梯度分布更均衡

但它仍然存在饱和问题。
在现代深度网络中,tanh 多出现在:

早期 RNN
少数需要对称连续状态建模的场景

4. softmax:归一化与竞争机制(非表达型非线性)

以三分类为例,输入向量到概率分布的映射:

输入 z = [z₁, z₂, z₃]  →  输出 p = [p₁, p₂, p₃]

例如:
z = [2.0, 1.0, 0.1]
    ↓ softmax
p = [0.659, 0.242, 0.099]  (和为 1)

特性:
• 最大值被强化: z₁最大 → p₁最大
• 保持顺序: z₁ > z₂ > z₃  →  p₁ > p₂ > p₃
• 归一化: Σpᵢ = 1
• 竞争性: 增大z₁会压低p₂、p₃

softmax 作用在向量上,其本质是:

将一组分数映射为概率分布
强制类别之间产生竞争关系

典型使用场景包括:

多分类输出层
注意力权重归一化

softmax 并不用于构建复杂表示,而属于输出语义与选择机制。

六、激活函数的本质总结与选择逻辑

综合前文讨论,可以将激活函数的作用概括为:

在不破坏梯度传播的前提下,引入必要的非线性,
防止深度网络退化为线性模型,
为模型提供足够但可控的函数表达空间。

在此基础上:

通过数据、损失函数与优化算法
训练参数以逼近目标函数
从而提高最终预测准确性与泛化能力

进一步概括为:

激活函数必须是非线性的,
不是为了无限增强表达能力,
而是为了防止深度网络退化为线性模型,
并在可训练的前提下,引入与任务结构匹配的非线性归纳偏置。

至于选哪种激活函数、使用多少层,本质上是:

对数据分布的假设
对优化可行性的权衡
在大量经验与失败中逐步形成的工程共识

七、结语

通过 XOR 这一最小反例,可以清晰地看到:

非线性是深度神经网络成立的必要条件
激活函数并不是装饰,而是结构性组件
不同激活函数承担着不同角色,而非优劣竞争

激活函数的意义,不在于“让模型更强”,
而在于让深度模型在数学上成立、在优化上可行、在表达上有效。

延伸思考方向:

ReLU 网络线性区域数量随层数增长的直观解释
激活函数如何塑造优化景观(loss landscape)
现代激活函数变体(Leaky ReLU、GELU、Swish 等)的设计动机
激活函数与归纳偏置的关系