技术博客 | 记录学习笔记和思考

围绕生成式 AI 的概率生成机制，讨论它是否能够实现真正意义上的创新与概念跃迁。

从 Prompt、Context 与协议出发，讨论 AI 应用背后的人类认知组织能力如何被外化与结构化。

对比人类与大模型在“先得出结果、后生成解释”这一共同特征上的相似性与局限。

从函数逼近视角解释微调与蒸馏分别在学什么，以及二者为何相似又不同。

梳理神经网络优化器从 SGD 到 AdamW 的演化路径，以及 Transformer 训练中常见选择的原因。

对比 Word2Vec 与 Transformer 中 embedding 的训练方式、参数角色与功能变化。

从数值尺度控制与训练稳定性出发，解释 LayerNorm 的作用及 Transformer 对它的依赖。

从 Attention、FFN 与 Multi-Head 三个核心抽象出发，梳理 Transformer 的组件、机制与设计思路。

从序列建模需求出发，说明 RNN、CNN 到 Transformer 在结构设计上的关键转变。

从 one-hot 表示讲到分布式表示，解释词向量如何通过语料、损失函数与梯度下降学习得到。