下一篇：[[KV Cache]] 好的，我会重新编写 Decoder 相关代码，确保以下几点： 交叉注意力（Cross-Attention） 的 query 来 …

上一篇：[[KV Cache]] 下一篇：[[RoPE]] LLaMA 3 相对于传统 Transformer 架构在你提到的两点上确实有显著优化： …

上一篇：[[RoPE]] 下一篇：[[SwiGLU]] 分组查询注意力（Grouped Query Attention, GQA）将查询头分组，共享键和值头以提 …

上一篇：[[Decoder]] 下一篇：[[Flash Attention]] KV Cache 指的是 解码器（Decoder） 的 Key (K) …

上一篇：[[SGD]] 下一篇：[[]] 从矩阵计算和机器学习的角度，**最小二乘法（Least Squares）**的目标是通过最小化预测值与真实值之间的平方 …

上一篇：[[Flash Attention]] 下一篇：[[GQA]] RoPE（Rotary Positional Embedding）vs 绝对位置编码** …

上一篇：[[Train]] 下一篇：[[Least Squares Method]] 我们先通过一个详细数值例子来演示一个简单神经网络如何被训练，使用梯度下降 …

上一篇：[[GQA]] 下一篇：[[Train]] SwiGLU 激活函数 替代原始 Transformer 的 ReLU 激活。 使用的是： $$ …

上一篇：[[SwiGLU]] 下一篇：[[SGD]] 我们构建一个典型神经网络训练例子，包含非线性激活函数（tanh）和softmax输出，完整展示一次前向传 …