笔记 LLM
Tokenizer and Embedding——从人类到LLM
迈出第一步，如何把人类交流媒介转化为LLM看得懂的语言
Transformer
从前置技能树开始，逐步掌握Transformer
共 7 篇文章
笔记 LLM
Self-Attention——让我们抓住要点
从RNN时代开始，浅淡Attention到Self-Attention的演进
笔记 LLM
Query, Key, Value——Token职责的分化
解析单一Token向量在多重职责下的局限性，梳理注意力分数计算的流程
笔记 LLM
位置编码——让大模型分清东西南北
如何让LLM区分“我爱你”和“你爱我”，从Sinusoidal到RoPE
笔记 LLM
Multi-Head Attention——从多角度思考
脱离单套注意力分布的局限性，让模型在多个独立子空间中并行注意不同角度的语义分析
笔记 LLM
FFN、残差连接与LayerNorm——如何构成Transformer Block
意识到Attention机制的局限性，引入Transformer Block及相关构成，充作Transformer架构的基石
笔记 LLM
Attention Mask——看不见是为了更好地看见
在LLM训练中，有时候看到的太多反而不是好事，因此通过Mask掩码机制去遮住模型的眼睛