尧图网页设计 
上期简要回顾：上篇用 Word2Vec 把词映射成稠密向量，可那是静态的、不懂上下文；BERT 的出现让「一词多义」被真正按语境解决。一、BERT 双向编码与预训练目标在 BERT（2018, Devlin 等）之前，语言模型要么是从左到右的（GPT 类，看不到后文），要么是浅层双向（Word2Vec，没有深层上下文）。BERT 的突破在于：用 Transformer Encoder 做深层、真正双向的上下文编码——理解一个词时，同时参考它左边和右边所有词。这正是它能碾压前辈的关键：同一个"苹果"，在"吃苹果"和"苹果发布会"里会被编码成不同的向量（动态词表示，呼应第 6 篇末尾的伏笔）。BERT 采用经典的"预训练 + 微调"范式：预训练：在海量无标注文本上，用两个自监督任务学通用语言知识；微调：在下游任务（分类、NER、问答…）的小标注数据上，接一个任务头做轻量训练。业务落地时，你几乎永远从"预训练好的 BERT"出发，而不是从零训。二、MLM 与 NSP 机制详解BERT 预训练靠两个任务：2.1 Masked Language Model（MLM，掩码语言 第7篇：BERT 模型原理解析与微调实战
上期简要回顾：上篇用 Word2Vec 把词映射成稠密向量，可那是静态的、不懂上下文；BERT 的出现让「一词多义」被真正按语境解决。一、BERT 双向编码与预训练目标在 BERT（2018, Devlin 等）之前，语言模型要么是从左到右的（GPT 类，看不到后文），要么是浅层双向（Word2Vec，没有深层上下文）。BERT 的突破在于：用 Transformer Encoder 做深层、真正双向的上下文编码——理解一个词时，同时参考它左边和右边所有词。这正是它能碾压前辈的关键：同一个"苹果"，在"吃苹果"和"苹果发布会"里会被编码成不同的向量（动态词表示，呼应第 6 篇末尾的伏笔）。BERT 采用经典的"预训练 + 微调"范式：预训练：在海量无标注文本上，用两个自监督任务学通用语言知识；微调：在下游任务（分类、NER、问答…）的小标注数据上，接一个任务头做轻量训练。业务落地时，你几乎永远从"预训练好的 BERT"出发，而不是从零训。二、MLM 与 NSP 机制详解BERT 预训练靠两个任务：2.1 Masked Language Model（MLM，掩码语言