自然语言处理概述
自然语言处理（Natural Language Processing，NLP）是用计算机对人类语言（口头的与书面的）进行分析、理解和生成的技术，是人工智能中历史最久、挑战最大的方向之一。它既是计算机科学的分支，又与语言学、逻辑学、认知科学深度交织。
语言分析的五个层次
| 层次 | 研究内容 | 典型任务 |
|---|---|---|
| 语音分析 | 语音与文字之间的转换 | 语音识别 ASR、语音合成 TTS |
| 词法分析 | 词语切分、词性、词的内部构成 | 中文分词、词性标注、命名实体识别 |
| 句法分析 | 词语之间的语法结构关系 | 成分句法分析、依存句法分析 |
| 语义分析 | 语言单位的意义及其组合 | 词义消歧、语义角色标注、指代消解 |
| 语用/篇章分析 | 结合语境与意图理解语言的使用 | 篇章关系、对话管理、意图识别 |
为什么自然语言这么难
- 普遍存在的歧义："我要炒菜"中的"炒菜"可以是菜名也可以是动作；"咬死了猎人的狗"至少有两种句法结构；
- 高度依赖语境与常识："这本书很重，它搬不动"与"这箱子很重，它搬不动"中的"它"指谁，需要世界知识；
- 语言创造性与不规则性：新词、隐喻、反语、省略层出不穷；汉语还缺少天然分词界限、词义灵活；
- 多语言、多文化差异：语序、形态、表达方式千差万别，同一概念的语言编码各不相同。
以"人工智能正在深刻地改变世界"为例：
词法层：人工智能 / 正在 / 深刻 / 地 / 改变 / 世界（分词与词性）；
句法层：主语"人工智能"—状语"正在深刻地"—谓语"改变"—宾语"世界"；
语义层：谓词"改变"的施事是人工智能、受事是世界；
语用层：在科技报道中，这句话表达作者对 AI 影响力的肯定态度。
机器要"理解"这句话，必须在这些层次上层层推进。
发展的三次范式
理性主义：规则驱动
早期 NLP 以人工编写的语法规则与词典为核心，试图让机器"按语言学规则"理解语言。机器翻译曾因仅凭词典替换而失败（著名的"the spirit is willing but the flesh is weak"被来回翻译成"酒是好的，肉是坏的"一类笑谈），规则系统在真实语言的复杂性面前极其脆弱。
经验主义：统计模型
随着语料库与算力发展，NLP 转向数据驱动：N-gram 语言模型、隐马尔可夫模型（分词、词性标注）、最大熵、条件随机场（CRF）、统计机器翻译（IBM 模型、短语模型）成为主流。系统不再手写规则，而是从大规模语料中统计概率。
表示学习：词向量与神经模型
Word2Vec（2013）把词映射为稠密向量，使语义可计算（向量空间中"国王−男人+女人≈女王"）；RNN/LSTM 的 seq2seq 模型与注意力机制大幅提升了机器翻译等任务，神经网络成为 NLP 的核心工具。
预训练大模型：Transformer 与 LLM
2017 年 Google 提出 Transformer；2018 年 BERT、GPT-1 开启"预训练—微调"范式；此后模型规模急剧扩大，GPT 系列、各类大语言模型展现出少样本学习、对话、推理等通用能力，NLP 进入大模型时代。
语言模型的演进
语言模型（Language Model，LM）是 NLP 的基石，它给出任意一个词序列出现的概率 P(w1, w2, …, wn)，从而判断句子是否通顺、并预测下一个词。语言模型的演进几乎就是 NLP 三十年技术史的主线。
N-gram：统计语言模型
按链式法则，整句概率等于各词条件概率之积。为缓解数据稀疏，引入马尔可夫假设：一个词只依赖它前面的 n−1 个词，于是：
n=1 为一元模型（unigram），n=2/3 为二元/三元模型。N-gram 简单有效，至今用于输入法、语音识别打分；但无法捕捉长距离依赖，且维度随词表爆炸，需要平滑技术处理未登录组合。
词向量：让语义可计算
2013 年的 Word2Vec 用分布式假设（"上下文相似的词，意义也相似"）把每个词训练成几百维的稠密向量，带来革命性的语义代数：
相似词在向量空间中聚类，语义关系变为向量运算。其后 GloVe、FastText、上下文相关的 ELMo 不断发展。
Transformer：注意力改变一切
2017 年论文《Attention Is All You Need》提出 Transformer，完全抛弃循环结构，只用自注意力机制（Self-Attention）建模序列：
每个词的查询向量 Q 与所有词的键向量 K 计算相关性权重，再对各词的值向量 V 加权求和，一步即可捕捉任意距离的依赖。它具有三大优势：可高度并行训练（不像 RNN 必须逐词推进）、长距离依赖建模强、多头机制可同时关注多种语义关系。
预训练模型与"预训练—微调"范式
- 编码器路线（BERT 类）：通过"掩码语言模型"（遮住词让模型猜）预训练，产出深度双向表示，擅长理解类任务，微调后用于分类、实体识别、问答抽取；
- 解码器路线（GPT 类）：自回归地预测下一个词，规模从亿级参数一路扩展到千亿级，是 ChatGPT 等大语言模型的底座；
- 编码器—解码器路线（T5、BART）：擅长翻译、摘要等输入到输出的转换任务。
基础分析任务
| 任务 | 目标 | 说明 |
|---|---|---|
| 中文分词 | 把连续汉字切分为词序列 | 汉语没有空格，"研究生命的起源"可切为"研究/生命/的/起源"，歧义切分需统计与词典协同（最大匹配、HMM、CRF、神经网络）。 |
| 词性标注 | 标注每个词的词性 | 名词、动词、形容词……为后续句法分析提供基础。 |
| 命名实体识别 NER | 识别人名、地名、机构名等 | "在<北京>的<清华大学>演讲"中识别地点与机构；序列标注问题，BERT+CRF 是经典方案。 |
| 句法分析 | 揭示句子的语法结构 | 成分分析构造短语树；依存分析建立"主谓宾定状补"的词间依存弧。 |
| 词义消歧 | 确定多义词在语境中的义项 | "银行"在"河边"与"取钱"语境中分别指河岸与金融机构。 |
| 指代消解 | 确定代词指向哪个实体 | "小明把书借给小红，因为<他>很喜欢<它>"中"他""它"的归属。 |
| 关系抽取 | 识别实体间语义关系 | 是构建知识图谱的关键工序（第 2 章）。 |
在大模型时代，这些传统"流水线任务"不再需要各自独立训练模型：一个大模型通过提示（prompt）即可端到端地完成分词、抽取、翻译、摘要，流水线趋于消融，但语言学分析知识仍是理解模型行为的基础。
典型应用
机器翻译
从规则翻译、统计机器翻译（SMT）到神经机器翻译（NMT）：编码器读入源语言句子形成语义表示，解码器逐词生成译文，注意力机制让译文每个词都能"回看"源句相关部分。
问答与信息检索
搜索引擎根据查询返回文档；问答系统进一步从文档中抽取或生成精确答案；检索增强生成（RAG）把外部知识库检索结果交给大模型组织回答，显著降低幻觉。
情感分析
判断评论、舆情的褒贬极性与情绪类别，是电商运营、金融舆情、品牌监测的基础能力。
自动摘要
抽取式（挑选关键句）与生成式（理解后重新组织）两条路线，大模型使生成式摘要成为主流。
对话系统
分为任务型（订机票、查天气，有明确流程槽位）与开放域闲聊；语音助手与智能客服是其落地形态。
文本生成与 AIGC
写作、代码生成、报告撰写、营销文案；结合扩散模型还可实现"图文一体"的内容生成。
大语言模型时代
当模型参数、训练数据和算力同步跨越阈值，语言模型呈现出令人意外的能力变化，研究者称之为规模效应（Scaling Law）与涌现能力（Emergent Abilities）：在小模型上表现平平的任务（多步推理、指令遵循、代码生成），当规模超过某个临界点后性能陡然提升。
关键机制与方法
- 预训练 + 指令微调 + 人类反馈强化学习（RLHF）：先在海量语料上自监督学习语言规律，再用指令数据对齐任务格式，最后依据人类偏好进行强化学习，使模型"有用、诚实、无害"；
- 上下文学习（In-Context Learning）：不必更新参数，仅通过提示中给出的示例与说明，模型就能完成新任务（零样本、少样本）；
- 思维链（Chain-of-Thought）：引导模型"先写推理步骤、再给结论"，显著改善数学与逻辑题表现；
- 检索增强生成（RAG）：先检索权威资料再生成答案，把"会说"与"有据可查"结合起来；
- 智能体化（LLM Agent）：让大模型规划任务、调用工具（搜索、计算器、代码执行），在闭环中完成复杂目标——与第 10 章的 Agent 思想深度合流。
- 幻觉（Hallucination）：模型会流畅地编造看似合理却与事实不符的内容，在医疗、法律等高风险领域尤为致命；
- 知识更新成本高：模型知识冻结在训练截止日，重新训练代价巨大，RAG 与持续学习是主要缓解手段；
- 可解释性与对齐：模型为何这样回答、如何确保其价值观与人类一致，仍是开放问题；
- 能耗、版权与偏见：训练资源消耗、训练数据的知识产权与社会偏见问题亟待治理。
从符号规则到统计概率，从词向量到注意力，再到通用大模型，NLP 的历程折射出整个人工智能"结构主义—经验主义—二者融合"的大趋势：语言这座人类智能的最后堡垒之一，正在被层层打开。