大模型发展历程

从规则到模型与系统的分支

早期规则系统由人描述词法、句法或业务判断。规则可解释、可控，但自然语言的歧义、例外和表达组合让维护变得困难。数据驱动方法把一部分经验转为统计规律，并不意味着规则从此无用。

阶段或代表节点	上一种方法的瓶颈	新方法改变什么	仍然存在的限制
规则方法	例外与表达组合难以穷举	人明确写出匹配和处理规则	覆盖与维护成本
统计语言模型	手写知识不易扩展	从语料估计条件概率，利用平滑处理稀疏性	有限上下文与稀疏组合
神经语言模型，代表工作 2003	离散计数难以充分共享相似上下文经验	学习连续向量与共享参数	数据、计算与优化成本
Seq2Seq 与 Attention，2014—2015 代表工作	把输入压入固定表示，读取长序列困难	生成时按相关性读取输入位置	循环结构仍限制训练并行
Transformer，2017	循环依赖影响训练并行	用注意力与前馈层组织信息处理	长序列计算与数据质量仍重要
规模化预训练，2018—2020 代表进展	每个任务从头标注和训练成本高	利用自监督目标学习可迁移表示与生成能力	预测能力不保证遵循意图或事实正确
后训练、推理计算与外部系统持续发展	任务行为、复杂推理、新知识和行动各有缺口	分别改善参数、运行过程及工具协作	不是一条唯一配方，也不能相互完全替代

2003、2017 等是便于学习的代表节点，不是每个概念唯一的诞生日期；Attention 早于 Transformer。今天的权限控制、业务校验仍大量依赖明确规则。用 大模型技术栈 ↗ 查看这些方法今天怎样共存。