大模型技术30讲

第一部分　神经网络与深度学习

第1章　嵌入、潜空间和表征 2

1.1　嵌入 2

1.2　潜空间 4

1.3　表征 4

1.4　练习 5

1.5　参考文献 5

第2章　自监督学习 6

2.1　自监督学习与迁移学习 6

2.2　使用无标签数据 8

2.3　自预测与对比自监督学习 8

2.4　练习 10

2.5　参考文献 10

第3章　小样本学习 12

3.1　数据集与术语 12

3.2　练习 14

第4章　彩票假设 15

4.1　彩票假设的训练流程 15

4.2　实际意义与局限性 16

4.3　练习 17

4.4　参考文献 17

第5章　利用数据来减少过拟合现象 18

5.1　常用方法 18

5.1.1　采集更多数据 18

5.1.2　数据增强 19

5.1.3　预训练 20

5.2　其他方法 20

5.3　练习 21

5.4　参考文献 21

第6章　通过改进模型减少过拟合现象 23

6.1　常用方法 23

6.1.1　正则化 23

6.1.2　选择更小的模型 25

6.1.3　集成方法 26

6.2　其他方法 27

6.3　选择正则化技术 28

6.4　练习 28

6.5　参考文献 28

第7章　多GPU训练模式 30

7.1　训练模式 30

7.1.1　模型并行 30

7.1.2　数据并行 31

7.1.3　张量并行 31

7.1.4　流水线并行 32

7.1.5　序列并行 33

7.2　建议 34

7.3　练习 34

7.4　参考文献 34

第8章　Transformer架构的成功 36

8.1　注意力机制 36

8.2　通过自监督学习进行预训练 37

8.3　大规模参数 38

8.4　轻松并行化 38

8.5　练习 39

8.6　参考文献 39

第9章　生成式AI模型 40

9.1　生成式模型与判别式模型 40

9.2　深度生成式模型的类型 41

9.2.1　能量模型 41

9.2.2　变分自编码器 42

9.2.3　生成对抗网络 43

9.2.4　流模型 43

9.2.5　自回归模型 44

9.2.6　扩散模型 45

9.2.7　一致性模型 46

9.3　建议 47

9.4　练习 47

9.5　参考文献 47

第10章　随机性的由来 48

10.1　模型权重初始化 48

10.2　数据集采样与重排 49

10.3　非确定性算法 49

10.4　不同运行时的算法 50

10.5　硬件与驱动程序 51

10.6　随机性与生成式AI 51

10.7　练习 53

10.8　参考文献 53

第二部分　计算机视觉

第11章　计算参数量 56

11.1　如何计算参数量 56

11.1.1　卷积层 57

11.1.2　全连接层 58

11.2　实际应用 59

11.3　练习 60

第12章　全连接层和卷积层 61

12.1　当卷积核与输入大小相同时 62

12.2　当卷积核大小为1时 63

12.3　建议 63

12.4　练习 63

第13章　ViT架构所需的大型训练集 64

13.1　CNN中的归纳偏置 64

13.2　ViT可以比CNN表现得更好 67

13.3　ViT中的归纳偏置 67

13.4　建议 68

13.5　练习 69

13.6　参考文献 69

第三部分　自然语言处理

第14章　分布假设 72

14.1　Word2vec、BERT和GPT 73

14.2　假设成立吗 74

14.3　练习 75

14.4　参考文献 75

第15章　文本数据增强 76

15.1　同义词替换 76

15.2　词语删除 77

15.3　词语位置交换 77

15.4　句子乱序 77

15.5　噪声注入 78

15.6　回译 78

15.7　合成数据生成 79

15.8　建议 79

15.9　练习 80

15.10　参考文献 80

第16章　自注意力 81

16.1　RNN中的注意力 81

16.2　自注意力机制 83

16.3　练习 84

16.4　参考文献 84

第17章　编码器和解码器风格的

Transformer架构 85

17.1　原始的Transformer 85

17.1.1　编码器 87

17.1.2　解码器 88

17.2　编码器 解码器混合模型 89

17.3　专业术语 89

17.4　当代Transformer模型 90

17.5　练习 91

17.6　参考文献 91

第18章　使用和微调预训练

Transformer 92

18.1　使用Transformer执行分类任务 92

18.2　上下文学习、索引和提示词调优 94

18.3　参数高效的微调方法 97

18.4　基于人类反馈的强化学习 102

18.5　适配预训练语言模型 102

18.6　练习 103

18.7　参考文献 103

第19章　评测生成式大模型 104

19.1　大模型的评测指标 104

19.1.1　困惑度 105

19.1.2　BLEU 106

19.1.3　ROUGE 107

19.1.4　BERTScore 109

19.2　替代指标 110

19.3　练习 110

19.4　参考文献 110

第四部分　生产与部署

第20章　无状态训练与有状态训练 114

20.1　无状态（重）训练 114

20.2　有状态训练 115

20.3　练习 115

第21章　以数据为中心的人工智能 117

21.1　以数据为中心的人工智能与以模型

为中心的人工智能 117

21.2　建议 119

21.3　练习 119

21.4　参考文献 120

第22章　加速推理 121

22.1　并行化 121

22.2　向量化 122

22.3　循环分块 123

22.4　算子融合 123

22.5　量化 124

22.6　练习 125

22.7　参考文献 125

第23章　数据分布偏移 126

23.1　协变量偏移 126

23.2　标签偏移 127

23.3　概念偏移 128

23.4　领域偏移 128

23.5　数据分布偏移的类型 129

23.6　练习 130

23.7　参考文献 130

第五部分　预测性能与模型评测

第24章　泊松回归与序回归 132

第25章　置信区间 134

25.1　定义置信区间 134

25.2　方法 136

25.2.1　方法1：正态近似区间 136

25.2.2　方法2：使用自助法构建

训练集 137

25.2.3　方法3：使用自助抽样法

构建测试集预测结果 139

25.2.4　方法4：使用不同的随机

种子重新训练模型 140

25.3　练习 141

25.4　参考文献 141

第26章　置信区间与共形预测 142

26.1　置信区间和预测区间 142

26.2　预测区间与共形预测 143

26.3　预测区域、预测区间与预测集合 143

26.4　计算共形预测 143

26.5　共形预测示例 145

26.6　共形预测的优点 146

26.7　建议 146

26.8　练习 146

26.9　参考文献 147

第27章　合适的模型度量 148

27.1　标准 148

27.2　均方误差 149

27.3　交叉熵损失 150

27.4　练习 151

第28章　k折交叉验证中的k 152

28.1　选择k值时的权衡考量 153

28.2　确定适当的k值 154

28.3　练习 154

28.4　参考文献 155

第29章　训练集和测试集的不一致性 156

第30章　有限的有标签数据 158

30.1　利用有限的有标签数据提高模型

性能 158

30.1.1　标注更多数据 158

30.1.2　自助抽样数据 158

30.1.3　迁移学习 159

30.1.4　自监督学习 159

30.1.5　主动学习 160

30.1.6　小样本学习 160

30.1.7　元学习 161

30.1.8　弱监督学习 161

30.1.9　半监督学习 162

30.1.10　自训练 163

30.1.11　多任务学习 163

30.1.12　多模态学习 164

30.1.13　归纳偏置 165

30.2　建议 165

30.3　练习 167

30.4　参考文献 167

后记 168

附录　练习答案 169

......(更多)