图解DeepSeek技术
内容简介
本书以通俗易懂、大量图解的方式剖析了DeepSeek的底层技术。
全书分为3章和附录，第1章详细分析推理大模型的范式转变，即从“训练时计算”到“测试时计算”；第2章解读DeepSeek-R1的架构——混合专家（MoE），第3章展示DeepSeek-R1详细的训练过程及核心技术，涵盖基于GRPO的强化学习等；附录分享DeepSeek开源周活动。
本书适合大模型从业人员和对大模型底层技术感兴趣的读者。书中通过丰富的图解将复杂的技术解释得简单、清晰、通透，是学习大模型技术难得一见的参考书。
编辑推荐
1.【短小精悍】2小时搞懂DeepSeek底层技术
2.【通俗图解】近120幅全彩插图通俗解读，不枯燥
3.【内容系统】从推理模型原理到DeepSeek-R1训练
4.【作者资深】大模型领域知名专家Jay & Maarten作品
5.【图解系列】袋鼠书《图解大模型》同系列，广受欢迎
......(更多)
作者简介
Jay Alammar（杰伊·阿拉马尔）
Cohere总监兼工程研究员，知名大模型技术博客Language Models & Co作者，DeepLearning.AI和Udacity热门机器学习和自然语言处理课程作者。
Maarten Grootendorst（马尔滕·格鲁滕多斯特）
IKNL（荷兰综合癌症中心）高级临床数据科学家，知名大模型技术博客博主，BERTopic等开源大模型软件包作者（下载量超过百万次），DeepLearning.AI和Udacity课程作者。
Jay & Maarten撰写的图解系列文章广受赞誉，累计吸引了数百万专业读者的目光。其中，Jay 的“The Illustrated Transformer”“The Illustrated DeepSeek-R1”、Maarten的“A Visual Guide to Reasoning LLMs”在全网热度极高。
Jay & Maarten的第一部作品《图解大模型：生成式AI原理与实战》（Hands-On Large Language Models）是业内广受赞誉的经典。《图解DeepSeek技术》是Jay & Maarten的第二部作品，人民邮电出版社图灵全球独家发布，是解读DeepSeek原理与训练的宝贵读物。
......(更多)
目录
译者序
前言
第 1 章 测试时计算
1.1 什么是推理大模型 1
1.2 什么是训练时计算 3
1.3 什么是测试时计算 7
1.3.1 缩放定律 10
1.3.2 测试时计算的分类 12
1.4 基于验证器的搜索 16
1.4.1 多数投票法 17
1.4.2 Best-of-N 采样 17
1.4.3 基于过程奖励模型的束搜索 20
1.4.4 蒙特卡洛树搜索 21
1.5 调整提议分布 24
1.5.1 提示工程 25
1.5.2 STaR 方法 26
1.6 小结 28
1.7 延伸阅读 29
第 2 章 架构设计 31
2.1 稠密层 31
2.2 MoE 层 34
2.2.1 专家机制 35
2.2.2 路由机制 40
2.2.3 DeepSeekMoE 44
2.3 小结 50
第 3 章 DeepSeek-R1 训练方案 51
3.1 回顾：大模型的训练原理 51
3.2 DeepSeek-R1-Zero 的推理能力 55
3.2.1 示例：推理问题的自动验证 57
3.2.2 DeepSeek-R1-Zero 的完整训练过程 62
3.3 DeepSeek-V3 的效率优化策略 64
3.3.1 多头潜在注意力机制 64
3.3.2 混合精度训练 66
3.3.3 多词元预测 70
3.4 构建 DeepSeek-R1 72
3.5 通过 DeepSeek-R1 蒸馏推理能力 77
3.6 未成功的尝试 78
3.7 基于 GRPO 的强化学习 78
3.7.1 奖励值与优势值 79
3.7.2 KL 散度惩罚项 83
3.7.3 GRPO 目标函数 85
3.7.4 GRPO 算法 86
3.7.5 GRPO 参考实现 87
3.8 小结 87
附录 DeepSeek 开源周 89
......(更多)
读书文摘
......(更多)
