小课堂目标
定期分享个人心得和所学,尝试建立一套从模型能力、发展史、开发范式逐步走向 AI Infra 的技术地图。
课程内容
目标受众是有 IT、研发、数据、审计或技术管理背景,希望理解 AI 技术边界的从业者。 我会假设听众有一定的工程经验,但不要求有机器学习研究背景。每周定期发布推荐阅读和 2 篇左右的选读(预计时间 20 分钟)。 阅读清单见本页课程日历一节, 长期有效的资源汇总在 资源链接。
课程材料
不定时更新
- 课前阅读:推荐阅读 + 选读,以原始论文和官方文档外链为主;
- 课件:以云文档形式提供下载;
- 勘误与更新:榜单和模型价格变化很快,课件中的时间截面不作为长期事实, 发现错误会在课程材料中标注修正。
课程日历
手机上表格可以左右滑动查看。
| 日期 | 状态 | 课程主题 | 课堂核心问题 | 课前阅读 |
|---|---|---|---|---|
| 下一讲 | 01. 什么样的模型才是好模型?大模型评测技术拆解 | 一个模型的高分究竟说明什么,又没有说明什么? | 推荐阅读:ARC-AGI-3 测试案例、 SWE-bench 审计案例 | |
| 计划中 | 02. 一部不一样的大模型发展史:从联结主义争论讲起 | 今天的大模型,继承了哪一条被反复质疑又复兴的技术路线? | 推荐阅读:Rumelhart、Hinton、Williams 1986; Chomsky V B.F.Skinner | |
| 假期 | 国庆节假期(顺延至 2026-10-09) | — | — | |
| 计划中 | 03. 大模型 Visual Coding 与能力边界 | Visual Coding是对的吗? | 推荐阅读:拆解追溯 GPT-3.5 各项能力的起源; 选读:Visual coding 产品/案例对照 | |
| 计划中 | 04. Sparsity and Precision | 稀疏化和低精度为什么既是模型设计,也是系统设计? | 推荐阅读:Switch Transformer 或 DeepSeek-V3 技术报告节选;选读:FP8 Formats for Deep Learning | |
| 计划中 | 05. AI Infra I:一次请求如何变成第一个 Token | 推理延迟到底花在哪里? | 草案:Prefill/Decode、KV Cache、算子与内存带宽 | |
| 计划中 | 06. AI Infra II:吞吐量不是“多加几张卡” | 服务系统如何在延迟、吞吐和显存之间做调度? | 草案:PagedAttention/vLLM、continuous batching | |
| 计划中 | 07. AI Infra III:模型如何跨 GPU 运行 | Tensor、Pipeline、Data、Expert Parallel 分别解决什么问题? | ||
| 计划中 | 08. AI Infra IV:成本、可靠性与可观测性 | 一个能跑的模型服务,怎样变成可以运营的系统? | 草案:SLO、容量规划、降级、评测回归与成本模型 |
标“草案”的课前阅读会在开课前一周左右确定并更新本页;