小课堂目标

定期分享个人心得和所学,尝试建立一套从模型能力、发展史、开发范式逐步走向 AI Infra 的技术地图。

课程内容

目标受众是有 IT、研发、数据、审计或技术管理背景,希望理解 AI 技术边界的从业者。 我会假设听众有一定的工程经验,但不要求有机器学习研究背景。每周定期发布推荐阅读和 2 篇左右的选读(预计时间 20 分钟)。 阅读清单见本页课程日历一节, 长期有效的资源汇总在 资源链接。

课程材料

不定时更新

课程日历

手机上表格可以左右滑动查看。

日期 状态 课程主题 课堂核心问题 课前阅读
下一讲 01. 什么样的模型才是好模型?大模型评测技术拆解 一个模型的高分究竟说明什么,又没有说明什么? 推荐阅读:ARC-AGI-3 测试案例、 SWE-bench 审计案例
计划中 02. 一部不一样的大模型发展史:从联结主义争论讲起 今天的大模型,继承了哪一条被反复质疑又复兴的技术路线? 推荐阅读:Rumelhart、Hinton、Williams 1986; Chomsky V B.F.Skinner
假期 国庆节假期(顺延至 2026-10-09) — —
计划中 03. 大模型 Visual Coding 与能力边界 Visual Coding是对的吗? 推荐阅读:拆解追溯 GPT-3.5 各项能力的起源; 选读:Visual coding 产品/案例对照
计划中 04. Sparsity and Precision 稀疏化和低精度为什么既是模型设计,也是系统设计? 推荐阅读:Switch Transformer 或 DeepSeek-V3 技术报告节选;选读:FP8 Formats for Deep Learning
计划中 05. AI Infra I:一次请求如何变成第一个 Token 推理延迟到底花在哪里? 草案:Prefill/Decode、KV Cache、算子与内存带宽
计划中 06. AI Infra II:吞吐量不是“多加几张卡” 服务系统如何在延迟、吞吐和显存之间做调度? 草案:PagedAttention/vLLM、continuous batching
计划中 07. AI Infra III:模型如何跨 GPU 运行 Tensor、Pipeline、Data、Expert Parallel 分别解决什么问题?
计划中 08. AI Infra IV:成本、可靠性与可观测性 一个能跑的模型服务,怎样变成可以运营的系统? 草案:SLO、容量规划、降级、评测回归与成本模型

标“草案”的课前阅读会在开课前一周左右确定并更新本页;