具身智能学习框架与资源指南

适用读者：希望系统学习机器人学习、VLA 与世界动作模型，具备或正在补充 Python 基础的学习者。
本文整理概念层级、技术联系、系统教程、博客、代码框架与实践路线。

1. 学习主线

建议按下面的顺序建立知识框架：

深度学习 → Transformer → 模仿学习 → 扩散／Flow Matching → VLM／VLA → 世界模型／WAM

强化学习是一条并行线，可以与模仿学习、VLA 和世界模型结合。若主要研究人形机器人运动控制，应更早深入强化学习、动力学与仿真。

2. 概念层级与关系

2.1 先分清概念所属层级

2.2 Transformer、扩散与模仿学习怎样组合

它们分别回答不同的问题：

• Transformer：网络采用什么结构？
• 扩散／Flow Matching：怎样表示和生成具有多个可行模式的动作分布？
• 模仿学习：策略从什么数据、通过什么学习方式获得行为？

因此，一个系统可以使用 Transformer 作为动作生成器，通过条件扩散生成动作序列，并用专家示范进行模仿学习训练。

Diffusion 就是“扩散”，不需要作为两个独立方向学习。

Flow Matching 建议一起补充。 它与扩散紧密相关，是理解 π₀、SmolVLA 的关键。学习时要区分速度预测和标准 DDPM 中常见的噪声预测目标，不能只根据“从噪声生成动作”就把所有方法视为同一种训练过程。

参考：MIT 课程与讲义、π₀ 官方博客、SmolVLA 官方博客。

2.3 VLM、VLA、世界模型与 WAM

以下是便于理解的接口简化，不是各类模型唯一的形式定义：

以“拿起红色杯子”为例：

1. 相机和机器人状态提供当前观测。
2. VLM 帮助理解“红色杯子”和任务指令。
3. VLA 生成抓取动作。
4. 控制器执行动作，环境发生变化。
5. 新观测进入策略，形成闭环。
6. 世界模型可以预测候选动作的后果；WAM 进一步将未来预测与动作生成联系起来。

需要注意：

• VLA 不要求使用扩散。原始 OpenVLA 预测离散动作 token，π₀ 使用连续动作的 Flow Matching。
• 世界模型可以服务于规划或模型式 RL；世界模型本身与策略承担不同职责。
• 视频预测能力不自动等于机器人控制能力。
• VLA 与 WAM 的范围可以重叠，不宜理解为严格互斥的类别或必然的替代关系。

参考：VLM 入门、OpenVLA、π₀、DreamerV3、OpenWAM。

2.4 模仿学习与强化学习

二者可以结合，例如“示范预训练 → RL 后训练”。扩散策略和 VLA 也可以成为 RL 的优化对象。WAM 的名称本身不说明它采用了强化学习。

参考：Robot Learning: A Tutorial、Stanford CS224R。

2.5 WAM 的术语边界

本文将 WAM 理解为 World Action Model／World–Action Model，世界动作模型。

其用法仍在演进：

• NVIDIA 的 WAM 说明 强调联合视频—动作扩散模型。
• DreamZero 展示了基于预训练视频扩散骨干的世界—动作联合建模。
• OpenWAM 研究联合生成、先视频后动作、先动作后视频和解耦等方式，并包含独立的前向／逆动力学组件。

因此，不应把某一个项目的具体结构当作全部 WAM 的定义，也不能从个别实验推出 WAM 在所有任务上都优于 VLA。

3. 代表方法对照

下表描述原始代表方法；后续变体可能改变动作表示、训练目标和推理方式。

推荐阅读顺序：

ACT → Diffusion Policy → OpenVLA → π₀ → SmolVLA → DreamZero／OpenWAM

DreamerV3 可作为“世界模型与强化学习如何结合”的独立支线阅读。

4. 系统教程与博客：21 份分层资料

4.1 深度学习、Transformer 与机器人基础

01.《动手学深度学习》

• 链接：中文在线教材
• 类型：中文教材、代码与练习。
• 定位：深度学习主教材。
• 前置：Python、基本线性代数。
• 推荐顺序：预备知识 → 多层感知机 → 优化 → CNN → 注意力与 Transformer。
• 阶段产出：独立完成 PyTorch 训练循环，跟踪张量维度，实现小型注意力层。
• 使用建议：按目标选读，不必先读完全书；代码环境按教材说明配置。

02. Harvard NLP：The Annotated Transformer

• 链接：逐行实现教程
• 类型：英文代码教程。
• 定位：Transformer 实现主线。
• 前置：PyTorch、注意力基础。
• 重点：Q/K/V、多头注意力、位置编码、mask、训练流程。
• 阶段产出：解释 batch、tokens、channels 的变化，以及因果 mask 和其他 mask 的作用。
• 使用建议：以理解结构为主，旧训练依赖按需适配。

03. Modern Robotics

• 链接：官方视频与教材入口
• 类型：英文教材配套视频。
• 定位：机器人基础主线。
• 前置：线性代数、微积分。
• 重点：配置空间、刚体变换、正逆运动学、Jacobian，再按任务补控制。
• 阶段产出：区分关节位置、末端位姿、速度和力矩，说明动作使用哪个坐标系。
• 使用建议：与机器人学习并行，避免只理解网络而忽略动作接口。

4.2 扩散模型与 Flow Matching

04. 李宏毅：机器学习 2023

• 链接：课程、视频与课件
• 类型：中文视频课程。
• 定位：生成模型的中文辅助材料。
• 前置：基本神经网络知识。
• 推荐选看：Self-attention、3 月 24 日图像生成、4 月 7 日 Diffusion 原理剖析。
• 阶段产出：区分训练加噪、模型预测目标和推理去噪。
• 使用建议：固定年份便于连贯学习，所列课程不作为最新模型榜单使用。

05. MIT 6.S184：Flow Matching and Diffusion Models

• 链接：课程主页；课程讲义
• 类型：英文课程、讲义、视频与练习。
• 定位：扩散与 Flow Matching 的理论主线。
• 前置：概率、微积分；ODE／SDE 可随课程补充。
• 重点：概率路径、Flow Matching、score matching、guidance。
• 阶段产出：分别写出噪声预测和速度预测的训练目标，完成一个 toy 生成实验。
• 使用建议：以自洽的讲义为主，视频与代码练习辅助。

06. Yang Song：Generative Modeling by Estimating Gradients of the Data Distribution

• 链接：作者博客
• 类型：英文技术博客。
• 定位：score-based 生成模型的直觉与理论补充。
• 前置：概率密度、梯度。
• 重点：score、多噪声尺度和采样。
• 阶段产出：理解 score 是对数密度对输入的梯度，并将它与去噪模型联系起来。
• 使用建议：适合在入门 DDPM 后阅读，再接连续时间方法。

07. Lilian Weng：What are Diffusion Models?

• 链接：技术博客
• 类型：英文长篇博客。
• 定位：DDPM 公式与术语参考。
• 前置：概率、基本生成模型知识。
• 推荐顺序：forward／reverse process → 训练目标 → guidance，再按需查 latent diffusion。
• 阶段产出：建立可查阅的 DDPM 公式和概念索引。
• 使用建议：文章最初发表于 2021 年，有后续更新；用来学基础，不作为最新模型列表。

4.3 机器人学习、模仿学习与强化学习

08. Robot Learning: A Tutorial

• 链接：教程原文
• 类型：英文系统教程，2025 年发布。
• 定位：贯穿机器人学习的主线资料。
• 前置：基本概率与深度学习。
• 推荐顺序：问题形式化 → BC／IL → 动作生成 → 通用语言条件机器人模型。
• 阶段产出：解释观测、动作、策略、数据与评估的职责，并结合 LeRobot 实例理解完整流程。
• 使用建议：先通读建立地图，再随各阶段反复查阅。

09. Stanford CS224R：Deep Reinforcement Learning

• 链接：课程主页及历年入口
• 类型：英文大学课程。
• 定位：模仿学习与深度 RL 的进阶主线。
• 前置：深度学习、概率和 MDP 基础。
• 推荐顺序：imitation learning → policy gradient → Actor-Critic → model-based／offline RL。
• 阶段产出：比较 BC、在线 RL 和离线 RL 的数据来源与优化目标。
• 使用建议：选择固定年份连贯学习；主页提供历年入口，2025 版有公开视频。

10. Datawhale：EasyRL

• 链接：中文教程仓库
• 类型：中文教材与代码。
• 定位：强化学习中文入门辅助。
• 前置：概率、基本神经网络。
• 推荐章节：强化学习基础、MDP、策略梯度、PPO、Actor-Critic、模仿学习。
• 阶段产出：理解奖励、价值函数与策略的不同作用，运行简单控制实验。
• 使用建议：建立基础后，再接 CS224R 与机器人任务。

11. Hugging Face Robotics Course

• 链接：课程入口；课程组织页与发布进度
• 类型：英文入门课程。
• 定位：机器人学习生态与基本直觉。
• 前置：基本 Python。
• 阶段产出：理解机器人学习的问题、工具与学习路径。
• 使用建议：核查时仍在逐步发布，组织页的 RL、IL 和 Foundation Models 单元标为 Coming Soon；应与完整教程及官方文档配合。

4.4 VLM 与 VLA

12. Hugging Face：Vision Language Models Explained

• 链接：VLM 入门博客
• 类型：英文技术博客与示例。
• 定位：VLM 结构入门。
• 前置：Transformer、视觉编码器。
• 重点：视觉编码、连接器、语言主干和微调。
• 阶段产出：画出图像与语言进入模型的路径，运行一次图文推理。
• 使用建议：这是 2024 年入门文章，页面还提供 2025 年更新入口；先学结构，再看更新。

13. OpenVLA

• 链接：官方项目
• 类型：论文项目、模型与训练代码。
• 定位：理解 VLM 如何转为机器人策略。
• 前置：VLM、动作表示、微调。
• 重点：Prismatic VLM、图像 token、离散动作 token、反归一化、LoRA。
• 阶段产出：解释原始 OpenVLA 的输入到动作输出路径。
• 使用建议：本文讨论 2024 年原始模型，不概括全部后续变体。

14. Physical Intelligence：π₀

• 链接：官方博客
• 类型：作者技术博客与论文入口。
• 定位：连续动作 VLA 的代表阅读。
• 前置：VLM、Flow Matching、action chunk。
• 重点：预训练 VLM 的知识继承、连续动作专家、跨机器人数据与后训练。
• 阶段产出：比较原始 OpenVLA 的动作 token 与 π₀ 的连续 Flow Matching。
• 使用建议：以原始 π₀ 做方法对比，不将其视为最新部署方案。

15. Hugging Face：SmolVLA

• 链接：官方博客
• 类型：作者博客与实践入口。
• 定位：将 VLA 概念连接到 LeRobot 工程实践。
• 前置：VLM、Flow Matching、LeRobot。
• 重点：Main Architecture、动作专家、动作块与异步推理。
• 阶段产出：理解语义主干与动作专家的分工，尝试已有模型推理或小规模适配。
• 使用建议：算力需求按官方硬件指南和具体训练设置核对。

4.5 策略学习与工程实践

16. LeRobot 官方文档

• 链接：文档主页
• 类型：机器人学习框架教程。
• 定位：数据、训练、部署与评估的工程主线。
• 前置：PyTorch、基本机器人数据概念。
• 推荐顺序：Dataset → ACT → 训练与部署 → SmolVLA。
• 阶段产出：完成数据读取、策略训练、闭环评估、保存与加载。
• 使用建议：无硬件时可以使用已有数据和仿真；锁定匹配的代码与文档版本，避免混用新旧 CLI 命令。

17. ACT／ALOHA

• 链接：官方项目与实现入口
• 类型：论文项目与代码。
• 定位：模仿学习和动作分块的代表实践。
• 前置：Transformer、BC，适当补充 VAE 基础。
• 重点：action chunking、CVAE、temporal ensembling、仿真实现。
• 阶段产出：解释一次预测多步动作怎样帮助处理长序列任务。
• 使用建议：ACT 使用 Transformer 与 CVAE；不要因为它使用 Transformer 就直接将其归为标准 VLA。

18. Diffusion Policy

• 链接：官方项目、代码与 Notebook
• 类型：论文项目与可运行 Notebook。
• 定位：从条件扩散过渡到机器人动作生成。
• 前置：BC、条件扩散。
• 推荐顺序：state-based Notebook → vision-based Notebook → Push-T 与 receding-horizon control。
• 阶段产出：理解动作的多个可行模式，以及预测动作序列与实际执行片段的关系。
• 使用建议：它生成动作，本身不要求语言输入，也不要求预测未来图像。

4.6 世界模型与 WAM

19. DreamerV3

• 链接：官方项目
• 类型：论文项目与代码。
• 定位：理解世界模型怎样服务于 RL。
• 前置：Actor-Critic、潜变量模型。
• 重点：从真实轨迹学环境，在隐空间想象中改善策略。
• 阶段产出：区分环境模型、策略与奖励的职责。
• 使用建议：它是模型式 RL 的代表，不等于全部 WAM，也不是学习 WAM 的硬性先修。

20. DreamZero

• 链接：官方项目
• 类型：研究项目与代码入口。
• 定位：世界预测和机器人动作联合建模的代表阅读。
• 前置：视频扩散、VLA、动力学。
• 重点：预训练视频模型与动作的连接、视频—动作对齐、闭环部署与评测设置。
• 阶段产出：理解未来世界与动作一起预测的具体实现。
• 使用建议：研究结果依赖任务、数据和评测条件，不直接外推为所有 WAM 都优于 VLA。

21. OpenWAM

• 链接：官方项目与框架说明
• 类型：研究框架与项目说明。
• 定位：比较不同世界—动作建模方式。
• 前置：视频生成、Flow Matching、VLA。
• 重点：joint、video-then-action、action-then-video、decoupled，以及独立的逆动力学 IDM／前向动力学 FDM。
• 阶段产出：画出不同生成顺序与组件之间的接口。
• 使用建议：项目标注 v1 为 2026 年 10 月 6 日，属于前沿阅读，学习资料成熟度低于基础课程。

5. 代码框架如何选择

模型类别、学习范式、软件框架和仿真环境分别负责不同层面。

机械臂方向的最小组合：

PyTorch 基础 + LeRobot 数据和策略流程 + 一个仿真任务 + 对应官方 Notebook。需要算法对照时再补 robomimic，需要复杂操作仿真时再选 ManiSkill。

运动控制方向的最小组合：

机器人运动学与控制 + MDP／PPO／SAC + Isaac Lab。先跑通一个连续控制任务，再研究域随机化与 Sim-to-Real。

上述选择按任务职责给出，没有对框架做性能排名。

6. 阅读论文与复现时的检查清单

每篇论文先记录以下六项，再评估其贡献：

1. 输入输出：观测包含哪些信息？动作是什么表示？是否预测动作块？
2. 数据与监督：使用机器人示范、视频、语言、奖励，还是这些数据的组合？
3. 训练目标：模型预测动作 token、噪声、速度、未来状态，还是价值？
4. 网络结构：视觉编码器、语言主干、动作头或视频模型如何连接？
5. 推理与控制：推理频率、动作执行片段、反馈和时序对齐如何处理？
6. 评估条件：任务、初始状态、数据量、成功判定和随机种子是否可比较？

常见理解偏差：

• 将所有 Transformer 机器人策略都视为 VLA。
• 将所有 VLA 都视为扩散策略。
• 将 Diffusion Policy 理解为未来图像生成器。
• 将 Flow Matching 和标准 DDPM 视为完全相同的训练目标。
• 将世界模型直接等同于策略。
• 将 WAM 的名称直接等同于 RL。
• 仅根据训练损失判断闭环行为。
• 将不同任务、数据或评估设置下的成功率直接排名。
• 混用旧博客命令和新版本框架接口。

7. 最少主线资料

先收藏并按需推进下面六项：

1. 动手学深度学习：补深度学习与注意力基础。
2. Robot Learning: A Tutorial：建立机器人学习总框架。
3. LeRobot：跑通工程流程。
4. Diffusion Policy：理解连续动作生成。
5. MIT 6.S184：深入扩散与 Flow Matching。
6. Stanford CS224R：深入模仿学习与强化学习。

机器人基础同步参考 Modern Robotics；VLA 与 WAM 项目在完成首个闭环实验后加入。