全部展开
物理引擎原理
USD 场景系统
强化学习
学习资源
阶段 1
基础环境与架构认知
1–2 周
理解 Isaac Sim 在 NVIDIA 生态中的定位,掌握 Omniverse 平台架构,搭建可运行的开发环境。
Omniverse 平台架构
Kit 框架、扩展系统、Nucleus 服务器、连接协议
核心原理
环境安装与配置
Docker / 本地安装、GPU 驱动、Python 扩展绑定
动手实践
USD 场景格式
Pixar USD 格式、层叠合成、Prim 层次结构
核心原理
Python API 入门
omni.isaac.core、世界初始化、基本场景操作
动手实践
阶段 2
物理仿真原理深入
2–3 周
掌握 PhysX 引擎的刚体动力学、碰撞检测、关节约束等核心物理原理,理解仿真精度与性能的权衡。
PhysX 刚体动力学
欧拉积分、碰撞检测(BVH/GJK)、碰撞响应
物理原理
关节约束与控制器
约束求解器、PD 控制器参数、驱动模式
物理原理
摩擦与接触模型
静/动摩擦、接触法线力、表面材质参数
物理原理
仿真步长与稳定性
时间步长选择、数值稳定性、GPU 并行加速
性能原理
阶段 3
机器人建模与运动控制
2–3 周
从 URDF/MJCF 导入到运动学求解,理解机器人在仿真中的完整建模流程及传感器模型。
机器人模型导入
URDF/MJCF 转 USD、惯性参数、碰撞体简化
建模原理
运动学求解
正运动学、IK 求解器(Lula/RMPflow)、工作空间
控制原理
传感器仿真原理
光线追踪相机、激光雷达光线投射、IMU 噪声模型
传感器原理
ROS2 集成
话题桥接、时钟同步、Action Graph 节点
系统集成
阶段 4
强化学习与 Isaac Lab
3–4 周
深入 Isaac Lab 框架,理解并行环境仿真、奖励设计、策略迁移(Sim-to-Real)的完整流程与原理。
并行环境原理
GPU 向量化仿真、环境实例化、批量物理步进
核心原理
Task 框架与奖励设计
Observation/Action 空间、奖励塑形、终止条件
RL 原理
Sim-to-Real 迁移
域随机化、物理参数摄动、感知噪声注入
迁移原理
RL 算法集成
PPO/SAC 接口、RSL-RL/RL-Games 框架、训练监控
算法实践
阶段 5
渲染原理与高级应用
2–3 周
理解 RTX 光线追踪渲染管线、合成数据生成原理,以及面向感知训练的数据工厂构建。
RTX 渲染管线
光线追踪原理、全局光照、材质 PBR 模型
渲染原理
Replicator 数据生成
随机化场景、标注生成(BBox/分割/深度)、数据集输出
数据原理
自定义扩展开发
Kit 扩展结构、OmniGraph 节点、UI 组件
高级开发
性能分析与优化
Profiler 工具、物理/渲染瓶颈、LOD 策略
工程优化