对象拆分
先把数据集、方法、平台和模型层拆开,避免把不同对象混成一个标签。
一条样本的生命线
从采集到训练使用的路径,用来判断它距离 robot policy 有多近。
01
从关节物体或仿真资产获得 3D 几何
02
估计可动部件和 articulation flow
03
选择可操作接触点
04
生成 6-DoF 末端动作
05
在仿真中训练或评估
06
迁移到真实 Sawyer 机器人执行
数据结构快读
字段为阅读型归纳,具体 schema 以官方文档、loader 和 dataset card 为准。
| 字段 / 概念 | 人的解释 |
|---|---|
point_cloud |
物体表面的 3D 点,是方法理解几何结构的输入。 |
part_mask |
可动部件区域,例如门板、抽屉面或把手。 |
articulation_flow |
每个点沿关节运动方向应该移动的 3D 向量。 |
end_effector_pose |
机器人末端需要到达的位姿和运动方向。 |
示例切片
- 打开柜门:从门板点云预测旋转方向,再确定推拉接触点。
- 拉开抽屉:识别抽屉面可动方向,并生成沿滑轨方向的末端动作。
- 操作微波炉门:把几何运动约束转成机器人末端路径。
- 从仿真关节物体迁移到真实桌面物体。
谱系定位
FlowBot++ 属于仿真/几何操作方法层,离通用 VLA 数据集更远,但能补足数据页里的一个重要问题:机器人不仅需要示范轨迹,也需要理解物体结构和可动约束。
| 层级 | 项目 / 结果 | 组织背景 | 公开规模 | 数据 / 方法形态 | 与当前项目关系 |
|---|---|---|---|---|---|
| Asset / simulation | PartNet-Mobility | UCSD / SAPIEN ecosystem | articulated object assets | object meshes, joints, mobility annotations | FlowBot++ 的关节物体背景来源。 |
| Affordance method | Where2Act | research project | interaction affordance learning | where-to-interact and action proposals | 相邻方法,强调可操作位置。 |
| Articulation method | FlowBot++ | CMU / research team | CoRL 2023 method | 3D articulation flow + projection | 当前页核心对象。 |
| Real robot data | DROID / RH20T | robot data consortia | tens to hundreds of thousands of sequences | real manipulation trajectories | 提供真实轨迹,但不一定显式建模关节几何。 |
价值判断
这里区分官方事实、结构性解释和对相邻项目的定位。
三条结论
用于快速决定这个项目在 atlas 中应该放在哪一层。
深链来源
优先官方页面、论文、代码、数据卡和下载文档。