
你随手拍的一段30秒街边小猫跳上纸箱的视频,现在能直接变成一个‘能摸、能推、能摔’的数字世界了。不是渲染,不是动画,是带重力、有接触、会反弹的真实物理场景——清华和中科大团队联合SparcAI搞出来的OVOW,真把这事做成了。它不靠激光雷达,不用动捕服,连专业相机都不需要,就用你iPhone里最普通的一段单目视频,就能重建出每个物体的真实尺寸、逐帧位姿、地面支撑关系,甚至自动修正悬浮和穿透。这不是又一个‘看起来很像’的3D模型,而是能塞进Unity、PyBullet、Isaac Gym跑仿真的4D Mesh世界。

过去做仿真,要么请人一帧帧建模,要么用昂贵设备扫全场,成本高、门槛高、周期长。OVOW反着来:先让视觉大模型看懂视频里谁在动、怎么动、是不是变形;再补全被遮挡的部分,恢复每个物体的封闭网格;最后用物理常识‘校准’——比如地面在哪、重力朝哪、箱子为啥没穿地板、猫尾巴为啥甩得自然。整个流程没训一个新大模型,全是搭积木式复用现有视觉基础模型,却第一次把‘视频→几何→物理’这条链跑通了。
这背后不是炫技,而是一场静悄悄的范式迁移。吴佳俊说机器要学世界的‘源代码’,陈博远讲AI正从‘预测下一个词’转向‘预测下一个物理状态’,OVOW正是这个方向落地的第一块硬骨头。它不追求电影级画质,但要求每一帧的位移都符合牛顿定律,每一次碰撞都满足动量守恒。当机器人要在真实厨房里叠毛巾、倒牛奶、开柜门时,真正卡脖子的从来不是‘会不会说话’,而是‘知不知道手往前伸1cm,杯子会不会翻’。这段手机视频,可能就是下一代具身智能的考场起点。
别小看这30秒——它正在悄悄改写AI学“动手”的方式。以前训练机器人抓杯子,得在实验室搭一模一样的厨房,铺满传感器,再让机械臂试错上千次;现在,你拍下邻居奶奶用搪瓷杯倒热水、水汽升腾时杯壁微微起雾的片段,OVOW就能抽取出杯子的真实厚度、热胀冷缩导致的微形变趋势、甚至水滴沿杯沿滑落的加速度曲线。这些不是猜测,是视频里光流+阴影+反光变化推出来的物理约束,清华团队在arXiv预印本(2405.12876)里明确写了:在YCB-Video和EgoObjects两个真实场景数据集上,OVOW重建的物体位姿误差比SOTA方法低37%,穿透错误率下降91%。
更实际的是,它正快速下沉到一线场景。深圳一家做仓储机器人的创业公司,上周刚用OVOW把工人卸货的手机录像转成可仿真的3D环境,原来要两周建模的货架堆叠逻辑,现在4小时就跑通了碰撞测试;杭州某特殊教育机构用它把自闭症儿童拍的积木搭建视频,实时生成带力反馈的VR练习空间——孩子推倒塔楼时,系统不是简单播放动画,而是按真实木块密度、摩擦系数、重心偏移算出每一块的翻滚轨迹,连底座那块积木因胶痕粘连导致的延迟倾倒都模拟出来了。
当然,它还不完美。目前对透明物体(比如玻璃杯)、快速运动模糊(猫甩尾巴末梢)、或者多层半透材质(纱帘后的人影)处理仍有抖动。但团队在GitHub开源的v0.2版本里,已经支持用户上传视频后,用滑块手动微调重力方向或地面倾斜角——这不是妥协,是把“物理常识”真正交还给人。就像当年Photoshop刚出时,专业人士嫌它不如专业排版软件精准,可谁也没想到,它先让美工、老师、小店主都成了图像世界的“第一责任人”。OVOW也在做同一件事:不等AI学会所有物理定律,先让人用最熟悉的工具,教会它世界本来的样子。
嘉正网提示:文章来自网络,不代表本站观点。