文：富充

人头攒动的2025WRC（世界机器人大会）上，不乏各种酷炫的Demo展示，可在一众敲锣打鼓的机器人表演中，具身智能公司星海图展位上，机器人却在安静地执行铺床任务。

一些围观者流露出疑惑的表情。他们难以理解，为何这个对人类来说极其简单的工作，需要大费周章地展示。

“铺床是个集各种难度于一身的长程任务。考验了机器人柔性物体操作、模型的全身控制等能力，以及在各种杂乱床面上完成整理的泛化性。”星海图首席科学家、清华交叉信息学院助理教授赵行在展会现场对《智能涌现》说。

这时，工作人员将被子随机弄乱，一位观众下达了铺床的指令，机器人随即开始工作。

看似简单的工作，机器人却调用了全身23个自由度，往往要分三步实现：它先通过底盘移动至最佳作业位；随后升降、俯仰躯干，调整合适的工作角度；最后用机械臂抓住被子，外拉、展平。

三个步骤间也相互影响：机器人如果一开始没走到位，就会抓不住被子；即使走到位，如果被子在床很中间的位置，躯干就得特别往前倾去“够”到；抓取时，由于被子较重，不能仅靠臂拉动时，机器人还要通过全身位移去拉平。

这场演示的背后，是星海图新发布的 VLA（Vision-Language-Action，视觉-语言-动作）端到端基础模型G0。

谈到训练这个模型的原因，赵行向我们介绍，之前星海图用的小模型，虽然能做展示，规模化应用的效果却不好，想获得真正的泛化能力，还是要做大模型。

WRC上星海图展示的机器人铺床Demo，图片：采访人提供

当前，具身智能仍处于“非共识阶段”。大语言模型的 Scaling Law已被验证，说明数据量变会引起模型能力的质变；但这一规律能否在机器人领域复现，尚待答案。

这也是为何赵行将过去十个月的主要精力，投入到数据工程的原因。

数据工程包括采集员的培训与考核，真机遥操作采集，以及数据上传、清洗、标注等等一系列流程，是典型的“脏活累活”。因为整个链路尚未形成标准化流程，赵行还经常处理一线采集员的反馈，过去十个月工作强度很大。

一位在星海图工作的人士告诉我们：“赵老师是我们的加班搭子，经常半夜还能看到他。”

在他看来，具备泛化能力的基础模型离不开扎实的真机数据采集与清洗。与其把时间精力花在“好看”的展示上，不如直面具身智能的根本问题。

随着G0发布，星海图也即将开源在开放世界、真实场景中采集的500小时真机数据集。

赵行希望通过开放数据集，为具身智能行业提供一个高质量基准数据集和评价标准，便于不同团队在相同数据上比较算法、验证效果，从而推动技术的开发与积累。

同时，开源数据集可以大幅缩短从购机到模型部署的开发链条，降低重复采集与标注成本，帮助高校、研究所与企业更快进入实验与迭代阶段。

在2025年7月，《智能涌现》就曾独家报道过星海图接连完成A4、A5轮战略融资的消息。自2025年开启A轮系列融资以来，星海图至今已完成近15亿元人民币融资规模。

此次WRC期间，我们对赵行进行了专访。他以学术与产业的双重视角，分享对于VLA泛化性、世界模型等热门问题的看法。以下内容来自对话，经作者编辑整理。

星海图首席科学家、清华交叉信息学院助理教授赵行，图片由星海图提供

大模型是具身智能泛化性的基础，高质量数据更重要

智能涌现：WRC期间星海图呈现了具身智能铺床的Demo，比起现场很多敲锣打鼓的表演，它显得没那么“Fancy”，最初是怎么决定做这个展示的？

赵行：其实星海图不算是一个很擅长做Demo的公司。比起酷炫的动作，我们更想展示智能的进展。

具体而言，星海图训了VLA的具身大模型G0，同时我们也在写一些技术报告。为此，需要去不同的地方采数据、调模型，这些都是比较扎实的事情。

所以直到WRC开展的前一两周，我们才决定做铺床的Demo。因为铺床是一个把各种难度集中于一身的展示。

展示这个Demo时，用户先通过电视的界面给模型下达铺床的指令；模型接收到这个指令后，就会观察、理解、规划它的任务；在语言规划时，机器人也会同步执行。

这时候，模型会控制机器人全身的23个自由度，这分三步实现动作。

第一步，进行底盘的移动；然后躯干可以升降、俯仰；最后是用机械臂操作物体。

这三个动作其实是相互影响的。如果一开始没走到位，那就抓不住被子；走到位之后，被子如果在床很中间的位置，机器人的躯干就要特别往前倾去“够“到；最后是抓取，往往被子比较重，仅靠臂是拉不动的，机器人还要通过全身的位移去拉平。

所以这个Demo并不是我们精心设计的，但它是和别的展示相比有差异化的。从技术上，它的全身控制、柔性物体操作具备难度，展示了我们VLA端到端大模型的能力。

智能涌现：G0模型的表现如何？它解决了什么样的问题吗？

赵行：基于星海图的开放场景数据集，加上我们提出的三阶段VLA训练框架（跨本体预训练、单本体预训练、后训练），G0模型在平均指标上超越PI 0约20%。（作者注：PI 0为美国具身智能公司Phisical Intelligence研发的机器人控制VLA模型）

此外，我们发现，基于开源数据的跨本体预训练，在基础桌面任务上表现尚可，但是在复杂的全身移动控制任务上表现不佳。

星海图的开放数据集填补了上述空缺，使用这一数据集后，复杂的全身移动任务会有更好表现。这提升了了业内跨本体预训练的效果。

智能涌现：研发G0模型的背景是怎样的？

赵行：去年10月，大概是星海图成立一年的时候，星海图开始训这个模型。

从过去研发中的体会而言，小模型能做展示，但是非常难以规模化应用。因此，我们更希望开发出有泛化性的大模型。

智能涌现：模型的泛化性具体有哪些难点？

赵行：具体来说有三方面。

一是操作对象的不同。比如在一个果盘里抓取，这里有葡萄、有番茄，从纹理、颜色、软硬程度方面都有区别，甚至同一类别的也会出现大小不同的情况。

其次是场景和环境的差异。即便是同一款奶茶，但在不同的门店里制作时，因为周围环境布局的不同，也会影响泛化性。

此外还在于具体的任务和动作。就像在做抓取动作的时候，如果遇到一张很薄的纸放在桌面上，我们很难一把就抓起来，需要先抠边再拿取。这个动作很难用语言去定义。

这些问题是基于编程的算法还没有办法做好的事情，也是阻碍机器人进入各种场景大规模应用的瓶颈。

但对于人类来说，这些动作都是下意识就可以实现的。所以，相比小模型，只有大模型才能达到这种泛化性，这也是我们做大模型的原因。

智能涌现：大语言模型的Scaling Law，讲究数据的量变引起模型能力的质变，所以你们相信它也可以在具身智能模型上复现？

赵行：语言模型已经证明了大模型、大数据是能够做好泛化性的，我觉得这是AI的第一性原理。

但在机器人领域，我们有观测到泛化性的端倪，因此从2024年底决定做具身大模型。

我相信，凑齐了模型结构、算法、数据三个要素之后，具身智能模型也会有像语言模型一样的能力。

我们的G0模型使用的是基于Transformer的训练方式。虽然大家现在对Transformer的框架结构不够满意，我也认为未来会迎来改变，但短期内它的可用性仍然是最强的。

算法是有改变的可能性，这个主要靠聪明的研究员。我觉得这个方面我们团队没有什么问题，可以自己研发，也可以跟进最新的进展。

最后发现，大家都缺失的是数据。

就像Sora让人感到惊艳，但人们发现Sora所用的Diffusion Transformer算法和模型都是以前就有的，只是数据量更大了。这也让更多人相信原来数据更重要。

高质量数据重要，现阶段会亲力亲为数据工程

智能涌现：所以其实过去这十个月的时间，你的工作重点是数据？

赵行：我觉得算是，主要在于推动高质量数据的采集。毕竟现在无法买到现成的机器人数据。

数据采集和科研不一样。科研的话，比如算法的提升，需要的是聪明的大脑，有时候一周没干活但是想到一个非常好的算法，就可以达到效果。

但是数据采集是一个非常基础的工作，需要坚持。

具体的工作非常杂。采集员会带着机器人去不同的场景做数采，但要先对他们进行培训、考试，保证他们能采到高质量数据。

现场采数据的过程中还要解决大量问题，比如机器、网络等突发情况，我也会去协调。采集数据之后还有后续数据的上传、清洗、标注等等。

智能涌现：感觉数采的工作更多是一些基础工作，或者可以被称为“脏活累活”，你都要亲力亲为吗？

赵行：团队的同学很还是很给力的。但是因为这个具身智能这个领域太新了，还没有形成能直接提交给他们的SOP。

大家知道，过去的数据标注产业还是蛮成熟的，可以把数据全部发给一个外包公司。规定好时间、准确率等等就可以等验收了。

但是机器人的数采和硬件相关，也和场景等等相关，整个链路非常长。现阶段没有现成经验，只能自己亲力亲为。

智能涌现：什么样的数据集才能被称为高质量？

赵行：要有真实性，以及需要多样化。

比如说我们同样是打乱桌面上的一些物体，要考虑乱的是否真实。很多团队和公司都在构建数据采集厂，构建的家庭环境窗明几净、一尘不染。但真实环境中，东西乱堆乱放，和数据采集厂完全不一样。所以我们决定去真实环境做数据采集。

其次是否每一次都乱得不一样，这是“乱的多样性”。就像训练大语言模型，需要把整个互联网上的语料全都扒下来。我们在做具身智能模型训练的时候也需要这样，最好是把能考虑到的数据全都采集到，而非专注于某一个任务。

所以，我们定义了五类场景，家庭、酒店、工厂和仓库、超市、餐厅。我们选择的是人类操作比较多的真实场景，去这些地方寻找机器人的用武之地。

当然这也是一个持续发展的过程。目前数据有仿真、真机等不同类型，究竟按照怎样的比例组合是最理想的，我们后续还会投入更多的资源和精力去找到好的“数据配方”（Data Recipe）。

智能涌现：你们从采集的数据中开源500小时数据集，这件事的意义是什么？

赵行：我觉得主要有两个方面。

一是对行业贡献一个高标准的数据集和数据的评价标准，可能会帮助这个领域建立企业标准。

机器人领域，每个研发团队的本体品牌、构型都不一样，执行的任务不同、算法不同，相互之间很难比较。

所以一个开源数据集可以控制其它变量，方便大家去跑不同的算法。这样不仅可以给到我们关于数据集的反馈，也能共同促进领域的进展。

比如，别的团队有一个自己的算法，这个算法在他们采集的数据上跑过后，验证了能力。这个团队也可以在我们开源的数据上跑一跑，通过结果看看算法的最佳实践。

第二点，星海图希望能构建起共同开发者群体。包括高校、研究所、企业等等在内，都能用我们的数据来做实验。

从公司模式上来说，我们既做整机又做智能。所以我们发现用户买到新的机器人之后，通常会经历包括各种参数设置、采数据以及洗数据、培训模型等在内的一整个链条的工作。

我们希望通过开源数据，让大家缩短开发流程，相当于给购买我们机器人的使用者也提供了一套相对应的开发工具。就可以缩减前面的工作。

展台上正在了解遥操技术的观众，图片：采访人提供

VLA范式是工业化路径，也在探索多种技术路线

智能涌现：尽管VLA是当前公认的主流范式，但有人认为它不是唯一的解决方法。尤其是仅靠视觉似乎难以在物理世界中实现非常好的交互，也有观点提出要加入触觉，对此你怎么看？

赵行：这个问题我们思考过很多遍。触觉和世界模型等技术，都是非常好的前沿方向，我们也会在实验室和科研中探索包括它们在内的各种可能性。

但是，星海图作为公司，还是希望技术有工业化路径可依，在什么时间点，做什么事情，是很重要的判断。

我们的路径就是需要先把VLA做好，遥操作可以完成生活中九成的任务。比如，要收拾桌面，采集员可以带着遥操机器人，通过看着桌面的情况，在没有触觉的情况下，就能完成90%的工作。

从这个角度来看，把VLA先做好是一个很合理的路径。未来是需要触觉的，但说起现阶段不加触觉的原因，我认为是触觉传感器还不够标准化。

为什么视觉打败了其它所有的传感器呢？一方面是马斯克说的第一性原理。

另外一个方面就是要从工业化角度来看。相机、摄像头是一个发展了百年的行业，里面很多的工程化、标准化，拍摄以后的图像压缩、存储、传输算法，都是非常成熟的。我们希望用这种标准的传感器，来规模化采集数据。

但是触觉等其它传感器，还处于比较早期的阶段，大家还有在硬件上的争议，比如采取电容还是电阻式等等。这都需要这一领域在接下来的几年里定义好，到那个时候触觉就会被加入到VLA中。

智能涌现：目前虽然具身智能的主流技术收敛到了VLA范式，但是各家公司还是在细节上有区别。比如在工程的动作上等等，每家公司的重点和优先级会有不同，星海图在这方面的思考是什么？

赵行：在VLA大的框架下，我们走的是快慢双系统的技术路线，简单来说就是从系统层面分为“慢思考”和“快执行”。

最早是在做自动驾驶的时候，我们提了这个方法。之所以觉得这是一个比较好的方案，原因在于多方面。

首先，做一个单系统的模型会有很多的限制，比如思考速度如果太慢了，它会限制运动的速度。我们看到大语言模型的推理过程有时篇幅会很长，但如果推理太长就会影响实时响应，运动的动作就会卡顿。

第二点在于，如果把思考和执行都放在一个模型里，这个模型的参数量可能会变得很大，这就没有办法很好地在机器人上端侧部署。

从第一性角度来看，人类的各个系统也是不同频率在执行的。比如条件反射就非常快，而思考就是比较慢的。整体来说，这也是一个更节省能量，更高效的系统。

智能涌现：那可不可以理解成，虽然快慢两个系统虽然在数据需求和工作形式上有差异，但它们不是两个独立的系统，而是连通的。它们是有互相传递转移状态的？

赵行：没错，把这个信息传递给大家是很重要的。

从字面大家容易理解成，这就是两个模型，但实际上不是这样的，它们其实是一个你进我退的关系。比如小脑不够强，大脑就得再大一点。

而且我觉得随着技术的进展，这两者的关系会越来越紧密。

慢慢地，小脑的能力越来越强，会吸收大脑的一些知识；大脑又从能从外部互联网数据里，学到更多的更广泛的知识。这就完全实现了一个比较非常类人的分层架构，就像人脑虽然分成大脑、小脑、脑干，但它们的生物结构是一模一样的。

智能涌现：你如何看待现在讨论比较热门的世界模型？

赵行：世界模型是一个比较面向未来的、重要的技术，我们会去较为积极地探索这个方向。但它还没有进入到工业化的技术阶段。

不像VLA是靠数据驱动的，我觉得世界模型是一个非常典型的、靠聪明头脑驱动的工作。世界模型需要定义出一个最合理的算法，建模物理世界的运动规律。

如果能把世界的动力学规律给建模出来，那么我们就不用再靠模仿学习的方式去训练机器人了，机器人可以直接知道每一个动作的后果。

但是让机器人预知未来，可能比让机器人规划现在的动作更难，这有点像为了解决一个难题还要创造另一个难题。所以它非常适合最聪明的、最前沿的实验室去探索。

展会现场讲解中的赵行，图片：采访人提供

学术经验长期受益，产学协同是件好事

智能涌现：你在麻省理工毕业后，又在美国工作。2020年回国发展，回到清华任教，随后又加入星海图，这是因为被国内学术、产业端的哪些优势吸引？

赵行：姚期智先生在2018年到美国，去为清华年轻学者，我也是在这一批中回到清华任职的。

目前大家还是有共识，认为在国内做学术的话，清华叉院（交叉信息研究院）就是最好的地方。

姚先生给予了我们很大的空间和自由度。他不限制大家做什么方向，在行业上也采取自由发挥。这很有利于人才储备，所以当一波新的技术产业机会来临时，大家会看到涌现出了很多的人才。

智能涌现：过去的学术经历，给你现在的工作带来了哪些启发？

赵行：这次开源500小时数据集的想法，就来自于我在做科研时体会到的一件重要的事——贡献的越多，收获的也越多。

我在读博期间，和其他同学花两年时间做了一个数据集，叫ADE20K。这在当时是最大的、被使用最多的图像分割数据集，在目前也是被使用最多的评测数据集。

为了做这个工作，当时我们给数据集找标注，还做了清洗，并且训练了模型。

我们还制定了评价、测量的指标，比如定义图片有多少个类别，规定需要像素级精准，也评判了不同模型在数据集上的表现。

我们当时构建的Benchmark到现在都有好多人在用。从论文的引用和关注度来说，这可能是我所有发表过的论文里影响力最大的。

这些工作都挺费时费力的，但因为做得好，也会有后续的影响。这也对我此后工作产生长远启发。

智能涌现：你目前在清华任助理教授，也在星海图担任首席科学家。对你来说，“产学结合”好的一面是什么？又有什么挑战？

赵行：当前的机器人领域，产学是一个协同关系。为什么这一波具身智能浪潮，会有很多高校老师出来做公司，因为只有这一批老师之前在这个方向的探索和积累能达到两年以上。现在美国的AI领域，也是很多高校教师出来创业。

另一方面，产业上的发展，也可以协同解决之前在学术领域里做机器人学习的痛点。

之前在学术领域，虽然大家在尽量做标准化，但因为规模还是小一些，所以会比较难。但是产业发展会带来数据等方面在量级上的提升，量变会促进质变，也可以使学术进展有爆发式的增长。

封面来源｜采访人提供

蔚来-SW盘中涨近5% 拟公开发行10亿美元股份热点栏目自选股数据中心行情中心资金流向模拟交易客户端　　蔚来-SW（09866）盘中涨近5%，截至发稿，股价上涨3.01%，现报47.28港元，成交额5911.66万港元。　　9月10日，蔚来-SW发布公告，该公司宣布10亿美元发行的定价，涉及合计1.82亿股本公司A类普通股的发行（股权发行），其中