AI热点 8月前 214 阅读 0 评论

Hugging Face 公布 4.5 亿参数开源机器人模型 SmolVLA,消费级硬件设备即可运行

作者头像

AI技术专栏作家 | 发布了 246 篇文章

IT之家 6 月 9 日消息,Hugging Face 现已公布 4.5 亿参数开源机器人模型 SmolVLA,该模型主打高普适性,可在 MacBook Pro 等的消费级硬件设备上运行,旨在帮助开发者降低入门成本。

当下,业界机器人模型通常采用“视觉-语言-行动”(Vision-Language-Action,VLA)设计,此类模型尝试在单一架构中整合感知能力、语言理解与行动决策,从而让机器人实现自主执行复杂任务。不过相应模型训练成本极高,目前大多数模型仍为闭源项目,训练过程中依赖昂贵硬件、大量工程资源和大规模私有数据集。

为此,Hugging Face 推出 SmolVLA 这一轻量级开源模型,使用公开数据集进行训练,并可在消费级硬件设备上运行,旨在降低爱好者入门成本,推动通用机器人智能体的研究进展。

据介绍,SmolVLA 在模型架构上结合 Transformer 结构与 flow-matching 解码器,并采用了四项关键优化技术:一是跳过视觉模型中一半层数,以提升推理速度并减小模型体积;二是交替融合自注意力与交叉注意力模块,提高多模态信息整合效率;三是减少视觉 Token 数量以提升处理效率;四是采用更轻量的 SmolVLM2 作为视觉编码器,从而进一步降低硬件要求。

▲ 图源 Hugging Face(下同)

而在训练策略方面,SmolVLA 首先通过通用操作数据进行预训练,再针对特定任务进行微调,以提升适应能力。因此虽然 SmolVLA 的训练数据远少于现有其他 VLA 模型(仅包括不到 3 万个任务记录),但 Hugging Face 表示,该模型在模拟环境和真实场景中的表现与大型模型相当,甚至在部分任务上实现“超越”

此外,Hugging Face 透露 SmolVLA 还引入“异步推理架构”(Asynchronous Inference Stack),将感知处理(如视觉和语音理解)与动作执行进行解耦,使机器人在面对快速变化的环境时能做出更及时的响应,大幅提升其实用性。

Hugging Face 强调,用户使用 MacBook Pro 笔记本电脑等消费级硬件即可运行 SmolVLA-450M 模型,无需花费大成本采购专用 AI 训练服务器。同时用户也可以考虑采购 Hugging Face 推出的低成本机器人平台(SO-100、SO-101 和 LeKiwi)等降低成本。

Hugging Face 援引自家进行的多项基准测试验证 SmolVLA 的性能,在 LIBERO 与 Meta-World 等模拟测试平台上,SmolVLA 的表现据称优于 Octo、OpenVLA 等业界竞品,而在使用真实机器人 SO-100 和 SO-101 进行抓取、放置、堆叠与分类任务中,SmolVLA 也展现出更好的性能。

目前,SmolVLA 的基础模型已在 Hugging Face 平台上线,完整训练方法也同步在 GitHub 上公开,IT之家附项目页面如下(https://huggingface.co/lerobot/smolvla_base)。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!