|前言

随着科技的进步和生活水平的提高，家庭对智能化服务的需求日益增长，在家庭环境中，用户可能给出复杂、模糊或包含多种意图的指令，传统的机器人系统往往难以准确理解并执行这些指令。

论文概述

上海人工智能实验室（上海AI实验室）、香港大学、布里斯托大学、西交利物浦大学、西北工业大学、中国电信股份有限公司人工智能研究所基于松灵Ranger mini3.0移动机器人底盘研发，通过有效对齐用户提示来优化家用机器人定制任务规划的算法框架AlignBot。

以下视频来源于 IPEC-Robotics&Photonics

已关注 关注 重播 分享 赞 关闭观看更多更多退出全屏切换到竖屏全屏退出全屏无人系统网已关注分享视频，时长03:00

0/0

00:00/03:00切换到横屏模式继续播放进度条，百分之0播放00:00/03:0003:00全屏倍速播放中 0.5倍 0.75倍 1.0倍 1.5倍 2.0倍 超清 流畅

继续观看

科研案例 | AlignBot：基于VLM的任务规划，打造更贴心的家务助手

观看更多转载,科研案例 | AlignBot：基于VLM的任务规划，打造更贴心的家务助手无人系统网已关注分享点赞在看已同步到看一看写下你的评论

视频详情

该研究旨在通过微调大视觉语言模型（VLMs），使家庭机器人不仅仅是一个工具，而是一个能够理解并适应每个家庭成员个性化需求的智能助手。

该论文已提交IEEE INTERNATIONAL CONFERENCEON ROBOTICS AND AUTOMATION 2025。

论文作者：Zhaxizhuoma，Pengan Chen，Ziniu Wu，Jiawei Sun，Dong Wang，Peng Zhou，Nieqing Cao，Yan Ding，Bin Zhao，Xuelong Li

项目主页：https://yding25.com/AlignBot/

论文链接：https://arxiv.org/pdf/2409.11905

Github链接：https://github.com/zxzm-zak/AlignBot

AlignBot

传统的任务规划方法（如基于规则或符号的规划系统）在家庭环境中表现出较大的局限性。这些方法依赖精确的环境模型和详细的任务描述，而这些信息在家庭场景中往往难以获取或动态维护。

• 通过微调大视觉语言模型（VLMs），AlignBot能够精准地将用户的多样化指令转化为切实可行的任务规划。这显著提高了家庭机器人在不同场景中的任务成功率。

• AlignBot通过微调LLaVA-7B模型，增强了对视觉数据的语义理解能力。微调后的模型能够将用户的提醒转化为清晰的指令提示，指导后续的任务规划。

• AlignBot采用了一种基于案例学习的方法，选择与当前任务最相关的历史成功案例作为提示信息。这一机制帮助机器人从过往的成功经验中学习，并灵活应对新的任务场景。

• 如果初次输出的任务规划未能满足用户期望，AlignBot支持多轮次的迭代对话。通过持续反馈和调整，系统能够不断优化任务规划，直至实现令人满意的结果。

• 建立了一个多模态的结构化数据集，包含3个实验场景，涵盖20项日常任务，涉及80个物品，通过排列组合共生成了超过1500个任务场景用于训练LLaVA。

实验结果

科研团队在一个实际的机器人系统上实现了AlignBot，该系统由松灵Ranger mini3.0底盘，搭载UFactory XArm机械臂组成，采用了ACT算法和AnyGrasp方法进行操作。




已关注 关注 重播 分享 赞 关闭观看更多更多退出全屏切换到竖屏全屏退出全屏无人系统网已关注分享视频，时长01:03

0/0

00:00/01:03切换到横屏模式继续播放进度条，百分之0播放00:00/01:0301:03全屏倍速播放中 0.5倍 0.75倍 1.0倍 1.5倍 2.0倍 超清 流畅

继续观看

科研案例 | AlignBot：基于VLM的任务规划，打造更贴心的家务助手

观看更多转载,科研案例 | AlignBot：基于VLM的任务规划，打造更贴心的家务助手无人系统网已关注分享点赞在看已同步到看一看写下你的评论

视频详情

在这一实验设置中，机器人负责将物品从台面放入抽屉，AlignBot凭借其多模态输入和定制化微调，生成了更具针对性和实用性的提示，显著提升了任务执行效果。

参考文章：

https://mp.weixin.qq.com/s/ymyPIE0FtqkppC7-CyPr7Q

https://mp.weixin.qq.com/s/D6VbSKv_caJBdsRABjzWaw

开放、共享、协同

松灵机器人自成立以来，一直秉持着赋能开发者的理念，致力于为机器人行业和科研教育构建全面的开发平台。通过共享资源、交流思想、合作创新，共同构建更加完善的机器人训练数据集和测试平台，为机器人的学习和训练提供更加丰富和多样的素材。

欢迎更多高校与科研机构与我们携手共创，共同探索更多新的应用场景和技术方向，为机器人的广泛应用和智能化发展贡献更多的智慧和力量。

松灵机器人有限公司（agile·X Robotics,简称AGX），成立于2016年，是一家载重移动机器人研发和生产商，产品系列包括：机器人停车、物流搬运、定制设计。通过持续的创新，设计领先的载重移动机器人产品，深耕技术细节的优化，致力于为行业需求用户提供性能最强、体验最佳的移动机器人产品和解决方案。

COUT（侦察兵）是松灵机器人旗下的线控底盘系列，该平台采用了800W四轮独立驱动，双横臂独立悬挂，四轮差速转向，灵活快速通过越野性能好。SCOUT可以搭载差分GPS和激光雷达，用于室内室外的自动驾驶研究使用。也可以给到行业应用客户用于电力巡检、无人配送、无人安防等领域。

bracket是松灵机器人旗下的停车机器人系列，该平台采用了自然导航技术，以激光雷达为主并融合多种传感技术，达到较高的定位精度，同时具有快速的部署能力和低维护成本等优势。bracket可以自主的去到目的地，而不是局限于固定的路线， 并且拥有足够的智能去识别工作环境中的物体状态，进行自适应搬运，是完整闭环的搬运过程。配合松灵机器人自主研发的各类动力模组，bracket能够轻松的实现平移、自旋及组合动作，具有更强的机动性和效率，适合在复杂地形及空间有限的环境中使用。

Buffalo是最新的停车机器人系列，也是国内首款不需要辅助支架的车辆搬运机器人。Buffalo采用了独特的机械臂设计，能够直接从地面将车辆装载，免除了所有地面建设工作，大大减少了建设时间和成本。Buffalo的超强适用性同时可用于户外代客泊车等其它场景，就像座机摆脱了电话线，未来拓展充满无限可能。

物流搬运、定制设计，是bracket移动机器人基础技术的行业拓展，我们助力吨级载重搬运，创造更多的生产力，提高生产效率。

我们是一群对机器人充满热爱的年轻人，在行业内多年的探索和积淀，让我们更加懂得梦想的价值和分享的意义。从踏上这条路开始，我们一直在思索商业的本质，一直在追寻时代的机遇；但我们从未忘记，创造生产力才是机器人的根本，改善效能才是指引创新的方向。用勇气，用执着，用年轻人的不妥协，用工业人的真品诚，我们决心为移动机器人行业奉献更多卓尔不群的产品，为每一位有远见的客户提供物超所值的服务。