Senna，是一种结合 LVLM（Senna-VLM）和端到端模型（Senna-E2E）的自动驾驶系统。 Senna 将高级规划与低级轨迹预测分离。 Senna-VLM 以自然语言生成规划决策，而 Senna-E2E 则 …

2025年1月24日 · 自动驾驶端到端模型 (end-to-end)是什么？ 为什么要结合多模态大模型 (VLM)做端到端任务？ VLM本身具有：1. 视觉理解能力；2. 推理能力. 要点：1. 设计用于自动驾驶任 …

Senna偏向于一种VLM和E2E融合的框架探索，如何结合VLM和E2E双系统依然是个很难的问题。 Senna提供了一种分层规划的思路，充分利用VLM和E2E的优势。 同时，论文里设计的QAs， …

2024年10月29日 · This paper presents Senna, an autonomous driving system combining an LVLM (Senna-VLM) with an end-to-end model (Senna-E2E). Senna decouples high-level …

本文提出了VLMnav，一种将 视觉语言模型 （VLM）转化为 端到端导航 策略的具身框架。与以往研究不同，本文不依赖感知、规划和控制的分离，而是通过VLM一步直接选择动作。

2022年9月16日 · VLMbench is a robotics manipulation benchmark, which contains various language instructions on categorized robotic manipulation tasks. In this work, we aim to fill the …

2025年1月21日 · 构建 VLM 涉及预训练基础模型（foundation models）和零样本学习（zero-shot learning），迁移学习技术（Transfer learning）（例如知识提炼）可用于微调模型以完成更具 …

vllm 为视觉语言模型 (vlm) 提供实验性支持，可以参阅「支持的 vlm 列表」。本文档将向您展示如何使用 vllm 运行并提供这些模型的服务。

2025年2月18日 · 2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器 …

2024年11月7日 · 文章详细描述了VLMs的基本原理、训练过程以及如何开发一个多模态神经网络，用于图像搜索。 作者通过实例展示了这些模型如何解决各种任务，如图像描述、图像解释 …