2022年12月13日 · We argue that one of the keys to the success of such general robotic models lies with open-ended task-agnostic training, combined with high-capacity architectures that can absorb all of the diverse, robotic data. In this paper, we present a model class, dubbed Robotics Transformer, that exhibits promising scalable model properties.

A PyTorch re-implementation of the RT-1 (Robotics Transformer) with training and testing pipeline - sebbyjp/rt1-torch

近日,来自Google Robotics团队的研究人员提出了一种名为RT1 (Robotic Transformer)的创新模型,旨在实现大规模、通用的机器人控制。 更令人兴奋的是,GitHub用户lucidrains基于原始论文,在短短两天内就开源了RT1的PyTorch实现,为机器人研究社区提供了宝贵的资源。

2025年3月13日 · Google于22年年底，正式提出RT-1——即Robotics Transformer 1，其将「“语言”和“视觉观察”映射到机器人动作」视为一个序列建模问题，然后使用transformer来学习这个映. 现在的目标是从视觉中学习机器人策略来解决语言条件任务. 至于在策略的学习上，最终使用的模仿学习方法. 总之， RT-1接收一系列短暂的图像和自然语言指令作为输入，并在每个时间步骤为机器人输出一个动作，为了实现这一目标. 简言之，RT-1基于transformer的基础上，将图像 历史记 …

2024年1月1日 · RT-1通过将一系列图像 (6张)传递给在ImageNet上预训练的 EfficientNet-B3 模型获得图像的token.该模型接受6张分辨率为300×300的图像作为输入，并从最后一层卷积层输出一个形状为9×9×512的空间特征图。 这里,作者在将图像输入到Transformer主干网络之前，不对图像进行分块转化为token。 相反，作者将EfficientNet输出的特征图展平成81个视觉token，然后将这些视觉token传递给网络的后续层。

2022年12月13日 · 通过从大型、多样化的任务识别数据集转移知识，现代 机器学习 模型可以解决特定的下游任务，无论是 零样本还是使用小型任务特定数据集，都可以达到高性能水平 。 zero-shot or with small task-specific datasets to a high level of performance. 虽然这种能力已经在 计算机视觉 、自然语言处理或语音识别等其他领域得到了证明，但它仍有待于机器人领域的展示，因为难以收集真实世界的机器人数据，因此模型的泛化能力尤其关键 the generalization …

我们提出了一种新颖的架构,称为RT-1 (Robotics Transformer 1),通过将高维输入和输出 (包括相机图像、指令和电机命令)编码成紧凑的token表示以供Transformer使用,可以在运行时进行高效推理,使实时控制成为可能。 我们的贡献是RT-1模型以及在大规模真实世界机器人任务的数据集上对该模型的实验。 我们的实验不仅证明了与先前技术相比,RT-1可以显著改进泛化和鲁棒性,还评估和整合了模型和训练数据集组成中的许多设计选择。 我们的结果表明,RT-1可以以97%的成功率执 …

2024年4月15日 · 在该数据集的基础之上， 基于模仿学习中行为克隆学习范式，把 Transformer 应用机器人的操纵任务上，提出了 RT-1 模型。 RT-1，它可以把相机图片、指令与电机命令作为输入，即可对高维的输入与输出进行编码。 RT-1 的架构、 数据集 、以及评估概览，可见图1所示。 最终，实验表明 RT-1 可以展示较强的 泛化能力 和鲁棒性，可见图1.b，且可以执行长期任务。 该系统主要的贡献：RT-1 是一个高效的模型，可以吸收大量的数据，可高效的泛化，且可实时对 …

2025年3月29日 · RT-1，这是一个基于变压器的模型，我们训练了一个大型的多任务演示数据集，并展示了它如何推广到新任务，它如何对环境变化具有鲁棒性以及它如何允许执行长视界指令。 我们还展示了它有效吸收来自不同领域（如模拟或不同机器人）的数据的能力。

23年8月来自谷歌的论文“RT-1: Robotics transformer for real-world control at scale”。 通过从大型、多样化、与任务无关的数据集中传输知识，现代机器学习模型可以解决特定的下游任务，无论是零样本还是小型任务特定数据集，都能达到高性能水平。 虽然这种能力已经在计算机视觉、自然语言处理或语音识别等其他领域得到证实，但在机器人领域仍有待证明，因为收集现实世界的机器人数据很困难，所以模型的泛化能力尤为重要。 这种通用机器人模型成功的关键之一在于开放 …