使用 ViT，在大的图像文本对数据集上进行对比学习 pre-train。删除了最后的 token pooling layer，而将轻量级分类和 bbox 预测投附加到每个 transformer 的输出 token 上; 通过用从文本模型获得的类名 embedding 替换固定的分类层权重来实现开放词汇分类

OWL-ViT is a zero-shot text-conditioned object detection model. OWL-ViT uses CLIP as its multi-modal backbone, with a ViT-like Transformer to get visual features and a causal language model to get the text features. To use CLIP for detection, OWL-ViT removes the final token pooling layer of the vision model and attaches a lightweight ...

OWL-ViT is an open-vocabulary object detection network trained on a variety of (image, text) pairs. It can be used to query an image with one or multiple text queries to search for and detect target objects described in text.

2022年5月12日 · In this paper, we propose a strong recipe for transferring image-text models to open-vocabulary object detection. We use a standard Vision Transformer architecture with minimal modifications, contrastive image-text pre-training, and end-to-end detection fine-tuning.

本篇文章走马观花的分享下开集目标检测的代表作 OWL-ViT 相关技术特性，以及在端侧芯片 AX650N 上部署的性能。 源自2022年的论文《Simple Open-Vocabulary Object Detection with Vision Transformers》，作者是来自Google Research 的 Matthias Minderer 等人。 论文主要研究了如何将基于视觉 Transformer 的图像-文本模型转移到开放词汇表（open-vocabulary）的目标检测任务中。 论文地址： 2205.06230. Github项目： github.com/google …

2023年11月20日 · OWL-ViT 是谷歌于 22 年 5 月提出的一种新的 OVD（Open Vocabulary Detection）算法。 传统的检测算法会收到训练时标注类别的限制，无法在推理时检测出训练集中未出现的类别；而 OVD 算法，在推理时可以检测由开放词表定义的任意新类。

2025年3月29日 · OWL-ViT通过将图像分割为多个对象区域，并使用Transformer模型对每个区域进行特征提取和分类，可实现高效、准确的语义分割。通过将图像分割为多个对象区域，并使用Transformer模型对每个区域进行特征提取和分类，可实现高精度的图像分类。

2024年5月28日 · OWL-ViT v2 是一种基于 transformer 的视觉模型，它继承了 ViT（Vision Transformer）的优点，并进行了改进和优化。OWL-ViT v2 的出现旨在解决视觉任务中的各种挑战，例如图像分类、目标检测、图像分割等。 OWL-ViT v2 的架构. OWL-ViT v2 的架构主要由四个部 …

2024年5月26日 · owl-vit 模型通过引入多种优化技术来减少计算复杂度和参数量，从而提高视觉识别任务的效率。 实验结果表明，OWL-ViT 模型可以在保持准确率的同时，减少计算复杂度和参数量。

OWL-ViT is a zero-shot text-conditioned object detection model that can be used to query an image with one or multiple text queries. OWL-ViT uses CLIP as its multi-modal backbone, with a ViT-like Transformer to get visual features and a causal language model to get the text features.