Official PyTorch Implementation of DA-CLIP. Project Page | Paper | Model Card 🤗 Our follow-up work Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models (CVPRW 2024) presents a posterior sampling for better image generation and handles real-world mixed-degradation images similar to Real-ESRGAN .

2024年3月18日 · DA-CLIP（Degradation-Aware CLIP）视觉-语言模型，旨在通过结合大规模预训练的CLIP模型与图像恢复网络，提高多任务图像恢复的性能。 本文为项目测试代码实验相关过程_daclip

2024年3月10日 · 本文提出了一个退化感知的视觉语言模型（DA-CLIP），更好地将预训练的 CLIP 用于低级视觉任务中，这是一个 多任务 的图像恢复框架。 DETAILS： 1. 使用一个可训练的控制器来控制 ViT 图像编码器的输出，以实现图像退化类型的预测；该控制器由零初始化连接的CLIP图像编码器组成，用于操纵所有编码器块的输出，从而控制预测结果。 训练过程中，使用对比学习损失函数优化控制器参数，使其能够准确地匹配降质类型和高质量内容特征。 2. 此外，该模型还 …

提出退化感知视觉语言模型 DA-CLIP，核心模块是Image Controller，用来预测退化类型；还有一个CLIP Image Encoder模块，用来获取高质量的content embedding。 将DA-CLIP与重建网络结合。 本文的DA-CLIP和Image Restoration的具体网络结构如下图所示，清晰明了。 Figure1:Overview of the method. 其包含两个部分，分别是Pretrained CLIP以及Image Controller。 核心点在于使用预训练CLIP模型输出高质量的image feature，同时使用image controller预测 …

We extend the CLIP to a degradation-aware version (DA-CLIP) which predicts both degradation embedding and clean content embedding from corrupted images. Then we can use these embeddings to improve image restoration performance and assist unified image restoration.

BLIP （Bootstraping language image pre-training） 基本思想 ： 兼顾图文理解和生成的多模态模型（Multimodal mixture of Encoder-Decoder），同时在三个视觉语言目标上联合预训练：图像文本对比学习ITC、图像文本匹配ITM、图像条件语言建模LM；同时提出了一种高效利用网络收集的 ...

2024年3月27日 · 文章介绍了如何使用blip框架为混合退化数据集生成精确且不含退化信息的描述，通过将hq图像描述与lq图像和退化类型结合，构建用于da-clip训练的数据集。

blip是一种基于vlp的新框架，统一并灵活地应用于视觉-语言理解任务和生成任务。blip通过引导生成图像描述来有效利用噪声网络数据，从而在多个下游任务上取得了最先进的性能。

2023年10月23日 · 为了在混合降解数据集上训练 da-clip，我们使用引导式视觉语言框架 blip 为所有 hq 图像生成合成字幕。 由于输入是干净的，因此假定生成的字幕是准确和高质量的。

2024年10月21日 · Blip有4个单模态模型要训练，计算量大，那就采用现成的？ 比如image encoder直接用现成的，诸如CLIP的encoder或 ViT large language model怎么办？