Our 1.45B latent diffusion LAION model was integrated into Huggingface Spaces 🤗 using Gradio. Try out the Web Demo: A 1.45B model trained on the LAION-400M database. A class-conditional model on ImageNet, achieving a FID of 3.6 when using classifier-free guidance Available via a colab notebook .

我们首先分析不同设计选择对第一阶段的影响。具体来说，我们比较了 ldm-1（即基于像素的条件 dm）与 ldm-4 的修复效率，包括 kl 和 vq 正则化，以及第一阶段没有任何注意的 vqldm-4（见表 8），其中后者减少了高分辨率解码的 gpu 内存。

LDM是前端时间爆火的图像生成算法 Stable Diffusion 以及最新备受关注的视频生成模型 Sora 最核心的理论基础之一。 在 DDPM [2] 的这篇文章中，我们介绍到DDPM是一个基于马尔可夫链的算法，它通过对一个随机噪声进行逐步去噪来实现了图像生成任务。 DDPM等算法是直接在图像像素空间中进行操作，并且因为DDPM的链式特性，这造成了它的训练和推理都是非常消耗资源的。 为了提升扩散模型的生成效率，LDM提出了将扩散空间从图像空间转移到潜空间（Latent …

位置: latent-diffusion/ldm/modules/losses/contperceptual.py. 该类用于计算VAE的损失. 损失由四部分组成: (1) 真实图 - 生成图 像素级别的L1损失, (2) 真实图 - 生成图 特征级别的相似度损失, (3) VAE的KL损失, (4) 生成器和鉴别器的损失. 它有两个方法:

作者进行了一系列实验，探究不同压缩率下的模型性能，对应的模型命名为LDM- {f}，包括LDM-1、LDM-2、LDM-4、LDM-8、LDM-16和LDM-32。 在这个命名规则下，LDM-1相当于没有压缩，直接作用于像素空间；而LDM-32则是压缩率最高的情况，512x512分辨率的图像对应的latent code大小只有16x16。 实验结果显示，在压缩率为4、8和16时，模型获得了最佳平衡点，这意味着在生成图像质量和模型复杂度之间找到了一个合适的折中点。 然而，当压缩率为32时，生成 …

具体来说，比较了 LDM-1 和 LDM-4 的图像修复结果，比较了 KL 和 VQ 正则化，和没有任何attention的 VQ-LDM-4，其中后者（指的 LDM-4）降低了GPU现存。 为了对比，保持所有模型有相同的参数量。

2024年2月1日 · Latent diffusion的训练需要训练集和验证集两部分，我们使用随机算法来分割两部分的图片，生成图片列表文本文档。 一般来说小数据集中，为了保证模型生成的准确性，可以给大一些的验证集数量。 例如5000张左右图片，可以给30%的图片作为验证集。 在本文的样例数据中，约有3000张图片。 本文取15%的图片作为验证集。 分类代码如下： （暂略） 生成后，数据集的文件夹中会多出来两个txt文件，即为训练集和验证集的图片。 把数据集放在data文件夹中即 …

2025年3月22日 · 2021年5月， OpenAI 发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。 然而，早期的DM直接作用于像素空间，这意味着要优化一个强大的DM通常需要数百个GPU天，而推理成本也很高，因为需要多次迭代。 为了在有效的计算资源上训练DM，并保持其质量和灵活性，作者提出将DM应用于强大的预训练自动编码器的潜空间（Latent Space），这也是为什么 …

2024年7月16日 · Latent Diffusion Models（潜在扩散模型，简称LDM）是一种高效的生成模型，通过在潜在空间中进行扩散过程，实现高质量的数据生成。相比于传统的扩散模型，LDM利用预训练的潜在空间编码器，将高维数据映射到低维潜在空间，从而大幅降低计算成本，提高生成效率 ...

2024年7月16日 · 针对不同的压缩率 f，作者也进行了一系列实验，对应的模型为 ldm-{f}，总共有 ldm-1，ldm-2，ldm-4，ldm-8，ldm-16，ldm-32。 需要说明的是，LDM-1 相当于没有压缩，也就是直接作用于像素空间，LDM-32 相当于 32 倍压缩，512×512 分辨率图像对应的 latent code 只有 …