其次，我们深入理解下vae的原理：vae是一种无监督的生成模型，其理论基础是建立在高斯混合模型之上。 由VAE的模型结构，我们可以看到噪声编码 z 是由一个标准正态分布所产生的向量，我们对这个分布随机采样 m 个点，其中 m 服从多项式分布 P(x) 。

“vae的潜在空间能够捕捉到图像的主要特征，从而生成具有相似结构的全新图像。 下面是一些应用场景： 人物动作生成 ：在CVPR'24的一篇论文中，提出了一个框架，能够生成人物动作，精细到手部运动。

vae 的优点是有一个评估模型质量的显式方法，例如对数似然或下限估计。 另一方面，vae 的缺点是它直接计算生成之间的损失图像和原始图像，而不是像 gan 这样的对抗学习。 此外，随着注入的噪声和不完美的重建，vae 生成的图像略微模糊。 3. vae 的实现

指出，已经更正为“VAE”。SD原文3.1节中同时提供了VAE和VQ-VAE两种方案，VAE效果更好所以被大家一直沿用）之所以效果这么好，主要还是因为diffusion model强大。强大到用diffusion model去拟合的隐空间分布，能够逼近VAE或者VQ-VAE用encoder编码RGB图片得到 …

因此一种思路是提高 z 的采样效率，最好采样一次就能完成任务 (VAE方向) 损失误差不用均方误差MSE。 在实际网络训练中，上述蒙特卡洛采样过程，每次得到的 x' 会启发式地和真实图片 x 做MSE。

在Latent Diffusion中，VAE里KL散度（KL divergence）权重（weight）的选择很关键。 当KL散度权重较大时，例如在1e - 4或1e - 5这样的值： - 潜在空间分布：模型会更倾向于让潜在空间的分布接近先验分布（通常是标准正态分布）。

比如VAE生成的图像不够真实，GAN的训练中又会碰到例如mode collapse问题等等。最近几年有很多VAE和GAN的成果出来，也试图在解决这些问题。 另外，生成模型领域除了VAE和GAN这两个大派系，还有NICE、RealNVP、GLOW等第三种生成模型的范式：流模型 …

Vae不止是在Diss曲目上有所建树，其它主题的rap歌曲也是获得了认可的。2007年2月17日，Vae发布了《朝舞》，这首歌邀请到了乱感觉的队友大V李毅杰合作，而另一位合作嘉宾则是天王星的呆宝静。能和呆宝静合作，也说明了Vae的rap水平必然是在平均水准之上的。

知乎是一个问答社区，用户可以在这里提出问题、分享知识、发现世界。[END]>"""EXAMPLES_PROVIDED = [{'input': '##Context##\nEach webpage that matches a Bing search query has three pieces of information displayed on the result page: the url, the title and the snippet. The snippet usually contains one or two sentences, capturing the main idea of the webpage and ...

SD原文3.1节中同时提供了VAE和VQ-VAE两种方案，VAE效果更好所以被大家一直沿用）之所以效果这么好，主要还是因为diffusion model强大。 强大到用diffusion model去拟合的隐空间分布，能够逼近VAE或者VQ-VAE用encoder编码RGB图片得到的latent feature分布。