[2309.15505] Finite Scalar Quantization: VQ-VAE Made Simple
2023年9月27日 · We propose to replace vector quantization (VQ) in the latent representation of VQ-VAEs with a simple scheme termed finite scalar quantization (FSQ), where we project the …
简单得令人尴尬的FSQ：“四舍五入”超越了VQ-VAE - 知乎
2023年11月20日 · VQ全称是“ Vector Quantize ”，可以翻译为“向量量子化”或者“向量量化”，是指将无限、连续的编码向量映射为有限、离散的整数数字的一种技术。 如果我们将VQ应用在自 …
VQ-VAE, FSQ, LFQ, BSQ - 知乎 - 知乎专栏
2024年6月29日 · Factorized codes 认为，在Encoder出来的token Z_e 到quantizer出来的token Z_q 之间，存在两个操作，即查询和映射。 传统的方法把两个操作合并在一起进行操作，作者 …
一文详解 codebook 技术史（从 VAE 到 VQ/RQ-VAE 到 FSQ） - 知乎
q (z) 是标准正态分布， q (x \mid z) 是我们的生成式模型；此外还需明确的是 p (x) 是 x 的原始分布， q (z \mid x) 是encoder生成的 z ，训练时要让其逼近正态分布。 我们直接采用联合建模的角 …
简单得令人尴尬的FSQ：“四舍五入”超越了VQ-VAE - 科学空 …
2023年10月31日 · VQ全称是“Vector Quantize”，可以翻译为“向量量子化”或者“向量量化”，是指将无限、连续的编码向量映射为有限、离散的整数数字的一种技术。 如果我们将VQ应用在自编 …
google-research/fsq/README.md at master - GitHub
We propose to replace vector quantization (VQ) in the latent representation of VQ-VAEs with a simple scheme termed finite scalar quantization (FSQ), where we project the VAE …
FSQ: FINITE SCALAR QUANTIZATION: VQ-VAE MADE SIMPLE …
2024年2月22日 · 谷歌在2023年提出的FSQ方法，通过将VAE表示投影到低维并量化为固定值，解决了VQ-VAE中的codebookcollapse问题和辅助损失，无需额外机制，适用于文本和视频生 …
A Pytorch Implementation of Finite Scalar Quantization
In our view, FSQ is a great idea, and we manage to quickly implement a reproduction on a minimal framework. We are impressed by how FSQ is not only simple and effective in its …
自回归图像学习——FSQ RQ-VAE个人理解 - CSDN博客
2024年12月22日 · 假设VQ中，一个d维的连续向量做映射需要一个分出K类的大码本，现在FSQ中，RQ-VAE的设计也是为了解决VQ中码本过大的缺点，个人理解RQ的思想就是。 寻找码本中 …
（表征学习论文阅读）FINITE SCALAR QUANTIZATION: VQ-VAE …
2024年4月3日 · FSQ (FINITE SCALAR QUANTIZATION: VQ-VAE MADE SIMPLE)这篇文章的目的就是优化以上两个问题。 2. 方法. 作者发现，传统的编码器所得到的表征向量 z 中的每一个 …