因为RWKV6比Mamba强，但是现在流行用Mamba水，所以，我们做个对比： 各位和朋友如果有用Mamba做的论文，我们帮你升级到RWKV6。 性能帮你调到更好。如果性能没有更好，每位论文作者送一张4090。 名额有限，欢迎联系，RWKV6介绍见我知乎： 可以先读：

这里介绍一下我们近期使用状态空间模型Mamba来做图像复原的工作。 目前我们基于Mamba的图像复原网络已经在轻量化超分上实现了sota的性能，未来基于Mamba的图像复原模型设计还是很有意思的topic。 论文和代码都已开源，欢迎感兴趣的小伙伴关注 [论文链接] [代码 ...

当然Mamba并不是重写了Conda所有的功能，只是针对一些Conda低效的功能进行重写，并添加了一些实用的新功能，接下来我们来对这些知识进行学习。 Mamba中的实用功能. 加速下载; 作为Mamba最核心的功能，Mamba对conda install语句进行并行化改造，达到加速下载过程的 ...

新架构mamba是否真的有用？ 目前arxiv上mamba相关论文有20篇左右了。 经过简单的阅读，发现论文基本都是把mamba模块替换原先常用的vit或者cnn模块（占坑）。

Mamba 的作者采用三种经典技术来提高循环操作速度： 并行扫描算法 (Parallel Scan) 核融合 (Kernel Fusion) 激活重计算 (Activation Recomputation) 2.3 Mamba 结构与实现. Mamba 模型是由多层 Mamba 层连接而成，与 Transformer 模型的层非常相似。

Mamba 模型将选择性结构化状态空间模型 (SSM) 集成到简化的端到端神经网络架构中，特别是缺乏传统的注意力机制。 据说Mamba-3B模型的性能优于同尺寸的transformer，在性能方面可与两倍尺寸的transformer相媲美。

相比Linear Transformer，Mamba使用的是Semiseparable矩阵而不是general的低秩矩阵，也就是作为token mixer，Mamba中的Semiseparable矩阵可能比Linear Transformer的表达力更强，而且也能保持O(L)复杂度。 因此，很多工作的线性复杂度，都是M的结构化带来的。 先写到这里吧。

目前特别火的 Mamba (paper, code) 可以归类到 Linear RNN，RWKV (paper, code, homepage) 和 RetNet (paper, code) 可以归类到 Linear Attention。 其中 Mamba 和 RWKV-6 重新引入了非线性的 data-dependent gating 来提升模型效果，此外还有 GateLoop ( paper , code )、 HGRN ( paepr , code )、 Zoology/Based ( paper ...

看到这里, 各位对 Mamba 到底是不是一种 RNN 应该有自己的判断了. 至少笔者觉得 Mamba 是一种 RNN, 而且对 RNN 做了很多有趣的改造, 如果从这个角度分析, 你会比之前任何时候都更加清晰的理解 Mamba. 下面总结 Mamba 都做了哪些有趣的改造, 以及带来了什么效果.

因为RWKV6比Mamba强，但是现在流行用Mamba水，所以，我们做个对比： 各位和朋友如果有用Mamba做的论文，我们帮你升级到RWKV6。 性能帮你调到更好。如果性能没有更好，每位论文作者送一张4090。 名额有限，欢迎联系，RWKV6介绍见我知乎： 可以先读：