SRU 有更好的结果，运算速度比 cuDNN LSTM 快了 6 倍。 时间测定是在桌面电脑上完成的，配备了单个英伟达 GeForce GTX 1070 GPU 和英特尔 Core i7-7700k 处理器。

2018年3月18日 · 本文讨论了最新爆款论文 (Training RNNs as Fast as CNNs)提出的 LSTM 变种SRU (Simple Recurrent Unit)，以及基于pytorch实现了SRU,并且在四个句子分类的数据集上测 …

简单地说，SRU高明的地方就是他把 矩阵乘法放在了串行循环外，用全部x进行两次大矩阵乘法（合并 f,r ），而把快速的element-wise放在了串行循环内！

2018年4月24日 · 本文讨论了最新爆款论文 (Training RNNs as Fast as CNNs)提出的LSTM变种SRU (Simple Recurrent Unit)，以及基于pytorch实现了SRU,并且在四个句子分类的数据集上测 …

2022年3月25日 · 本文详细介绍了RNN、LSTM、GRU和SRU等循环神经网络的基本原理与结构特点，对比了它们之间的优缺点，并解释了如何解决RNN中梯度消失与长距离依赖等问题。

在SRU里，除了对 x_t 的映射 W_fx_t,W_rx_t,Wx_t ，其他乘积都是element-wise的计算，即使只知道 c_ {t-1} 其中一个维度的值，没关系，你就可以直接算出 f_t,r_t 乃至 h_t 这一个对应维度 …

2018年10月6日 · SRU（Simple Recurrent Unit）则提出更激进的架构，去掉了前后时刻计算的依赖。 其次，在将RNN正则化时，他们在标准的dropout外，增加了变分dropout，变分dropout …

SRU 是简单循环单元，运行速度比 cuDNN 优化的 LSTM 快 5-10x，而且不会损失许多任务的精度。 在 GTX 1070 上测试的 LSTM， conv2d 和 SRU 的平均处理时间. 例如，上图显示了 32 个 …

本文中提出了简单递归单元 (SRU)，一个平衡模型容量和可伸缩性的轻量级递归单元。SRU的设计目的是提供有表现力的递归，支持高度并行的实现，并附带谨慎的初始化，以方便对深度模型 …

2018年4月24日 · 本文讨论了最新爆款论文 (Training RNNs as Fast as CNNs)提出的 LSTM 变种SRU (Simple Recurrent Unit)，以及基于pytorch实现了SRU,并且在四个句子分类的数据集上测 …