知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、 …

3.ffn（前馈神经网络）和 mlp（多层感知机）： "FFN" 和 "MLP" 表示前馈神经网络和多层感知机，它们在概念上是相同的。 前馈神经网络是一种最常见的神经网络结构，由多个全连接层组成，层与层之间是前向传播的。

但特征交互时，MLP的权重是固定的，训练好之后就不会变。而Transformer的权重是随着输入，动态变化的。这是这2个模型最大的区别。 举个简单的例子：输入是2个“元素”（x1, x2）时，MLP的特征交互是这样的：

MLP：因为句子长度不固定，所以一般是用Bag-of-Word-Vectors 简单将词向量相加，然后使用MLP，这个方法比较简单，然后训练速度比较快，得到的结果也不是很差。只是没有利用到上下文信息。

显然，MLP能一定程度上处理这个问题（比如 \frac{x_1}{100} + x_2\ge 91 ）。对于MLP结构来说，其特征交叉是针对所有输入特征而言的，因此是一种高阶特征交叉。当然，其特征交叉能力是比较有限的，是通过非线性激活函数和多层累积来获得和增强的。

由上述讲解可知，mlp的所有参数就是网络层之间的连接权重和偏置；求解最佳的参数组合是一个最优化问题，通常运用梯度下降算法求解：首先随机初始化所有参数，利用训练集迭代训练，不断地计算梯度和更新参数，直到满足终止条件（一般为足够小的预测 ...

首先，题主说的单层网络应该是指一个隐藏层，因此是一个我们常说的二层mlp，所以有万能逼近定理。 其次，针对题主的问题，为何要使用多层MLP。 可能的原因是：在神经元或参数数量相同的前提下，增加深度相比增加宽度能够获得更多的表达能力。

而MLP-Mixer这篇文章面对MLP计算量太大，参数量太大两大问题，换了一个解决思路。 这个解决思路跟depthwise separable conv是一致的，depthwise separable conv把经典的conv分解为两步，depthwise conv和pointwise conv，这样就降低了经典conv的计算量和参数量。

可以看出，该函数是凸函数，求导时能够得到全局最优值。 3. 学习过程 . 交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。

2022年5月21日 · 知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、影视 ...