（5）Boosting算法对于样本的异常值十分敏感，因为Boosting算法中每个分类器的输入都依赖于前一个分类器的分类结果，会导致误差呈指数级累积。 而用于深度学习模型训练的样本数量很大并且容许一定程度的错误标注，会严重影响模型的性能。

Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法，即将弱分类器组装成强分类器的方法。 Bagging. Bagging又叫套袋法，其算法过程如下： 1. 从原始样本集中抽取训练集。

是前n-1步得到的子模型的和。因此boosting是在sequential地最小化损失函数，其bias自然逐步下降。但由于是采取这种sequential、adaptive的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低variance。所以说boosting主要还是靠降低bias来提升预测精度。

2015年11月20日 · boosting 是一种将弱分类器转化为强分类器的方法统称，而adaboost是其中的一种，采用了exponential loss function（其实就是用指数的权重），根据不同的loss function还可以有其他算法，比如L2Boosting, logitboost... 还有adidas跑鞋上的boost很不错，脚感一流，可以一 …

这四个概念都是集成学习中非常重要的概念,只不过侧重的方面有所不同. bagging/boosting强调抽取数据的策略.两者都采取随机有放回取样(random sampling with replacement)的方式抽取数据,不同的是在bagging中,所有数据被抽到的概率相同;而在boosting中,每一轮被错误标记的数据会被增加权重,从而增加在下一轮学习 ...

学习机器学习时的困惑，“认字不识字”。很多中文翻译的术语不知其意，如Pooling，似乎90%的书都翻译为“…

Boosting算法. Boosting算法特征如下：通过将一些表现效果一般（可能仅仅优于随机猜测）的模型通过特定方法进行组合来获得一个表现效果较好的模型。从抽象的角度来看，Boosting算法是借助convex loss function在函数空间进行梯度下降的一类算法。

谢邀。 直接参考Machine Learning：A Probabilistic Perspective（MLAPP）的16.4节——Boosting。 该节概括了几种常用的boosting方法，包括L2Boosting、Gradient Boosting、Adaboost、LogitBoost（黑体部分就是题目中提到的两种方法，至于weaker learner是不是用树，不是很重要），下表摘自MLAPP 14.6.1节

更有JMLR 2008的论文发现，更多的实验观察与Boosting的理论及其统计解释都不符合，例如使用多层的决策树竟然比使用一层的简单决策树更好。 理论不能解释实验肯定是理论的问题，于是人们觉得，(1)式不够好，可能把更加细微的因素忽略了。

Boosting 会大幅度的减少方差，但是会微量的增加偏差。假设用一系列简单的决策树做boosting，每个简单决策树的偏差很小但方差很大，经过boost以后一系列的简单决策树权重相加后方差会减小，但是boosting的妙处在于他学习出来的权重能保证模型的偏差控制在一个有效的微小 …