Andrew-Wu 基本理论02--集成学习(Ensemble learning)

发布网友发布时间：2024-10-07 12:30

共1个回答

热心网友时间：2024-11-30 19:36

集成学习是一种通过结合多个学习器提升性能的方法，它包括多分类系统和基于委员会的学习。核心目标是创建独立的弱学习器，以提高整体算法的准确性。其基础假设是基学习器的误差独立，通过选择和训练不同的学习器，如决策树，来实现这一点。

集成学习的策略多样，包括平均法（如简单和加权平均，加权法需要合理确定权重）、投票法（如绝对和相对多数投票，以及加权投票）以及学习法（如stacking，通过次级学习器调整初级学习器的权重）。bagging（有放回和无放回）通过自助采样降低方差，而boosting则通过调整样本分布以减少偏差。两种方法的区别在于，bagging倾向于分散风险，boosting则聚焦于提高性能。

具体应用中，如投票法通过多个决策树集成形成随机森林，Adaboost利用boosting策略自适应提升弱学习器，而GBDT（如XGBoost和LightGBM）结合了bagging和boosting的特点。每种方法都有其优点和适用场景，理解这些策略有助于优化模型并提高预测能力。