XGBoost

XGBoost: A Scalable Tree Boosting System

用Taylor二阶展开,舍弃高阶项,然后融合正则项,可以得到解析解。 Introduction to Boosted Trees Tianqi Chen

Introduction to Boosted Trees

Split Finding Algorithm

第一种分裂方法跟传统GBDT差不多,对连续值排序,然后找出最佳分割点

第二种近似方法,基于百分比选出候选分割点,进行特征离散化,然后从候选分割点选出最佳分割点。(快速,内存小,能处理稀疏特征)

第一种和第三种都是精确的分裂方法

第二种采用近似的方法,感觉和light GBM中的直方图类似

机器学习算法中GBDT和XGBOOST的区别有哪些?

学习率

通用的shrinkage,在每一次tree boosting后对weight做一个衰减,减少当前已学习到的树对模型的影响,同时也为后面的待学习的树留有一定生长空间。

tqchen/xgboost/demo XGBoost:参数解释

XGBoost参数调优完全指南(附Python代码)

XGBoost Parameters

XGBoost:在Python中使用XGBoost

参考佳文

Introduction to Boosted Trees

GBM之GBRT总结 Boosted Tree

DART:Dropouts meet Multiple Additive Regression Trees

Last updated

Was this helpful?