XGBoost

XGBoost: A Scalable Tree Boosting System

用Taylor二阶展开，舍弃高阶项，然后融合正则项，可以得到解析解。 Introduction to Boosted Trees Tianqi Chen

Introduction to Boosted Trees

Split Finding Algorithm

第一种分裂方法跟传统GBDT差不多，对连续值排序，然后找出最佳分割点

第二种近似方法，基于百分比选出候选分割点，进行特征离散化，然后从候选分割点选出最佳分割点。（快速，内存小，能处理稀疏特征）

第一种和第三种都是精确的分裂方法

第二种采用近似的方法，感觉和light GBM中的直方图类似

机器学习算法中GBDT和XGBOOST的区别有哪些？

学习率

通用的shrinkage，在每一次tree boosting后对weight做一个衰减，减少当前已学习到的树对模型的影响，同时也为后面的待学习的树留有一定生长空间。

tqchen/xgboost/demo XGBoost：参数解释

XGBoost参数调优完全指南（附Python代码）

XGBoost Parameters

XGBoost：在Python中使用XGBoost

参考佳文

Introduction to Boosted Trees

GBM之GBRT总结 Boosted Tree

DART:Dropouts meet Multiple Additive Regression Trees

https://mp.weixin.qq.com/s/o3-LqVgoc4p8sSnmvy6Fxwmp.weixin.qq.com