# XGBoost

[XGBoost: A Scalable Tree Boosting System](https://arxiv.org/pdf/1603.02754.pdf)

用Taylor二阶展开，舍弃高阶项，然后融合正则项，可以得到解析解。\
[Introduction to Boosted Trees ](http://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf) Tianqi Chen

[Introduction to Boosted Trees](http://xgboost.readthedocs.io/en/latest/model.html)

![](https://2270971654-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-M7DcNFhVrwIk3Tks_pB%2Fsync%2F5f93fa93d4a804e881a116ec885cb38bd24f4907.png?generation=1589383941227123\&alt=media)

## Split Finding Algorithm

![](https://2270971654-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-M7DcNFhVrwIk3Tks_pB%2Fsync%2F649ec2bd0f9c69dcab477bceaa6994571f19943f.png?generation=1589383941597202\&alt=media)

![](https://2270971654-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-M7DcNFhVrwIk3Tks_pB%2Fsync%2F9831bf27b19b4ca090f2becb4a05ad2b2af10f6d.png?generation=1589383941353409\&alt=media)第一种分裂方法跟传统GBDT差不多，对连续值排序，然后找出最佳分割点

第二种近似方法，基于百分比选出候选分割点，进行特征离散化，然后从候选分割点选出最佳分割点。（快速，内存小，能处理稀疏特征）

第一种和第三种都是精确的分裂方法

第二种采用近似的方法，感觉和light GBM中的直方图类似

[机器学习算法中GBDT和XGBOOST的区别有哪些？](https://www.zhihu.com/question/41354392/answer/124274741)

学习率

通用的shrinkage，在每一次tree boosting后对weight做一个衰减，减少当前已学习到的树对模型的影响，同时也为后面的待学习的树留有一定生长空间。

##

[tqchen/xgboost/demo](https://github.com/tqchen/xgboost/tree/master/demo)\
[XGBoost：参数解释](http://blog.csdn.net/zc02051126/article/details/46711047)

[XGBoost参数调优完全指南（附Python代码）](http://blog.csdn.net/han_xiaoyang/article/details/52665396)

[XGBoost Parameters](http://xgboost.readthedocs.io/en/latest/parameter.html)

[XGBoost：在Python中使用XGBoost](http://blog.csdn.net/zc02051126/article/details/46771793)

![](https://2270971654-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-M7DcNFhVrwIk3Tks_pB%2Fsync%2F9e08c23dfd1d77f974f55369de2ae448c58ef7e3.jpg?generation=1589383941839097\&alt=media)

### 参考佳文

[Introduction to Boosted Trees](http://xgboost.readthedocs.io/en/latest/model.html)

[GBM之GBRT总结](http://nanjunxiao.github.io/2015/08/05/GBM%E4%B9%8BGBRT%E6%80%BB%E7%BB%93/)\
[Boosted Tree](http://www.52cs.org/?p=429)

[DART:Dropouts meet Multiple Additive Regression Trees](https://zhuanlan.zhihu.com/p/24309153)

{% embed url="<https://mp.weixin.qq.com/s/o3-LqVgoc4p8sSnmvy6Fxw>" %}
