Machine Learning
  • Introduction
  • man
  • Linear model
    • Linear Regression
    • Generalized Linear Models
    • Nonlinear regression
  • bayes
    • bayesian network
    • Variational Bayesian inference
    • Gaussian Process Regression
  • Logistic Regression
    • L1 regularization
    • L2 regularization
    • softmax
    • Overflow and Underflow
  • SVM
    • C-SVM
    • C-SVM求解
  • EM
    • GMM
  • Maximum Entropy
    • IIS
  • HMM
    • viterbi algorithm
  • CRF
  • Random Forest
    • bagging
    • random forest
  • boosting
    • catboost
    • gradient boosting
    • Newton Boosting
    • online boosting
    • gcForest
    • Mixture models
    • XGBoost
    • lightGBM
    • SecureBoost
  • LDA
  • rank
    • RankNet
    • LambdaRank
    • SimRank
  • Factorization Machine
    • Field-aware Factorization Machine
    • xdeepFM
  • Clustering
    • BIRCH
    • Deep Embedding Clustering
  • Kalman filtering
  • word2vec
  • 关联规则挖掘
  • MATH-Mathematical Analysis
    • measure
  • MATH-probability
    • Variational Inference
    • Dirichlet分布
    • Gibbs Sampling
    • Maximum entropy probability distribution
    • Conjugate prior
    • Gaussian Process
    • Markov process
    • Poisson process
    • measure
    • Gumbel
  • MATH-Linear Algebra
    • SVD
    • SVD-推荐
    • PCA
    • Linear Discriminant Analysis
    • Nonnegative Matrix Factorization
  • MATH-Convex optimization
    • 梯度下降
    • 随机梯度下降
    • 牛顿法
    • L-BFGS
    • 最速下降法
    • 坐标下降法
    • OWL-QN
    • 对偶问题
    • 障碍函数法
    • 原对偶内点法
    • ISTA
    • ADMM
    • SAG
  • MATH-碎碎念
    • cost function
    • Learning Theory
    • sampling
    • Entropy
    • variational inference
    • basis function
    • Diffie–Hellman key exchange
    • wavelet transform
    • 图
    • Portfolio
    • 凯利公式
  • ML碎碎念
    • 特征
    • test
    • TF-IDF
    • population stability index
    • Shapley Values
  • 课件
    • xgboost算法演进
  • Time Series
  • PID
  • graph
    • SimRank
    • community detection
    • FRAUDAR
    • Anti-Trust Rank
    • Struc2Vec
    • graph theory
    • GNN
  • Anomaly Detection
    • Isolation Forest
    • Time Series
  • Dimensionality Reduction
    • Deep Embedded Clustering
  • Federated Learning
  • automl
  • Look-alike
  • KNN
  • causal inference
Powered by GitBook
On this page

Was this helpful?

automl

PreviousFederated LearningNextLook-alike

Last updated 1 year ago

Was this helpful?

一文盘点AutoML库(附PPT等链接) Autosklearn到底做了什么?

贝叶斯优化原理及应用[附XGBoost、LightGBM超参数调优代码][scikit-optimize] 综合考虑到质量和速度

SMBO算法的每个迭代步可以分为如下的步骤: 1.依据历史信息构造(超参,性能)的性能函数, 2.依照性能函数,选取最有可能是最小值的超参,并将这个点对应性能算出。 3.将新的(超参,性能)加入历史信息中,进行重复的迭代。

将SMBO算法实例化到SMAC算法,所对应的是则是: 1.性能模型是随机森林的高斯过程模型。 2.通过局部搜索和全局的随即选点,算出多个最有可能达到最小值的点进行进一步筛选。 3.筛选点的过程是一个bandit问题,这里SMAC算法通过intensify过程使用经可能少的资源找到最有超参。

思路两类:一种用贝叶斯在可能性更高的区域以提高搜索效率, 另一种方法是在训练时终止学习,从而高效地搜索参数,例如逐层减半(Successive Halving),超带宽(Hyperband)等。

最初级的 RandomSearch和GridSearch , 稍微高级一点的: Genetic algorithm 然后加入贝叶斯 Hyperopt (TPE) , Spearmint(高斯过程代理) 和 SMAC(随机森林回归)(目前效果最好的) optuna除了用贝叶斯选择参数外,还主要在剪枝(pruning mechanism)上做了优化。

然后工程角度, SMAC可以到参数服务器进行异步并行化,还有用 , Optuna支持异步分布式优化,

现在目前最好的xgboost类的自动调参工具是SMAC,比Hyperopt、BOHB. 而且如果是定期训练,train数据没啥大变化的,可以将历史训练经验加载进去,可以进一步加速。 但是官方的SMAC3包不支持异步并行,可以用微软的nni,而且也支持神经网路结构的调参。

现在的自动化调参都支持将特征处理方法的选择当做参数一起调参,可以把这个剥离出来,特征处理常规化,而且这个对模型效果影响不大。

https://www.jiqizhixin.com/articles/2019-11-19
https://cloud.tencent.com/developer/news/313229
https://blog.csdn.net/wonner_/article/details/103511168
https://github.com/automl/SMAC3
从Few-shot Learning再次认识机器学习