一文归纳Ai调参炼丹之法

1 超参数优化

调参即超参数优化，是指从超参数空间中选择一组合适的超参数，以权衡好模型的偏差(bias)和方差(variance)，从而提高模型效果及性能。常用的调参方法有：

• 人工手动调参
• 网格/随机搜索(Grid / Random Search)
• 贝叶斯优化(Bayesian Optimization)

注：超参数 vs 模型参数差异
超参数是控制模型学习过程的(如网络层数、学习率)；
模型参数是通过模型训练学习后得到的（如网络最终学习到的权重值）。

2 人工调参

手动调参需要结合数据情况及算法的理解，优化调参的优先顺序及参数的经验值。

不同模型手动调参思路会有差异，如随机森林是一种bagging集成的方法，参数主要有n_estimators（子树的数量）、max_depth（树的最大生长深度）、max_leaf_nodes（最大叶节点数）等。(此外其他参数不展开说明)
对于n_estimators：通常越大效果越好。参数越大，则参与决策的子树越多，可以消除子树间的随机误差且增加预测的准度，以此降低方差与偏差。
对于max_depth或max_leaf_nodes：通常对效果是先增后减的。取值越大则子树复杂度越高，偏差越低但方差越大。