机器学习----决策树学习记录、信息熵详解

什么是决策树？

决策树是广泛用于分类和回归的模型，本质上是一层层if/else问题中进行学习，并得出结论的。

决策树的思路在生活中很常见，比如公司招聘一个机器学习工程师流程：

这一系列问题呢就可以表示一颗决策树，树的每一个叶子节点代表一个问题或者结果。即为了分类录用和考察，利用三个特征论文、研究生、GPA、项目来构建一个模型。

下面简单用鸢尾花数据实现以下：

import numpy as np
import matplotlib.pyplot as plot
from sklearn import datasets
iris = datasets.load_iris()
X=iris.data[:,2:]
y=iris.target

plot.scatter(X[y==0,0],X[y==0,1])#y==0时索引对应X的特征，即类别0使对应的X
plot.scatter(X[y==1,0],X[y==1,1])
plot.scatter(X[y==2,0],X[y==2,1])

from sklearn.tree import DecisionTreeClassifier
#构建函数，max_depth决策树深度，criterion使entropy（熵下面介绍）
dt = DecisionTreeClassifier