决策树算法代码实现及注释（代码来自于机器学习实战）

最新推荐文章于 2023-11-04 16:20:04 发布

Troublemaker201407

最新推荐文章于 2023-11-04 16:20:04 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据 python 算法文章标签： Python 机器学习决策树

本文链接：https://blog.csdn.net/suhanjiao4897/article/details/78531580

本文介绍了决策树的基本思想，包括树形结构、基于熵的信息划分，并详细阐述了如何利用信息增益选择特征属性。同时，给出了决策树算法的Python代码实现，通过递归完成整个决策树的构建。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

决策树算法思想如下：

1.决策树就是一个树形结构，每一个非叶子节点可以在某一个特征属性上的判断，基于不同的判断条件，对数据进行划分为各个分支，每个分支代表这个特征属性在某个之于上的输出，每个叶子节点存放一个标签或者类别。

2.决策树算法利用熵来判断如果选择每次需要划分的特征属性；信息增益=划分前信息熵-按照此属性划分后的信息熵，或信息增益大于0，则说明划分后的不确定性减小了。划分是有效的。而信息增益最大的对应特征属性，即可作为此次划分的特征属性.

3.递归实现熵的计算和判断。从而完成整个决策树的划分。

代码实现如下：


#! /usr/bin/python
#coding=utf-8
from math import log
import operator
#假设决策树应用为海洋动物是否为鱼类的分类。
def  createDataSet():
	dataSet = [[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']] #每一行的每一列含义依次为（不浮出水面是否可以生存的值，是否有脚蹼的值，属于鱼类的值）
	labels = ['no surfacing','flippers']#两个特征项（不能浮出水面是否可以生存，脚蹼）
	return dataSet,labels
'''
dataSet：样本集合
''