多变量决策树

最新推荐文章于 2025-06-15 01:42:38 发布

原创

最新推荐文章于 2025-06-15 01:42:38 发布 · 9.2k 阅读

103 ·

CC 4.0 BY-SA版权

文章标签：

#决策树 #机器学习 #算法 #python

本文详细介绍了如何使用PyTorch实现多变量决策树，包括数据集的准备、线性模型定义、损失函数设计、决策树节点构建、模型训练与评估等步骤。通过递归方式生成决策树，并实现预测和评估功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简单介绍

本文使用PyTorch进行多变量决策树的实现. 多变量决策树的结构为二叉树，实际上是多个线性模型的组合，原理可见下图：

图4.13表示的是多变量决策树的结构，图4.14表示的是对应的分类边界

代码实现

定义数据集

首先将书中的数据集转换为方便计算机操作的形式，数据集如下图所示：

首先将各离散属性值进行编号:
颜色{青绿=0, 乌黑=1, 浅白=2}, 根蒂{蜷缩=0, 稍蜷=1, 硬挺=2}, 敲声{浊响=0, 沉闷=1, 清脆=2}, 纹理{清晰=0, 稍糊=1, 模糊=2}, 脐部{凹陷=0, 稍凹=1, 平坦=2}, 触感{硬滑=0, 软粘=1}, 结果{坏瓜=0, 好瓜=1}.
属性的排列顺序为图中的从左到右, 对应的代码如下:

import torch

# create training dataset
train_dataset=[[0, 0, 0, 0, 0, 0, 1],[1, 0, 1, 0, 0, 0, 1],
               [1, 0, 0, 0, 0, 0, 1],[0, 0, 1, 0, 0, 0 ,1],
               [2, 0, 0, 0, 0, 0, 1],[0, 1, 0, 0, 1, 1, 1],
               [1, 1, 0, 1, 1, 1, 1],[1, 1, 0, 0, 1, 0, 1],
               [1, 1, 1, 1, 1, 0, 0],[0, 2, 2, 0, 2, 1, 0],
               [2, 2, 2, 2, 2, 0, 0],[2, 0, 0, 2, 2, 1, 0],
               [0, 1, 0, 1, 0, 0, 0],[2, 1, 1, 1, 0, 0, 0],
               [1, 1, 0, 0, 1, 1, 0],[2, 0, 0, 2, 2, 0, 0],
               [0, 0, 1, 1, 1, 0, 0]
]