决策树_ID3算法.pptx

"决策树_ID3算法" 决策树是一种典型的分类方法，通过对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。 决策树的优点包括：推理过程容易理解，决策推理过程可以表示成 If Then 形式；推理过程完全依赖于属性变量的取值特点；可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。 决策树技术发现数据模式和规则的核心是归纳算法。归纳是从特殊到一般的过程。归纳推理从若干个事实中表征出的特征、特性和属性中，通过比较、总结、概括而得出一个规律性的结论。 分类技术是一种根据输入数据集建立分类模型的系统方法。分类技术一般是用一种学习算法确定分类模型，该模型可以很好地拟合输入数据中类标号和属性集之间的联系。学习算法得到的模型不仅要很好拟合输入数据，还要能够正确地预测未知样本的类标号。 分类方法的实例包括：决策树分类法、基于规则的分类法、神经网络、支持向量机、朴素贝叶斯分类方法等。 解决分类问题的一般方法包括两个步骤：模型构建（归纳）和预测应用（推论）。模型构建是通过对训练集合的归纳，建立分类模型。预测应用是根据建立的分类模型，对测试集合进行测试。 归纳学习的过程就是寻找一般化描述的过程。这种一般性描述能够解释给定的输入数据，并可以用来预测新的数据。归纳学习由于依赖于检验数据，因此又称为检验学习。归纳学习存在一个基本的假设：任一假设如果能够在足够大的训练样本集中很好的逼近目标函数，则它也能在未见样本中很好地逼近目标函数。 决策树算法是解决分类问题的一种方法，通过对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树的优点包括：推理过程容易理解，决策推理过程可以表示成 If Then 形式；推理过程完全依赖于属性变量的取值特点；可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。