数据挖掘考试题库.doc

数据挖掘是利用算法从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这一过程包含了概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等多项功能。数据挖掘的应用名称广泛，如知识发现、数据分析、数据融合和决策支持等。数据挖掘在多个领域具有重要应用价值，可帮助企业更好地理解客户、预测市场趋势、提高营销效果等。 在数据挖掘的过程中，粒度的概念至关重要。粒度指的是数据仓库中数据单位所保存数据的细化或综合程度，直接关系到数据量的大小和数据仓库能够提供的查询细节程度。数据仓库通常采用不同的粒度组织数据方式，比如简单堆积结构、轮转综合结构、简单直接结构和连续结构等。 数据仓库设计通常分为三个层面：概念模型设计、逻辑模型设计和物理数据模型设计。概念模型设计聚焦于系统边界界定和主题域的确定；逻辑模型设计侧重于主题域分析、粒度层次划分、数据分割策略、关系模式定义和记录系统定义；物理数据模型设计则关注数据存储结构、存放位置、存储分配和索引策略等，同时考虑I/O存取时间、空间利用率和维护成本等因素。 在数据挖掘之前，原始数据的预处理是必不可少的步骤。原始业务数据通常来源于多个数据库或数据仓库，结构和规则各异，存在大量杂乱无序和重复不完整的情况。预处理的目的是整理数据使之符合数据挖掘的要求，提高挖掘效率和准确性。预处理包括数据清洗、数据集成、数据变换和数据归约等方法。 数据清洗旨在填充空缺值、识别孤立点、去除噪声和无关数据；数据集成将多数据源中的数据结合存放；数据变换将数据转换为适合挖掘的形式；数据归约则通过缩小数据取值范围，使数据更适合挖掘算法，同时保留原始数据的分析结果。 处理空缺值是数据预处理的重要内容之一，常见的方法有忽略记录、去掉属性、手工填写、使用默认值、使用属性平均值、使用同类样本平均值和预测最可能的值等。 分箱和数据平滑是数据预处理中常见的技术。分箱方法如统一权重法、统一区间法、最小熵法和自定义区间法，用于将连续属性的值分入不同区间。数据平滑方法如平均值法、边界值法和中值法，用于减少数据中的随机波动。数据规范化是将数据按比例缩放，以适应特定范围如0.0至1.0之间的处理，常用的规范化方法有最大-最小规范化、零-均值规范化和小数定标规范化。 数据归约的目的是减少数据立方体的维数，提高挖掘效率，常用的归约方法包括数据立方体聚集、维归约、数据压缩、数值压缩和离散化与概念分层。维归约尤其重要，它有助于去除不重要的属性，减少数据量。 聚类分析与分类是数据挖掘中的核心概念。聚类是将数据分组为多个簇，使得同一簇内的对象相似度高，不同簇的对象差异大。分类则依赖于预先定义的类别和带标签的训练实例，属于有指导学习。聚类是无指导学习，不需要预先定义的类。聚类分析在商业、生物等多个领域具有广泛的应用，如帮助市场分析人员发现客户群、推导生物分类等。