数据挖掘流程

1.数据挖掘流程

2.数据集选取与构造

根据任务的目的，选择数据集（公开现有），或者从实际中构造自己需要的数据，如通信数据一般采用抓包解析等采集方式，此外还有大量的社交、图像、音视频等。

3.数据预处理：

 提高数据质量（准确性、完整性和一致性），包括数据清理、数据集成、数据规约和数据变换方法。 

(1)数据清理

忽略元祖、人工填写缺失值、使用属性的中心度量填充、给定同一类所有样本的属性均值或中位数填充、最可能的值填充

(2)数据集成

实体识别、冗余和相关分析(卡方检验，相关系数，协方差等)

(3)数据归约

维规约(小波变换和主成分分析，最常用)、数量规约(较小的数据替代原始数据)、数据压缩(有损无损两种，尤其对于图像视频等多媒体常用)

(4)数据变换和数据离散化

数据变换:光滑，属性构造，聚集，规范化，离散化和概念分层。

4.数据转换<