第1关:缺失值处理
任务描述
本关任务:使用 python3 对实例数据中的变量做缺失值处理,梳理数据分析的流程。
相关知识
为了完成本关任务,你需要掌握:
1.缺失数据处理的方法;
2.pandas 处理真实数据技巧。
数据介绍
某商城的数据结构如下:
1.用户数据
分析思路
实例的目的是使用某商城多个品类下商品的历史销售数据,构建算法模型,预测用户在未来 5 天内,对某个目标品类下商品的购买意向。
这个实例需要我们提炼出分类的变量是否在未来的 5 天内有购买意愿。上面的数据提供了 3 个月的全部客户的购买行为,商品、用户信息数据。就可以确定大致的分析思路。采用一定的周期的数据来预测未来5天的购买意愿,例如采用使用 2 月 1 日至 2 月 15 日的数据提取自变量,2 月 16 日 - 2 月 20 日客户购买记作 1,不购买记作 0。
分析的主要思路如下:
(一).数据清洗
数据集完整性验证
数据集中是否存在缺失值
数据集中各特征数值应该如何处理
哪些数据是我们想要的,哪些是可以过滤掉的
将有价值数据信息做成新的数据源
去除无行为交互的商品和用户
去掉浏览量很大而购买量很少的用户(惰性用户或爬虫用户)
(二).数据理解与分析
掌握各个特征的含义
观察数据有哪些特点,是否可用来建模
可视化展示便于分析
用户的购买意向是否随着时间等因素变化
(三).特征提取
基于清洗后的数据集哪些特征是有价值的
分别对用户与商品以及其之间构成的行为进行特征提取