python将\N转为可计算的数值类型

最新推荐文章于 2024-11-06 19:23:39 发布

石小秀1995

最新推荐文章于 2024-11-06 19:23:39 发布

阅读量667

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/weixin_43852674/article/details/105044975

本文介绍了如何处理从Hive获取的数据，其中NaN值以'N'形式存在，导致无法直接使用dropna()函数。通过Python进行处理，成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

现在Hive工场下载下来的数据，nan值会显示为’\N’，并不能用dropna()将其drop掉。

python处理

在这里插入图片描述

new_data = data[['brand','modelname','firstactivetime','new_active_counts']].dropna() # 没用，drop不掉，因为\N被解读为str，不是nan值
new_data['new_active_counts'] = new_data['new_active_counts'].apply(lambda x:x.replace('\\N','0')) # 写\N会报错，虽然python显示的是\N，但其实要replace\\N
new_data = new_data.dropna()  # 没用，drop不掉
new_data['new_active_counts'] = new_data['new_active_counts'].apply(lambda x:int(float(x))) # 将str类型的0转换成int类型的0
new_data = new_data[~new_data['new_active_counts'].isin([0])]  # 相当于dropna(),但因为无法直接dropna，因此将\\N改为0，再将0去掉
new_data.head()