python解决pandas处理缺失值为空字符串
2017-03-24 20:04
211 查看
踩坑记录:
用pandas来做csv的缺失值处理时候发现奇怪BUG,就是excel打开csv文件,明明有的格子没有任何东西,当然,我就想到用pandas的dropna()或者fillna()来处理缺失值。但是pandas读取csv文件后发现那个空的地方isnull()竟然是false,就是说那个地方有东西。。。后来经过排查发现看似什么都没有的地方有空字符串,故pandas认为那儿不是缺失值,所以就不能用dropna()或者fillna()来处理。
解决思路:先用正则将空格匹配出来,然后全部替换为NULL,再在用pandas读取csv时候指定 read_csv(na_values='NULL')就是将NULL认为是nan处理,接下来就可以用dropna()或者fillna()来处理了
用pandas来做csv的缺失值处理时候发现奇怪BUG,就是excel打开csv文件,明明有的格子没有任何东西,当然,我就想到用pandas的dropna()或者fillna()来处理缺失值。但是pandas读取csv文件后发现那个空的地方isnull()竟然是false,就是说那个地方有东西。。。后来经过排查发现看似什么都没有的地方有空字符串,故pandas认为那儿不是缺失值,所以就不能用dropna()或者fillna()来处理。
解决思路:先用正则将空格匹配出来,然后全部替换为NULL,再在用pandas读取csv时候指定 read_csv(na_values='NULL')就是将NULL认为是nan处理,接下来就可以用dropna()或者fillna()来处理了
相关文章推荐
- python解决pandas处理缺失值为空字符串的问题
- 利用Python进行数据分析 pandas基础: 处理缺失数据
- 利用Python进行数据分析(10) pandas基础: 处理缺失数据
- 利用Python进行数据分析(10) pandas基础: 处理缺失数据
- python:pandas(4),缺失数据处理
- 使用Python Pandas处理亿级数据
- 在Python中利用Pandas库处理大数据的简单介绍
- python解决处理中文的问题
- python 处理中文时出现的错误'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)" 解决方法
- pandas io tools(使用python处理数据时候经常用到)
- Python cx_freeze打包工具处理问题思路及解决办法
- 学习Python大数据处理模块Pandas
- python处理字符串时出现的错误'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)" 解决方法
- python之xml文件处理的例子-问题描述及解决方法
- 使用Python Pandas处理亿级数据
- 使用Python Pandas处理亿级数据
- 【随笔记录】python 处理中文时出现的错误'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)" 解决方法
- python处理字符串时出现的错误'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128)" 解决方法
- 黄聪:解决python中文处理乱码,先要弄懂“字符”和“字节”的差别
- 解决python中文处理乱码,先要弄懂“字符”和“字节”的差别