您的位置：首页 > 编程语言 > Python开发

Python Pandas对缺失值的处理方法

2019-10-12 18:05 1851 查看

Pandas使用这些函数处理缺失值：

  • isnull和notnull：检测是否是空值，可用于df和series
  • dropna：丢弃、删除缺失值 axis : 删除行还是列，{0 or ‘index', 1 or ‘columns'}, default 0
  • how : 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除
  • inplace : 如果为True则修改当前df，否则返回新的df
  • fillna：填充空值
      value：用于填充的值，可以是单个值，或者字典（key是列名，value是值）
    • method : 等于ffill使用前一个不为空的值填充forword fill；等于bfill使用后一个不为空的值填充backword fill
    • axis : 按行还是列填充，{0 or ‘index', 1 or ‘columns'}
    • inplace : 如果为True则修改当前df，否则返回新的df
    import pandas as pd

    实例：特殊Excel的读取、清洗、处理

    步骤1：读取excel的时候，忽略前几个空行

    studf = pd.read_excel("./datas/student_excel/student_excel.xlsx", skiprows=2)
    studf

    Unnamed: 0 姓名 科目 分数
    0 NaN 小明 语文 85.0
    1 NaN NaN 数学 80.0
    2 NaN NaN 英语 90.0
    3 NaN NaN NaN NaN
    4 NaN 小王 语文 85.0
    5 NaN NaN 数学 NaN
    6 NaN NaN 英语 90.0
    7 NaN NaN NaN NaN
    8 NaN 小刚 语文 85.0
    9 NaN NaN 数学 80.0
    10 NaN NaN 英语 90.0

    步骤2：检测空值

    studf.isnull()

    Unnamed: 0 姓名 科目 分数
    0 True False False False
    1 True True False False
    2 True True False False
    3 True True True True
    4 True False False False
    5 True True False True
    6 True True False False
    7 True True True True
    8 True False False False
    9 True True False False
    10 True True False False 

    studf["分数"].isnull()
    0 False
1 False
2 False
3 True
4 False
5 True
6 False
7 True
8 False
9 False
10 False
Name: 分数, dtype: bool
    studf["分数"].notnull()
    0 True
1 True
2 True
3 False
4 True
5 False
6 True
7 False
8 True
9 True
10 True
Name: 分数, dtype: bool
    # 筛选没有空分数的所有行studf.loc[studf["分数"].notnull(), :]

    Unnamed: 0 姓名 科目 分数
    0 NaN 小明 语文 85.0
    1 NaN NaN 数学 80.0
    2 NaN NaN 英语 90.0
    4 NaN 小王 语文 85.0
    6 NaN NaN 英语 90.0
    8 NaN 小刚 语文 85.0
    9 NaN NaN 数学 80.0
    10 NaN NaN 英语 90.0

    步骤3：删除掉全是空值的列

    studf.dropna(axis="columns", how='all', inplace=True)
    studf

    姓名 科目 分数
    0 小明 语文 85.0
    1 NaN 数学 80.0
    2 NaN 英语 90.0
    3 NaN NaN NaN
    4 小王 语文 85.0
    5 NaN 数学 NaN
    6 NaN 英语 90.0
    7 NaN NaN NaN
    8 小刚 语文 85.0
    9 NaN 数学 80.0
    10 NaN 英语 90.0

    步骤4：删除掉全是空值的行

    studf.dropna(axis="index", how='all', inplace=True)
    studf

    姓名 科目 分数
    0 小明 语文 85.0
    1 NaN 数学 80.0
    2 NaN 英语 90.0
    4 小王 语文 85.0
    5 NaN 数学 NaN
    6 NaN 英语 90.0
    8 小刚 语文 85.0
    9 NaN 数学 80.0
    10 NaN 英语 90.0

    步骤5：将分数列为空的填充为0分

    studf.fillna({"分数":0})

    姓名 科目 分数
    0 小明 语文 85.0
    1 NaN 数学 80.0
    2 NaN 英语 90.0
    4 小王 语文 85.0
    5 NaN 数学 0.0
    6 NaN 英语 90.0
    8 小刚 语文 85.0
    9 NaN 数学 80.0
    10 NaN 英语 90.0 

    # 等同于studf.loc[:, '分数'] = studf['分数'].fillna(0)
    studf

    姓名 科目 分数
    0 小明 语文 85.0
    1 NaN 数学 80.0
    2 NaN 英语 90.0
    4 小王 语文 85.0
    5 NaN 数学 0.0
    6 NaN 英语 90.0
    8 小刚 语文 85.0
    9 NaN 数学 80.0
    10 NaN 英语 90.0

    步骤6：将姓名的缺失值填充

    使用前面的有效值填充，用ffill：forward fill

    studf.loc[:, '姓名'] = studf['姓名'].fillna(method="ffill")
    studf

    姓名 科目 分数
    0 小明 语文 85.0
    1 小明 数学 80.0
    2 小明 英语 90.0
    4 小王 语文 85.0
    5 小王 数学 0.0
    6 小王 英语 90.0
    8 小刚 语文 85.0
    9 小刚 数学 80.0
    10 小刚 英语 90.0

    步骤7：将清洗好的excel保存

    studf.to_excel("./datas/student_excel/student_excel_clean.xlsx", index=False)

    总结

    以上就是我在处理客户端真实IP的方法，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。

    您可能感兴趣的文章:

    • 内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
    标签：  pandas 缺失值
    相关文章推荐
    新的分享
    章节导航