pandas nan值处理

创建DataFrame样例数据

>>> import pandas as pd
>>> import numpy as np
>>> data = pd.DataFrame({'a': [1, 2, 4, np.nan,7, 9], 'b': ['a', 'b', np.nan, np.nan, 'd', 'e'], 'c': [np.nan, 0, 4, np.nan, np.nan, 5], 'd': [np.nan, np.nan, np.nan, np.nan, np.nan, np.nan]})
>>> data
     a    b    c   d
0  1.0    a  NaN NaN
1  2.0    b  0.0 NaN
2  4.0  NaN  4.0 NaN
3  NaN  NaN  NaN NaN
4  7.0    d  NaN NaN
5  9.0    e  5.0 NaN

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11

 

判断值value是否为NaN

>>> np.isnan(value)    # return Ture or False #
>>> value is np.nan    # return Ture or False #

    1
    2

 

删除NaN所在行

'''use dropna(axis=0,how='all')'''
>>> data.dropna(axis=0,how='all')
     a    b    c   d
0  1.0    a  NaN NaN
1  2.0    b  0.0 NaN
2  4.0  NaN  4.0 NaN
4  7.0    d  NaN NaN
5  9.0    e  5.0 NaN

    1
    2
    3
    4
    5
    6
    7
    8

 

删除表中含有任何NaN的行

'''use dropna(axis=0,how='any')'''
>>> data.dropna(axis=0,how='any')
Empty DataFrame
Columns: [a, b, c, d]
Index: []

    1
    2
    3
    4
    5

 

删除表中全部为NaN的列

'''use dropna(axis=1, how='all')'''
>>> data.dropna(axis=1, how='all')
     a    b    c
0  1.0    a  NaN
1  2.0    b  0.0
2  4.0  NaN  4.0
3  NaN  NaN  NaN
4  7.0    d  NaN
5  9.0    e  5.0

    1
    2
    3
    4
    5
    6
    7
    8
    9

 

删除表中含有任何NaN的列

'''use dropna(axis=1, how='any')'''
>>> data.dropna(axis=1, how='any')
Empty DataFrame
Columns: []
Index: [0, 1, 2, 3, 4, 5]

    1
    2
    3
    4
    5