DataFrame中的空值處理

數據清洗是一項復雜且繁瑣的工作，同時也是整個數據分析過程中最為重要的環節。

在python中空值被顯示為NaN。首先，我們要構造一個包含NaN的DataFrame對象。

>>> import numpy as np
>>> import pandas as pd
>>> from pandas import Series,DataFrame
>>> from numpy import nan as NaN
>>> data = DataFrame([[12,'man','13865626962'],[19,'woman',NaN],[17,NaN,NaN],[NaN,NaN,NaN]],columns=['age','sex','phone'])
>>> data
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman          NaN
2  17.0    NaN          NaN
3   NaN    NaN          NaN

　　

刪除NaN

刪除NaN所在的行

刪除表中全部為NaN的行

>>> data.dropna(axis=0, how='all')
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman          NaN
2  17.0    NaN          NaN

　　

刪除表中任何含有NaN的行

>>> data.dropna(axis=0, how='any')
    age  sex        phone
0  12.0  man  13865626962

　　

刪除NaN所在的列

刪除表中全部為NaN的列

>>> data.dropna(axis=1, how='all')
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman          NaN
2  17.0    NaN          NaN
3   NaN    NaN          NaN

 

刪除表中任何含有NaN的列

>>> data.dropna(axis=1, how='any')
Empty DataFrame
Columns: []
Index: [0, 1, 2, 3]

　　

注意：axis 就是”軸，數軸“的意思，對應多維數組里的”維“。此處作者的例子是二維數組，所以，axis的值對應表示：0軸（行），1軸（列）

填充NaN

如果不想過濾（去除）數據，我們可以選擇使用fillna()方法填充NaN，這里，作者使用數值’0’替代NaN,來填充DataFrame。

>>> data.fillna(0)
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman            0
2  17.0      0            0
3   0.0      0            0

　　

我們還可以通過字典來填充，以實現對不同的列填充不同的值。

>>> data.fillna({'sex':233,'phone':666})
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman          666
2  17.0    233          666
3   NaN    233          666