python None 和 NaN

本文轉載自查看原文 2018-09-17 20:53 2037 Python

python原生的None和pandas, numpy中的numpy.NaN盡管在功能上都是用來標示空缺數據。但它們的行為在很多場景下確有一些相當大的差異。由於不熟悉這些差異，曾經給我的工作帶來過不少麻煩。　特此整理了一份詳細的實驗，比較None和NaN在不同場景下的差異。

實驗的結果有些在意料之內，有些則讓我大跌眼鏡。希望讀者看過此文后會None和NaN這對“小妖精”有更深的理解。

為了理解本文的內容,希望本文的讀者需要對pandas的Series使用有一定的經驗。

首先，導入所需的庫

In[2]:

數據類型?

None是一個python特殊的數據類型，但是NaN卻是用一個特殊的float

In[3]:

Out[3]:

In[4]:

Out[4]:

能作為dict的key?

In[5]:

Out[5]:

In[6]:

Out[6]:

In[7]:

Out[7]:

都可以，而且會被認為是不同的key

Series函數中的表現

Series.map

In[8]:

Out[8]:

In[9]:

Out[9]:

可以看到None和NaN都會替換成了1

In[10]:

Out[10]:

同樣None和NaN都會替換成了1

In[11]:

Out[11]:

將None替換成1的要求被忽略了

In[12]:

Out[12]:

將NaN替換成1的要求被忽略了

總結: 用Series.map對None進行替換時,會“順便”把NaN也一起替換掉；NaN也會順便把None替換掉。

如果None和NaN分別定義了不同的映射數值，那么只有一個會生效。

Series.replace中的表現

In[13]:

Out[13]:

In[14]:

Out[14]:

In[15]:

Out[15]:

和Series.map的情況類似,指定了None的替換值后,NaN會被替換掉;反之亦然。

對函數的支持

numpy有不少函數可以自動處理NaN。

In[16]:

Out[16]:

但是None不能享受這些函數的便利，如果數據包含的None的話會報錯

In[17]:

unsupported operand type(s) for +: ‘int’ and ‘NoneType’

pandas中也有不少函數支持NaN卻不支持None。(畢竟pandas的底層是numpy)

In[18]:

Out[18]:

In[19]:

unorderable types: int() > NoneType()

對容器數據類型的影響

混入numpy.array的影響

如果數據中含有None,會導致整個array的類型變成object。

In[20]:

Out[20]:

而np.NaN盡管會將原本用int類型就能保存的數據轉型成float，但不會帶來上面這個問題。

In[21]:

Out[21]:

混入Series的影響

下面的結果估計大家能猜到

In[22]:

Out[22]:

下面的這個就很意外的吧

In[23]:

Out[23]:

pandas將None自動替換成了NaN！

In[24]:

Out[24]:

卻是Object類型的None被替換成了float類型的NaN。這么設計可能是因為None無法參與numpy的大多數計算，而pandas的底層又依賴於numpy，因此做了這樣的自動轉化。

不過如果本來Series就只能用object類型容納的話， Series不會做這樣的轉化工作。

In[25]:

Out[25]:

如果Series里面都是None的話也不會做這樣的轉化

In[26]:

Out[26]:

其它的數據類型是bool時，也不會做這樣的轉化。

In[27]:

Out[27]:

等值性判斷

單值的等值性比較

下面的實驗中None和NaN的表現會作為后面的等值性判斷的基准(后文稱為基准)

In[28]:

Out[28]:

In[29]:

Out[29]:

In[30]:

Out[30]:

在tuple中的情況

這個不奇怪

In[31]:

Out[31]:

這個也不意外

In[32]:

Out[32]:

但是下面這個實驗NaN的表現和基准不一致

In[33]:

Out[33]:

在numpy.array中的情況

In[34]:

Out[34]:

In[35]:

Out[35]:

In[36]:

Out[36]:

和基准的表現一致。

但是大部分情況我們希望上面例子中，我們希望左右兩邊的array被判定成一致。這時可以用numpy.testing.assert_equal函數來處理。注意這個函數的表現同assert，不會返回True, False，而是無反應或者raise Exception

In[37]:

               
Python

                 1 
               
                np 
                . 
                testing 
                . 
                assert_equal 
                ( 
                np 
                . 
                array 
                ( 
                [ 
                1 
                , 
                NaN 
                ] 
                ) 
                , 
                np 
                . 
                array 
                ( 
                [ 
                1 
                , 
                NaN 
                ] 
                ) 
                )

它也可以處理兩邊都是None的情況

In[38]:

               
Python

                 1 
               
                np 
                . 
                testing 
                . 
                assert_equal 
                ( 
                np 
                . 
                array 
                ( 
                [ 
                1 
                , 
                None 
                ] 
                ) 
                , 
                np 
                . 
                array 
                ( 
                [ 
                1 
                , 
                None 
                ] 
                ) 
                )

但是一邊是None，一邊是NaN時會被認為兩邊不一致, 導致AssertionError

In[39]:

               
Python

                 1 
               
                 2 
               
                 3 
               
                 4 
               
                try 
                : 
               
                np 
                . 
                testing 
                . 
                assert_equal 
                ( 
                np 
                . 
                array 
                ( 
                [ 
                1 
                , 
                NaN 
                ] 
                ) 
                , 
                np 
                . 
                array 
                ( 
                [ 
                1 
                , 
                None 
                ] 
                ) 
                ) 
               
                except 
                Exception 
                as 
                e 
                : 
               
                print 
                ( 
                type 
                ( 
                e 
                ) 
                , 
                e 
                )

               
Python

                 1 
               
                 2 
               
                 3 
               
                 4 
               
                 5 
               
                 6 
               
                & 
                lt 
                ; 
                class 
                'assertionerror' 
                = 
                "" 
                & 
                gt 
                ; 
               
                Arrays  
                are  
                not 
                equal 
               
                ( 
                mismatch 
                50.0 
                % 
                ) 
               
                x 
                : 
                array 
                ( 
                [ 
                   
                1. 
                , 
                   
                nan 
                ] 
                ) 
               
                y 
                : 
                array 
                ( 
                [ 
                1 
                , 
                None 
                ] 
                , 
                dtype 
                = 
                object 
                )

在Series中的情況

下面兩個實驗中的表現和基准一致

In[40]:

Out[40]:

In[41]:

Out[41]:

但是None和基准的表現不一致。

In[42]:

Out[42]:

和array類似，Series也有專門的函數equals用於判斷兩邊的Series是否整體看相等

In[43]:

Out[43]:

In[44]:

Out[44]:

In[45]:

Out[45]:

比numpy.testing.assert_equals更智能些，三種情況下都能恰當的處理

在DataFrame merge中的表現

兩邊的None會被判為相同

In[46]:

Out[46]:

	A
0	None
1	a

兩邊的NaN會被判為相同

In[47]:

Out[47]:

	A
0	NaN
1	a

無論兩邊都是None,都是NaN，還是都有,相關的列都會被正確的匹配。注意一邊是None,一邊是NaN的時候。會以左側的結果為准。

In[48]:

Out[48]:

	A
0	None
1	a

In[49]:

Out[49]:

	A
0	NaN
1	a

注意

這和空值在postgresql等sql數據庫中的表現不一樣，在數據庫中， join時兩邊的空值會被判定為不同的數值

在groupby中的表現

In[50]:

Out[50]:

可以看到(1, NaN)對應的組直接被忽略了

In[51]:

Out[51]:

(1,None)的組也被直接忽略了

In[52]:

Out[52]:

那么上面這個結果應該沒啥意外的

總結

DataFrame.groupby會忽略分組列中含有None或者NaN的記錄

支持寫入數據庫?

往數據庫中寫入時NaN不可處理，需轉換成None,否則會報錯。這個這里就不演示了。

相信作為pandas老司機，至少能想出兩種替換方法。

In[53]:

Out[53]:

方案１

In[54]:

Out[54]:

方案２

In[55]:

Out[55]:

然而這么就覺得完事大吉的話就圖樣圖森破了，看下面的例子

In[56]:

Out[56]:

In[57]:

Out[57]:

In[58]:

Out[58]:

當其他數據是int或float時,Series又一聲不吭的自動把None替換成了NaN。

這時候可以使用第三種方法處理

In[59]:

Out[59]:

where語句會遍歷s中所有的元素，逐一檢查條件表達式，如果成立，從原來的s取元素；否則用None填充。這回沒有自動替換成NaN

None vs NaN要點總結

在pandas中，如果其他的數據都是數值類型， pandas會把None自動替換成NaN, 甚至能將s[s.isnull()]= None,和s.replace(NaN, None)操作的效果無效化。這時需要用where函數才能進行替換。
None能夠直接被導入數據庫作為空值處理，包含NaN的數據導入時會報錯。
numpy和pandas的很多函數能處理NaN，但是如果遇到None就會報錯。
None和NaN都不能被pandas的groupby函數處理，包含None或者NaN的組都會被忽略。

等值性比較的總結:（True表示被判定為相等）

	None對None	NaN對NaN	None對NaN
單值	True	False	False
tuple(整體)	True	True	False
np.array(逐個)	True	False	False
Series(逐個)	False	False	False
assert_equals	True	True	False
Series.equals	True	True	True
merge	True	True	True

由於等值性比較方面，None和NaN在各場景下表現不太一致，相對來說None表現的更穩定。

為了不給自己惹不必要的麻煩和額外的記憶負擔。實踐中，建議遵循以下三個原則即可

在用pandas和numpy處理數據階段將None,NaN統一處理成NaN,以便支持更多的函數。
如果要判斷Series,numpy.array整體的等值性，用專門的Series.equals,numpy.array函數去處理，不要自己用==判斷 *
如果要將數據導入數據庫，將NaN替換成None

轉自：http://python.jobbole.com/87266/