Python迭代和解析(1)：列表解析

解析、迭代和生成系列文章：https://www.cnblogs.com/f-ck-need-u/p/9832640.html

---

Python中的解析

Python支持各種解析(comprehension)操作，比如列表解析、集合解析、元組解析、字典解析。它們根據某些元素來創建(推導)出一個新的列表、集合、元組、字典等。所以有的地方也稱為推導，比如列表推導、集合推導等。

下面是一個列表解析的示例：

>>> [ i*2 for i in range(10) if i % 2 == 0 ]
[0, 4, 8, 12, 16]

這里是列表解析，因為使用的中括號[ xxxx ]，它表示根據條件推導出一個新的列表。Python中幾種內置類型的解析規則為：

• 如果使用的是中括號，表示列表解析
• 如果使用的是大括號，表示集合解析
• 如果使用的是大括號，且里面的元素是key:value模式，表示字典解析

注意：如果使用的是括號，表示的是生成器表達式，而不是解析。

例如：

# 集合解析
>>> { i*2 for i in "abcd"}
{'aa', 'cc', 'dd', 'bb'}

# 字典解析
>>> { k:v for k,v in zip(("one","two","three"),(1,2,3)) }
{'one': 1, 'two': 2, 'three': 3}
>>> { k: k*2 for k in "abcd" }
{'a': 'aa', 'b': 'bb', 'c': 'cc', 'd': 'dd'}

Python中還有其它解析模式，稍后會解釋。

數學概念中的解析

參考：https://en.wikipedia.org/wiki/List_comprehension

計算機語言中的解析來自於數學概念中的集合描述(對應於集合解析)。如下圖：

將此與下面的列表解析進行對應：

[ i * 2 for i in range(10) if i % 2 == 0 ]

其中：

• x ∈ N表示的是裝元素的容器，這個容器里的元素是解析時被迭代的對象
  • 這對應於列表解析中的range(10)，對於Python來說，只要是可迭代的數據對象，都可以作為元素的提供容器
• x是變量，是容器中的元素
  • 對應於列表解析中的i
• x² > 3表示的是謂詞，是可選的條件判斷式，用來篩選解析過程中的符合條件的元素
  • 這對應於列表解析中的if i % 2 == 0，注意，謂詞部分是可選的
• 2 * x表示的是外部表達式，用來生成新的列表/集合/字典/元組中的元素
  • 對應於列表解析中的i * 2
• {}意味着外部表達式的元素所存放的容器是集合容器
  • 對應於列表解析中的[]，表示新生成的元素是列表中的元素

解析操作是如何工作的

Python中的解析操作常用來生成各種數據容器，且生成的效率非常高，它在底層完全是以C的方式運行的。

在了解了數學中集合描述和解析的對應方式后，要理解解析的工作方式很簡單，以列表解析為例。

首先用迭代工具for對容器中的元素進行迭代，每個元素都經過謂詞進行篩選，對符合條件的元素執行外部表達式，每個外部表達式都生成一個新的元素，然后作為新列表的一個元素，從而推導出一個新的列表。

解析是一個表達式，在后面的文章中還會看到大部分解析可以寫成等價的函數map、filter等函數式，但解析的邏輯要更清晰且更簡潔。

與解析操作等價的普通循環

python中的解析行為由for這個迭代工具來迭代，它和普通的for循環邏輯一樣，但用法稍有不同。從前面的示例中也可以看出解析操作的外部表達式部分在for關鍵字的前面，而普通for循環的表達式則是在for關鍵字后面。

解析操作也能由普通的循環來生成。例如：

# for循環實現列表解析操作
L1 = []
for i in range(10):
  if i % 2 == 0 :
    L1.append(i * 2)


# 列表解析
L2 = [ i * 2 for i in range(10) if i % 2 == 0 ]

print(L1)
print(L2)

結果：

[0, 4, 8, 12, 16]
[0, 4, 8, 12, 16]

而且，解析操作比普通的for循環運行速度更快，解析操作在Python解釋器中是完全使用C來運行的，而普通for循環則是在python VM中通過步進的方式運行的。一般來說，解析操作和map函數速度差不多(解釋器中都是C的運行方式)，它們都要比普通for快上1-2倍。特別是要生成的元素較多時，解析操作往往要比等價的普通循環快上一倍多。

用解析來操作文件

對於open()打開的文件，有一個readlines()函數可以將所有行讀取到一個列表中，每一行都是這個列表中的一個元素。

以下是文件a.txt的文件內容：

first line
second line
third line

通過readlines()讀取a.txt：

>>> f = open('a.txt')
>>> lines = f.readlines()
>>> lines
['first line\n', 'second line\n', 'third line\n']

這里每一個元素都包含了尾隨換行符\n，這在編程時是非常令人厭惡的，因為不好控制是不是要自己添加一個換行符。所以，往往會對每一行都執行一個去除尾隨換行符的操作，這可以通過列表解析來執行：

>>> lines = [ line.rstrip() for line in lines ]
>>> lines
['first line', 'second line', 'third line']

實際上，open()打開的文件對象是一個可迭代對象，可以直接進行迭代，所以也可以直接用於解析操作：

>>> lines = [line.rstrip() for line in open('a.txt')]
>>> lines
['first line', 'second line', 'third line']

看上去真的很簡潔，而且很簡單很方便，實際上這也很高效。

嵌套的解析

解析操作可以變得更加復雜，比如可以進行for嵌套。

>>> [x + y for x in "abcd" for y in "ABCD"]
['aA', 'aB', 'aC', 'aD', 'bA', 'bB', 'bC', 'bD', 'cA', 'cB', 'cC', 'cD', 'dA', 'dB', 'dC', 'dD']

它等價於：

L = []
for x in "abcd":
  for y in "ABCD":
    L.append(x + y)

for嵌套的時候，每一個for中用於篩選元素的if語句都是可選的。

例如，下面的嵌套for解析中，使用偶數和奇數的組合：

>>> [ (x,y) for x in range(5) if x % 2 == 0 for y in range(5) if y % 2 ==1 ]
[(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]

這個解析表達式等價於：

>>> L = []
>>> for x in range(5):
...     if x % 2 == 0:
...         for y in range(5):
...             if y % 2 == 1:
...                 L.append((x, y))

[(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]