Python 中的一些小技巧


這里是本人收集的一些 Python 小技巧,目前主要是一些實用函數,適合有一定基礎的童鞋觀看(不會專門介紹使用到的標准庫函數)。。

一、函數式編程

函數式編程用來處理數據,感覺很方便。(要是再配上管道操作符 | 或者 Java 的那種鏈式調用,超級爽!可惜 Python 都沒有。。需要借助第三方庫)

1. 分組/group

數據處理中一個常見的操作,是將列表中的元素,依次每 k 個分作一組。

def group_each(a, size: int):
    """
        將一個可迭代對象 a 內的元素, 每 size 個分為一組
        group_each([1,2,3,4], 2) -> [(1,2), (3,4)]
    """
    iterators = [iter(a)] * size  # 將新構造的 iterator 復制 size 次(淺復制)
    return zip(*iterators)  # 然后 zip

這個函數之前在 Python 拾遺 - 奇技淫巧 中就寫過,記得是某次 Google 時在 stackoverflow 上發現的,不過它的最初來源應該是 Python 官方文檔的某個角落。

順便如果某個 size 比較常用(比如 2),還可以用 partial 封裝一下

from functools import partial

 # 每兩個分一組
group_each_2 = partial(group_each, size=2)  # 等同於 group_each_2 = lambda a: group_each(a, 2)

2. 扁平版本的 map

稍微接觸過函數式應該都知道 flat_map,可 Python 標准庫卻沒有提供。下面是我在 stackoverflow 上找到的實現,其實很簡單

from itertools import chain

def flat_map(f, items):
    return chain.from_iterable(map(f, items))

它和 map 的差別在於是不是扁平(flat) 的(廢話。。),舉個例子

>>> list(map(list, ['123', '456']))
[['1', '2', '3'], ['4', '5', '6']]
>>> list(flat_map(list, ['123', '456']))
['1', '2', '3', '4', '5', '6']

3. 輪流迭代多個迭代器

假設我有多個可迭代對象(迭代器、列表等),現在我需要每次從每個對象中取一個值,直到某個對象為空。如果用循環寫會比較繁瑣,但是用 itertools 可以這樣寫:

from itertools import chain

def iter_one_by_one(items):
    return chain.from_iterable(zip(*items))

n sum(x)


### 4. 上述函數的應用舉例

在做爬蟲工作時,有時會遇到這樣的 table 元素:
![](https://images2018.cnblogs.com/blog/968138/201809/968138-20180908192708616-1521425251.png)

對這種 html 元素,我一般會直接把它轉換成 list,結果如下:
```python3
table = [['label1', 'value1', 'label2', 'value2'],
         ['label3', 'value3'],
         ['label4', 'value4', 'label5', 'value5'],
         ...
         ]

為了方便索引,現在我需要把上面的數據轉換成下面這個樣子的 dict

{
    'label1': 'value1',
    'label2': 'value2',
    'label3': 'value3',
    'label4': 'value4',
    'label5': 'value5'
}

如果是平常,大概需要寫循環了。不過如果用剛剛說到的幾個函數的話,會變得異常簡單

 # 1. 分組
groups = flat_map(group_each_2, table)

# 1.1 flat_map 返回的是迭代器,list 后內容如下:
# [('label1', 'value1'),
#  ('label2', 'value2'),
#  ('label3', 'value3'),
#  ('label4', 'value4'),
#  ('label5', 'value5')]

# 2. 轉換成 dict
key_values = dict(groups)   # 得到的 key_values 與上面需要的 dict 別無二致。

二、其他

1. 多 dict 的去重

假設我們有一個 dict 的列表,里面可能有內容一模一樣的 dict,我們需要對它做去重。
容易想到的方法就是使用 set,可是 set 中的元素必須是 hashable 的,而 dict 是 unhashable 的,因此不能直接放進 set 里。

>>> a = [{'a': 1}, {'a': 1}, {'b': 2}]
>>> set(a)
Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/IPython/core/interactiveshell.py", line 2961, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)
  File "<ipython-input-5-5b4c643a6feb>", line 1, in <module>
    set(a)
TypeError: unhashable type: 'dict'

難道就必須手寫遞歸了么?未必,我在 stackoverflow 看到這樣一個小技巧

import json

def unique_dicts(data_list: list):
    """unique a list of dict
        dict 是 unhashable 的,不能放入 set 中,所以先轉換成 str
        
        unique_dicts([{'a': 1}, {'a': 1}, {'b': 2}])  ->  [{'a': 1}, {'b': 2}]
    """
    data_json_set = set(json.dumps(item) for item in data_list)
    return [json.loads(item) for item in data_json_set]

2. str 的 startswith 和 endswith 兩個函數的參數可以是元組

In[7]: a = "bb.gif"
In[8]: b = 'a.jpg'
In[9]: a.endswith(('.jpg', '.gif'))
Out[9]: True
In[10]: b.startswith(('bb', 'a'))
Out[10]: True

3. 判斷兩個對象的所有屬性都相同

python 和 java 一樣,直接用 == 做判斷,默認是比較的引用,相當於 is。對自定義的類,你需要重寫 __eq__ 函數。
判斷值相等的方法很簡單,一行代碼:

class A:
    ...
    def __eq__(self, obj):
        return self.__dict__ == obj.__dict__  # 轉成 __dict__ 再比較

設計模式

我曾經寫過一個 QQ 機器人,它需要根據不同的命令,來干不同的事。

最初的做法,是直接用 if-else 判斷。然后慢慢的,我的項目的 if-else 就越來越長,變得慘不忍睹了。。

這個地方要重構,我網上搜了下,有人說 if-else 用 dict 重構就好了,但是那只適用於 switch value 模式,就是只是單純檢查 value 的值 match 與否。
而我的 QQ 機器人的檢查條件要更復雜。

然后今天突然想到,可以用 正則 做 key,用 function 做 value,並且使用 orderdict。然后直接遍歷。

參考

慢慢更新,想到啥就加啥。

本文允許轉載,但要求附上源地址 https://www.cnblogs.com/kirito-c/p/9610179.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM