python中的協程

目錄

• 協程是啥
• 協程和線程差異
• 簡單實現協程
• greenlet
  • 安裝方式
• gevent
  • 安裝
  • 1. gevent的使用
  • 2. gevent切換執行
  • 3. 給程序打補丁
• 進程、線程、協程對比
  • 請仔細理解如下的通俗描述
  • 簡單總結

協程，又稱微線程，纖程。英文名Coroutine。

協程是啥

協程是python個中另外一種實現多任務的方式，只不過比線程更小占用更小執行單元（理解為需要的資源）。 為啥說它是一個執行單元，因為它自帶CPU上下文。這樣只要在合適的時機， 我們可以把一個協程 切換到另一個協程。 只要這個過程中保存或恢復 CPU上下文那么程序還是可以運行的。

通俗的理解：在一個線程中的某個函數，可以在任何地方保存當前函數的一些臨時變量等信息，然后切換到另外一個函數中執行，注意不是通過調用函數的方式做到的，並且切換的次數以及什么時候再切換到原來的函數都由開發者自己確定。

協程和線程差異

在實現多任務時, 線程切換從系統層面遠不止保存和恢復 CPU上下文這么簡單。 操作系統為了程序運行的高效性每個線程都有自己緩存Cache等等數據，操作系統還會幫你做這些數據的恢復操作。 所以線程的切換非常耗性能。但是協程的切換只是單純的操作CPU的上下文，所以一秒鍾切換個上百萬次系統都抗的住。

簡單實現協程

import time


def test1():
        while True:
                print("--test1--")
                yield
                time.sleep(0.5)


def test2():
        while True:
                print("--test2--")
                yield
                time.sleep(0.5)


if __name__ == "__main__":
        t1 = test1()
        t2 = test2()
        while True:
                next(t1)
                next(t2)

greenlet

安裝方式

sudo pip3 install greenlet

import time
from greenlet import greenlet

def test1():
        while True:
                print("--test1--")
                g2.switch()
                time.sleep(0.5)


def test2():
        while True:
                print("--test2--")
                g1.switch()
                time.sleep(0.5)


g1 = greenlet(test1)
g2 = greenlet(test2)

g1.switch()

運行效果:

--test1--
--test2--
--test1--
--test2--
--test1--
--test2--
--test1--
--test2--
--test1--
。。。

gevent

greenlet已經實現了協程，但是這個還的人工切換，是不是覺得太麻煩了，不要捉急，python還有一個比greenlet更強大的並且能夠自動切換任務的模塊gevent

其原理是當一個greenlet遇到IO(指的是input output 輸入輸出，比如網絡、文件操作等)操作時，比如訪問網絡，就自動切換到其他的greenlet，等到IO操作完成，再在適當的時候切換回來繼續執行。

由於IO操作非常耗時，經常使程序處於等待狀態，有了gevent為我們自動切換協程，就保證總有greenlet在運行，而不是等待IO。

安裝

pip3 install gevent

1. gevent的使用

import gevent

def test(n):
        for i in range(n):
                print(gevent.getcurrent(), i)


g1 = gevent.spawn(test, 5)
g2 = gevent.spawn(test, 5)
g3 = gevent.spawn(test, 5)

g1.join()
g2.join()
g3.join()

2. gevent切換執行

import gevent

def test(n):
        for i in range(n):
                print(gevent.getcurrent(), i)
                gevent.sleep(0.5)

g1 = gevent.spawn(test, 5)
g2 = gevent.spawn(test, 5)
g3 = gevent.spawn(test, 5)

g1.join()
g2.join()
g3.join()

運行結果：

<Greenlet "Greenlet-0" at 0x7f04bfffb748: test(5)> 0
<Greenlet "Greenlet-1" at 0x7f04bfffb948: test(5)> 0
<Greenlet "Greenlet-2" at 0x7f04bfffba48: test(5)> 0
<Greenlet "Greenlet-0" at 0x7f04bfffb748: test(5)> 1
<Greenlet "Greenlet-1" at 0x7f04bfffb948: test(5)> 1
<Greenlet "Greenlet-2" at 0x7f04bfffba48: test(5)> 1
<Greenlet "Greenlet-0" at 0x7f04bfffb748: test(5)> 2
<Greenlet "Greenlet-1" at 0x7f04bfffb948: test(5)> 2
<Greenlet "Greenlet-2" at 0x7f04bfffba48: test(5)> 2
<Greenlet "Greenlet-0" at 0x7f04bfffb748: test(5)> 3
<Greenlet "Greenlet-1" at 0x7f04bfffb948: test(5)> 3
<Greenlet "Greenlet-2" at 0x7f04bfffba48: test(5)> 3
<Greenlet "Greenlet-0" at 0x7f04bfffb748: test(5)> 4
<Greenlet "Greenlet-1" at 0x7f04bfffb948: test(5)> 4
<Greenlet "Greenlet-2" at 0x7f04bfffba48: test(5)> 4

3. 給程序打補丁

import time
import gevent


def test(n):
        for i in range(n):
                print(gevent.getcurrent(), i)
                time.sleep(0.5)

g1 = gevent.spawn(test, 5)
g2 = gevent.spawn(test, 5)
g3 = gevent.spawn(test, 5)

g1.join()
g2.join()
g3.join()

運行結果：

<Greenlet "Greenlet-0" at 0x7f1a8dde6748: test(5)> 0
<Greenlet "Greenlet-0" at 0x7f1a8dde6748: test(5)> 1
<Greenlet "Greenlet-0" at 0x7f1a8dde6748: test(5)> 2
<Greenlet "Greenlet-0" at 0x7f1a8dde6748: test(5)> 3
<Greenlet "Greenlet-0" at 0x7f1a8dde6748: test(5)> 4
<Greenlet "Greenlet-1" at 0x7f1a8dde6948: test(5)> 0
<Greenlet "Greenlet-1" at 0x7f1a8dde6948: test(5)> 1
<Greenlet "Greenlet-1" at 0x7f1a8dde6948: test(5)> 2
<Greenlet "Greenlet-1" at 0x7f1a8dde6948: test(5)> 3
<Greenlet "Greenlet-1" at 0x7f1a8dde6948: test(5)> 4
<Greenlet "Greenlet-2" at 0x7f1a8dde6a48: test(5)> 0
<Greenlet "Greenlet-2" at 0x7f1a8dde6a48: test(5)> 1
<Greenlet "Greenlet-2" at 0x7f1a8dde6a48: test(5)> 2
<Greenlet "Greenlet-2" at 0x7f1a8dde6a48: test(5)> 3
<Greenlet "Greenlet-2" at 0x7f1a8dde6a48: test(5)> 4

import time
import gevent
from gevent import monkey


monkey.patch_all() # 講程序中用到的耗時的代碼，換為gevent中實現的代碼


def test(n):
        for i in range(n):
                print(gevent.getcurrent(), i)
                time.sleep(0.5)

# g1 = gevent.spawn(test, 5)
# g2 = gevent.spawn(test, 5)
# g3 = gevent.spawn(test, 5)

# g1.join()
# g2.join()
# g3.join()

gevent.joinall([
        gevent.spawn(test, 5), 
        gevent.spawn(test, 5), 
        gevent.spawn(test, 5)
])

運行結果：

<Greenlet "Greenlet-0" at 0x7f7f96b53648: test(5)> 0
<Greenlet "Greenlet-1" at 0x7f7f96b53748: test(5)> 0
<Greenlet "Greenlet-2" at 0x7f7f96b53848: test(5)> 0
<Greenlet "Greenlet-0" at 0x7f7f96b53648: test(5)> 1
<Greenlet "Greenlet-1" at 0x7f7f96b53748: test(5)> 1
<Greenlet "Greenlet-2" at 0x7f7f96b53848: test(5)> 1
<Greenlet "Greenlet-0" at 0x7f7f96b53648: test(5)> 2
<Greenlet "Greenlet-1" at 0x7f7f96b53748: test(5)> 2
<Greenlet "Greenlet-2" at 0x7f7f96b53848: test(5)> 2
<Greenlet "Greenlet-0" at 0x7f7f96b53648: test(5)> 3
<Greenlet "Greenlet-1" at 0x7f7f96b53748: test(5)> 3
<Greenlet "Greenlet-2" at 0x7f7f96b53848: test(5)> 3
<Greenlet "Greenlet-0" at 0x7f7f96b53648: test(5)> 4
<Greenlet "Greenlet-1" at 0x7f7f96b53748: test(5)> 4
<Greenlet "Greenlet-2" at 0x7f7f96b53848: test(5)> 4

進程、線程、協程對比

請仔細理解如下的通俗描述

• 有一個老板想要開個工廠進行生產某件商品（例如剪子）
• 他需要花一些財力物力制作一條生產線，這個生產線上有很多的器件以及材料這些所有的 為了能夠生產剪子而准備的資源稱之為：進程
• 只有生產線是不能夠進行生產的，所以老板的找個工人來進行生產，這個工人能夠利用這些材料最終一步步的將剪子做出來，這個來做事情的工人稱之為：線程
• 這個老板為了提高生產率，想到3種辦法：
  1. 在這條生產線上多招些工人，一起來做剪子，這樣效率是成倍増長，即單進程 多線程方式
  2. 老板發現這條生產線上的工人不是越多越好，因為一條生產線的資源以及材料畢竟有限，所以老板又花了些財力物力購置了另外一條生產線，然后再招些工人這樣效率又再一步提高了，即多進程 多線程方式
  3. 老板發現，現在已經有了很多條生產線，並且每條生產線上已經有很多工人了（即程序是多進程的，每個進程中又有多個線程），為了再次提高效率，老板想了個損招，規定：如果某個員工在上班時臨時沒事或者再等待某些條件（比如等待另一個工人生產完謀道工序 之后他才能再次工作） ，那么這個員工就利用這個時間去做其它的事情，那么也就是說：如果一個線程等待某些條件，可以充分利用這個時間去做其它事情，其實這就是：協程方式

簡單總結

1. 進程是資源分配的單位
2. 線程是操作系統調度的單位
3. 進程切換需要的資源很最大，效率很低
4. 線程切換需要的資源一般，效率一般（當然了在不考慮GIL的情況下）
5. 協程切換任務資源很小，效率高
6. 多進程、多線程根據cpu核數不一樣可能是並行的，但是協程是在一個線程中 所以是並發