Python分布式進程報錯：pickle模塊不能序列化lambda函數

今天在學習到廖老師Python教程的分布式進程時，遇到了一個錯誤：_pickle.PicklingError: Can't pickle <function <lambda> at 0x000001710FDC2EA0>: attribute lookup <lambda> on __main__ failed（pickle模塊不能序列化lambda函數）

代碼如下：

#!/usr/bin/env python
# _*_ coding:utf-8 _*_

import random, queue
from multiprocessing.managers import BaseManager

# 發送任務的隊列
task_queue = queue.Queue()
# 接收結果的隊列
result_queue = queue.Queue()
# 從BaseManager繼承的QueueManager


class QueueManager(BaseManager):
    pass


# 吧兩個Queue都注冊到網絡上，callable參數關聯了Queue對象
QueueManager.register('get_task_queue', callable=lambda: task_queue)
QueueManager.register('get_result_queue', callable=lambda: result_queue)

# 綁定端口5000，設置驗證碼abc
manager = QueueManager(address=('', 5000), authkey=b'abc')

# 啟動queue
manager.start()

# 獲得通過網絡訪問的Queue對象
task = manager.get_task_queue()
result = manager.get_result_queue()

# 放幾個任務
for i in range(10):
    n = random.randint(0, 1000)
    print('添加任務 %d' % n)
    task.put(n)

# 從result隊列讀取結果
print('嘗試獲取結果')
for i in range(10):
    r = result.get(timeout=10)
    print('結果是：%s' % r)

# 關閉
manager.shutdown()
print('master exit')

 在教程中我記得有關pickle的事兒（有印象，看來思想還在線上，哈哈），翻了一下，看到：

 原來是系統問題造成的，那么，如何解決呢？在教程中我也看到，遇到這樣的情況，需要我們自己定義函數，實現序列化。

所以對代碼稍加修改，定義兩個函數return_task_queue和return_result_queue實現序列化：

#!/usr/bin/env python
# _*_ coding:utf-8 _*_

import random, queue
from multiprocessing.managers import BaseManager

# 發送任務的隊列
task_queue = queue.Queue()
# 接收結果的隊列
result_queue = queue.Queue()


def return_task_queue():
    global task_queue
    return task_queue


def return_result_queue():
    global result_queue
    return result_queue


# 從BaseManager繼承的QueueManager


class QueueManager(BaseManager):
    pass


if __name__ == '__main__':
    # 吧兩個Queue都注冊到網絡上，callable參數關聯了Queue對象
    QueueManager.register('get_task_queue', callable=return_task_queue)
    QueueManager.register('get_result_queue', callable=return_result_queue)

    # 綁定端口5000，設置驗證碼abc
    manager = QueueManager(address=('127.0.0.1', 5000), authkey=b'abc')

    # 啟動queue
    manager.start()

    # 獲得通過網絡訪問的Queue對象
    task = manager.get_task_queue()
    result = manager.get_result_queue()

    # 放幾個任務
    for i in range(10):
        n = random.randint(0, 1000)
        print('添加任務 %d' % n)
        task.put(n)

    # 從result隊列讀取結果
    print('嘗試獲取結果')
    for i in range(10):
        r = result.get(timeout=10)
        print('結果是：%s' % r)

    # 關閉
    manager.shutdown()
    print('master exit')

運行結果：

歡迎各位來和我一起分享技術，交流學習心得