Python2.7 PicklingError: Can't pickle : attribute lookup __builtin__.instancemethod failed 問題解決

# 報錯信息

PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed

# 問題原因

# 根據網上資料就是說： multiprocessing 會對調用的函數進行序列號，而類函數不支持
# 備注： 具體原因待查

# 解決方法 —— 類函數不帶返回值

# 1. 在類之外定義調用函數
def run_class_fun(class_name, msg):
    class_name.test_func(msg)

# 2. 修改 apply_async 調用方式
pool.apply_async(run_class_fun, args=(self, x, ))
# 第一個參數為類外調用函數名
# 第二個參數args的第一個參數為 self， 第二個為類函數參數

# 解決方法 —— 類函數帶返回值

# 1. 在類之外定義調用函數
def run_class_fun(class_name, msg):
    return class_name.test_func(msg)
 
# 2. 修改 apply_async 調用方式
res.append(pool.apply_async(run_class_fun, args=(self, x, )))
# 第一個參數為類外調用函數名
# 第二個參數args的第一個參數為 self， 第二個為類函數參數

 

# 全部代碼

# -*- coding: utf-8 -*-


import multiprocessing
import time


class TestClass(object):
    def __init__(self):
        print('init')

    def test_func(self, vm_id):
        vm_dict = {}
        cpu_rate = '22.{}'.format(vm_id)
        mem_rate = '33.{}'.format(vm_id)
        vm_dict.update({
            'vm_id': vm_id,
            'cpu_rate': cpu_rate,
            'mem_rate': mem_rate
        })
        return vm_dict

    def run(self):
        res = []
        pool = multiprocessing.Pool(processes=10)
        for x in range(1, 100):
            res.append(pool.apply_async(run_class_fun, args=(self, x, )))
        pool.close()
        pool.join()
        return res


def run_class_fun(class_name, msg):
    return class_name.test_func(msg)


if __name__ == '__main__':
    print('----------------START------------------')
    t1 = time.time()
    # pool = multiprocessing.Pool(processes=10)
    # res = []
    # for x in range(1, 100):
    #     res.append(pool.apply_async(run_class_fun, args=(TestClass(), x)))
    # pool.close()
    # pool.join()
    tc = TestClass()
    res = tc.run()
    print('----------------POOL OVER------------------')
    print(time.time()-t1)

    vm_infos = []
    for r in res:
        print(r.get())
        vm_infos.append(r.get())

    print(vm_infos)

    print('----------------ALL OVER------------------')
    print(time.time()-t1)