pymysql 多線程報錯問題：Packet sequence number wrong - got 1 expected 2'NoneType' object has no attribute 'read'

 

import time
import requests
from concurrent.futures import ThreadPoolExecutor
import pymysql
import threading
import json


def get_info(item):
    try:
        id,url=item
        content=json.dumps(requests.get(url,timeout=5).text,ensure_ascii=False)
        update_sql='update talent_info_3 set content=%s where id= %s'%(content,id)
        # lock.acquire()
        cur.execute(update_sql)
        conn.commit()
        # lock.release()
        # time.sleep(2)
    except Exception as e:
        print(e,url)




if __name__ == '__main__':
    conn=pymysql.connect(host='127.0.0.1', user='root', password="xxxxxx", database='work', port=3306 )
    cur=conn.cursor()
    # lock = threading.Lock()
    sql='select id,mainurl from  talent_info_3 where content is null and mainurl is not null and school="馬薩諸塞大學，阿默斯特"'
    res1=cur.execute(sql)
    print(res1)
    res=cur.fetchall()
    with ThreadPoolExecutor(max_workers=3) as p:
        futures=[p.submit(get_info,item) for item in res]
    result=[task.result() for task in futures]
    print(result)

異常原因：

使用了多線程，多線程使用了同一個數據庫連接，但每個execute前沒有加上互斥鎖

方法：

方法一：每個execute前加上互斥鎖

　　　　import threading
　　　　lock=threading.lock()
　　　　lock.acquire()
　　　　cursor.execute(command)
　　　　lock.release()

方法二：

　　      每個線程擁有自己的數據庫連接，即在線程調用函數中加上數據庫連接代碼

方法三：

             所有線程共用一個連接池，需要考慮線程總數和連接池連接數上限的問題