python的socketserver模塊實現TCP/UDP並發

基於tcp的套接字，關鍵就是兩個循環，一個鏈接循環，一個通信循環

socketserver模塊中分兩大類：server類（解決鏈接問題）和request類（解決通信問題）

server類：

 

 request類：

 

 繼承關系:

 

 

 

 

 

 以下述代碼為例，分析socketserver源碼：

ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer) ftpserver.serve_forever()

 

查找屬性的順序：ThreadingTCPServer->ThreadingMixIn->TCPServer->BaseServer

1. 實例化得到ftpserver，先找類ThreadingTCPServer的init,在TCPServer中找到，進而執行server_bind,server_active
2. 找ftpserver下的serve_forever,在BaseServer中找到，進而執行self._handle_request_noblock()，該方法同樣是在BaseServer中
3. 執行self._handle_request_noblock()進而執行request, client_address = self.get_request()（就是TCPServer中的self.socket.accept()），然后執行self.process_request(request, client_address)
4. 在ThreadingMixIn中找到process_request，開啟多線程應對並發，進而執行process_request_thread，執行self.finish_request(request, client_address)
5. 上述四部分完成了鏈接循環，本部分開始進入處理通訊部分，在BaseServer中找到finish_request,觸發我們自己定義的類的實例化，去找init方法，而我們自己定義的類沒有該方法，則去它的父類也就是BaseRequestHandler中找....

 

源碼分析總結：

 

基於tcp的socketserver我們自己定義的類中的

 

1. self.server即套接字對象
2. self.request即一個鏈接
3. self.client_address即客戶端地址

 

基於udp的socketserver我們自己定義的類中的

 

1. self.request是一個元組（第一個元素是客戶端發來的數據，第二部分是服務端的udp套接字對象），如(b'adsf', )
2. self.client_address即客戶端地址

 

FtpServer

import socketserver import struct import json import os class FtpServer(socketserver.BaseRequestHandler): coding='utf-8' server_dir='file_upload' max_packet_size=1024 BASE_DIR=os.path.dirname(os.path.abspath(__file__)) def handle(self): print(self.request) while True: data=self.request.recv(4) data_len=struct.unpack('i',data)[0] head_json=self.request.recv(data_len).decode(self.coding) head_dic=json.loads(head_json) # print(head_dic)
            cmd=head_dic['cmd'] if hasattr(self,cmd): func=getattr(self,cmd) func(head_dic) def put(self,args): file_path = os.path.normpath(os.path.join( self.BASE_DIR, self.server_dir, args['filename'] )) filesize = args['filesize'] recv_size = 0 print('----->', file_path) with open(file_path, 'wb') as f: while recv_size < filesize: recv_data = self.request.recv(self.max_packet_size) f.write(recv_data) recv_size += len(recv_data) print('recvsize:%s filesize:%s' % (recv_size, filesize)) ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer) ftpserver.serve_forever()

 

FtpClient

import socket import struct import json import os class MYTCPClient: address_family = socket.AF_INET socket_type = socket.SOCK_STREAM allow_reuse_address = False max_packet_size = 8192 coding='utf-8' request_queue_size = 5

    def __init__(self, server_address, connect=True): self.server_address=server_address self.socket = socket.socket(self.address_family, self.socket_type) if connect: try: self.client_connect() except: self.client_close() raise

    def client_connect(self): self.socket.connect(self.server_address) def client_close(self): self.socket.close() def run(self): while True: inp=input(">>: ").strip() if not inp:continue l=inp.split() cmd=l[0] if hasattr(self,cmd): func=getattr(self,cmd) func(l) def put(self,args): cmd=args[0] filename=args[1] if not os.path.isfile(filename): print('file:%s is not exists' %filename) return
        else: filesize=os.path.getsize(filename) head_dic={'cmd':cmd,'filename':os.path.basename(filename),'filesize':filesize} print(head_dic) head_json=json.dumps(head_dic) head_json_bytes=bytes(head_json,encoding=self.coding) head_struct=struct.pack('i',len(head_json_bytes)) self.socket.send(head_struct) self.socket.send(head_json_bytes) send_size=0 with open(filename,'rb') as f: for line in f: self.socket.send(line) send_size+=len(line) print(send_size) else: print('upload successful') client=MYTCPClient(('127.0.0.1',8080)) client.run()

 

 

一、socketserver模塊基本使用

# 服務端 # encoding=utf-8 # auther：lsj # 使用socketserver模塊實現TCP協議

import socketserver class MyRequestHandle(socketserver.BaseRequestHandler): def handle(self): print(self.request) # 如果是tcp協議，self.request-->conn
        print(self.client_address)  # self.client_address-->客戶端的IP地址
 s = socketserver.ThreadingTCPServer(('127.0.0.1',8080),MyRequestHandle) s.serve_forever() # 服務到永遠，類似於下面的while True循環 # 服務端做兩件事 # 第一件事：循環地從半連接池中取出鏈接請求與其建立雙雙向鏈接，拿到鏈接對象 # while True: # conn,client_addr = socketserver # 啟動一個線程(conn，client_addr) # 第二件事：拿到鏈接對象，與其進行通訊循環--》寫入handle方法中去

 

 socketserver模塊的客戶端（客戶端、客戶端1、客戶端2代碼都相同）

# 客戶端 # encoding=utf-8 # auther：lsj # 使用socketserver模塊實現TCP協議的並發

from socket import * client = socket(AF_INET,SOCK_STREAM) # AF_INET:基於網絡通信，SOCK_STREAM:基於TCP協議
client.connect(('127.0.0.1',8080)) while True: cmd = input('請輸入命令>>:').strip() if len(cmd) == 0:continue client.send(cmd.encode('utf-8')) cmd_res = client.recv(1024) # 本次接收，最大接收1024Bytes（我們發送的命令越簡單越好所以1024就夠了）
    print(cmd_res.decode('GBK')) # 強調：windows系統用gbk，Linux系統用utf-8。

 

 運行結果：

# 先啟動服務端，后陸續啟動客戶端、客戶端1、客戶端2，查看服務端狀態如下： # 服務端啟動后沒有客戶端啟動
D:\Python38\python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模塊基本使用/服務端.py # 啟動了客戶端
<socket.socket fd=528, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080), raddr=('127.0.0.1', 59384)> ('127.0.0.1', 59384) # 啟動了客戶端1
<socket.socket fd=116, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080), raddr=('127.0.0.1', 59386)> ('127.0.0.1', 59386) # 啟動了客戶端2
<socket.socket fd=536, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080), raddr=('127.0.0.1', 59390)> ('127.0.0.1', 59390)

 

 二、使用socketserver模塊實現TCP協議的並發（修改服務端代碼）

# encoding=utf-8 # auther：lsj # 使用socketserver模塊實現TCp協議的並發

import socketserver class MyRequestHandle(socketserver.BaseRequestHandler): def handle(self): # print(self.request) # 如果是tcp協議，self.request-->conn
        # print(self.client_address) # self.client_address-->客戶端的IP地址
        while True: try: cmd = self.request.recv(1024) if len(cmd) == 0: break self.request.send(cmd.upper()) except Exception: break self.request.close() s = socketserver.ThreadingTCPServer(('127.0.0.1',8080),MyRequestHandle) s.serve_forever() # 服務到永遠，類似於下面的while True循環 # 服務端做兩件事 # 第一件事：循環地從半連接池中取出鏈接請求與其建立雙雙向鏈接，拿到鏈接對象 # while True: # conn,client_addr = socketserver # 啟動一個線程(conn，client_addr) # 第二件事：拿到鏈接對象，與其進行通訊循環--》寫入handle方法中去

 

先啟動服務端，后陸續啟動客戶端、客戶端1、客戶端2，查看服務端狀態如下：

# 啟動客戶端
D:\Python38\python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模塊基本使用/客戶端.py 請輸入命令>>:hello HELLO 請輸入命令>>: # 啟動客戶端1
D:\Python38\python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模塊基本使用/客戶端1.py 請輸入命令>>:world WORLD 請輸入命令>>: # 啟動客戶端2
D:\Python38\python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模塊基本使用/客戶端2.py 請輸入命令>>:lsj LSJ 請輸入命令>>:

 

 三、使用socketserver模塊實現UDP協議的並發

# 服務端 # encoding=utf-8 # auther：lsj # 模擬服務端 # 服務端應該滿足的特點：
""" 1、一直提供服務 2、並發地提供服務 """
import socketserver class MyRequestHanlde(socketserver.BaseRequestHandler): def handle(self): client_data = self.request[0] server=self.request[1] client_address=self.client_address print(self.request) print("客戶端發來的數據%s"%client_data) server.sendto(client_data.upper(),client_address) s =socketserver.ThreadingUDPServer(('127.0.0.1',8080),MyRequestHanlde) s.serve_forever() # 相當於whlie True:循環只負責循環的接收 # while True: # data,client_adr = server.recvfrom(1024)
    # 啟動一個線程處理后續的事情(data,client_adr) # server.sendto(data.upper(),client_adr) # server.close()

 

# 客戶端 # encoding=utf-8 # auther：lsj # 模擬客戶端
import socket client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) while True: msg=input('>>>:').strip() client.sendto(msg.encode('utf-8'),('127.0.0.1',8080)) res = client.recvfrom(1024) print(res) client.close()

 

啟動服務端和客戶端、客戶端1，運行結果如下：

# 客戶端
D:\Python38\python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模塊基本使用/基於UDP協議的socketserver的使用/客戶端.py >>>:hello (b'HELLO', ('127.0.0.1', 8080)) >>>:world (b'WORLD', ('127.0.0.1', 8080)) >>>: # 客戶端1
D:\Python38\python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模塊基本使用/基於UDP協議的socketserver的使用/客戶端1.py >>>:lsj (b'LSJ', ('127.0.0.1', 8080)) >>>: # 服務端
D:\Python38\python.exe D:/pycharm/oldboy_29/day037/day037_06socketserver模塊基本使用/基於UDP協議的socketserver的使用/服務端.py (b'hello', <socket.socket fd=508, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>) 客戶端發來的數據b'hello' (b'world', <socket.socket fd=508, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>) 客戶端發來的數據b'world' (b'lsj', <socket.socket fd=508, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>) 客戶端發來的數據b'lsj'