python 實現簡單 http 代理

http 代理有什么用處？

1，可以是插入 js 廣告，某些 isp 就是這么干的，強插廣告，現在 https 的網站越來越多了，插入不了。

2,  用來調試 app 或是別的程序，可以看到詳細的 http 請求，響應，fiddler 這個軟件也是做這個的，但它不開源。

用瀏覽器打開測試的 HTTP 請求  http://localhost/logo.gif  帶端口號的  http://localhost:8000/logo.gif

使用 wireshark 抓包：

GET http://localhost/logo.gif HTTP/1.1
Host: localhost
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate
DNT: 1
Connection: keep-alive
Upgrade-Insecure-Requests: 1

#或第 2 種
GET http://localhost:8000/logo.gif HTTP/1.1
Host: localhost:8000
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate
DNT: 1
Connection: keep-alive
Upgrade-Insecure-Requests: 1

 

原理：

http 1.1 也就是 tcp 連接，有 header 和 body ，更多復雜的細節這里不做介紹（session cookie 緩存等）

下面使用 python 實現，  listen 8000 端口，分析原始的 請求網址的HOST 和端口，建立連接拿回數據轉發。 

設置瀏覽器，使用 localhost 8000 http 代理方式 。

下圖以 firefox 設置為例：

源碼 py2.7：

#!/usr/bin/env python
#coding:utf-8
import socket
import sys
import re
import os
import time
import urllib
import urllib2
import threading

HEADER_SIZE = 4096

host = '0.0.0.0'
port = 8000

#子進程進行socket 網絡請求
def http_socket(conn, addr):
    print("client connent:{0}:{1}".format(addr[0], addr[1]))
    try:
        #讀取 http 請求頭信息
        request_header = conn.recv(HEADER_SIZE)
        #拆分頭信息
        host_addr = request_header.split("\r\n")[1].split(":")
        #如果未指定端口則為默認 80
        if 2 == len(host_addr):
            host_addr.append("80")
        name, host, port = map(lambda x: x.strip(), host_addr)
        #建立 socket tcp 連接
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        sock.connect((host, int(port)))
        #發送原始請求頭
        sock.sendall(request_header)
        #接收數據並發送給瀏覽器
        while(True):
            resp = sock.recv(512)
            if resp:
                conn.sendall(resp)
            else:
                break
        #關閉連接   
        sock.close()
    except Exception as e:
        print("http socket error")
        print(e)

#創建socket對象
http_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
try:
    http_server.bind((host, port))
except:
    sys.exit("python proxy bind error ")

print("python proxy start")

http_server.listen(1024)

while True:
    conn, addr = http_server.accept()
    http_thread = threading.Thread(target=http_socket, args=(conn, addr))
    http_thread.start()
    time.sleep(1)

#關閉所有連接
http_server.close()
print("python proxy close")

測試下載大點的文件：

正常。

缺點是，性能不好，沒有實現 Connection : keep-alive 打開一次就關閉了。

在 win10 python2.7 ubuntu 16.0.4 上應該都可以用

select 版 修改了 keep-alive 不是每次都關閉連接

#!/usr/bin/env python
#coding:utf-8
import socket
import sys
import re
import os
import time
import select
import threading

HEADER_SIZE = 4096

host = '0.0.0.0'
port = 8000

#子進程進行socket 網絡請求
def http_socket(client, addr):
    #創建 select 檢測 fd 列表
    inputs  = [client]
    outputs = []
    remote_socket = 0
    print("client connent:{0}:{1}".format(addr[0], addr[1]))
    while True:
        readable, writable, exceptional = select.select(inputs, outputs, inputs)
        try:
            for s in readable:
                if s is client:
                    #讀取 http 請求頭信息
                    request_header = s.recv(HEADER_SIZE)
                    if remote_socket is 0:
                        #拆分頭信息
                        host_addr = request_header.split("\r\n")[1].split(":")
                        #如果未指定端口則為默認 80
                        if 2 == len(host_addr):
                            host_addr.append("80")
                        name, host, port = map(lambda x: x.strip(), host_addr)
                        #建立 socket tcp 連接
                        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
                        sock.connect((host, int(port)))
                        remote_socket = sock
                        inputs.append(sock)
                    #發送原始請求頭
                    remote_socket.sendall(request_header)
                else:
                    #接收數據並發送給瀏覽器
                    while(True):
                        resp = s.recv(512)
                        if resp:
                            client.sendall(resp)
                    else:
                        break
        except Exception as e:
            print("http socket error {0}".format(e))

#創建socket對象
http_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
try:
    http_server.bind((host, port))
except:
    sys.exit("python proxy bind error ")

print("python proxy start")

http_server.listen(1024)

while True:
    client, addr = http_server.accept()
    http_thread = threading.Thread(target=http_socket, args=(client, addr))
    http_thread.start()
    time.sleep(1)

#關閉所有連接
http_server.close()
print("python proxy close")

 

https 的實現稍復雜一點，下面講。