python發起post請求獲取json數據使用requests方法

　　最普通的答案

　　我一直就覺得GET和POST沒有什么除了語義之外的區別，自打我開始學習Web編程開始就是這么理解的 。

　　可能很多人都已經猜到了答案是:

　　1.GET 使用URL或Cookie傳參。而POST將數據放在BODY中。

　　2.GET 的 URL 會有長度的限制，則POST的數據則可以非常大。

　　3.POST比GET安全，因為數據在地址欄上不可見。

　　但是很不幸，這些區別都是錯誤的，更不幸的是，這個答案還在Google搜索的頭版頭條，然而我根本沒想到這些是答案，因為在我看來都是錯的。我來解釋一下。

1.GET 和 POST 與數據如何傳參沒有關系

GET和POST是由HTTP協議定義的。在HTTP協議中，Method和Data（URL， Body， Header）是正交的兩個概念，也就是說，使用哪個Method與應用層的數據如何傳輸是沒有相互關系的。

HTTP沒有要求，如果Method是POST數據就要放在BODY中。也沒有要求，如果Method是GET，數據（參數）就一定要放在URL中而不能放在BODY中。

那么，網上流傳甚廣的這個說法是從何而來的呢？我在HTML標准中，找到了相似的描述。這和網上流傳的說法一致。但是這只是HTML標准對HTTP協議的用法的約定。怎么能當成GET和POST的區別呢？

而且，現代的Web Server都是支持GET中包含BODY這樣的請求。雖然這種請求不可能從瀏覽器發出，但是現在的Web Server又不是只給瀏覽器用，已經完全地超出了HTML服務器的范疇了。

知道這個有什么用？我不想解釋了，有時候就得自己痛一次才記得住。

2. HTTP協議對GET和POST都沒有對長度的限制

HTTP協議明確地指出了，HTTP頭和Body都沒有長度的要求。而對於URL長度上的限制，有兩方面的原因造成：

1.瀏覽器。據說早期的瀏覽器會對URL長度做限制。據說IE對URL長度會限制在2048個字符內（流傳很廣，而且無數同事都表示認同）。但我自己試了一下，我構造了90K的URL通過IE9訪問live.com，是正常的。網上的東西，哪怕是Wikipedia上的，也不能信。

2.服務器。URL長了，對服務器處理也是一種負擔。原本一個會話就沒有多少數據，現在如果有人惡意地構造幾個幾M大小的URL，並不停地訪問你的服務器。服務器的最大並發數顯然會下降。另一種攻擊方式是，把告訴服務器Content-Length是一個很大的數，然后只給服務器發一點兒數據，嘿嘿，服務器你就傻等着去吧。哪怕你有超時設置，這種故意的次次訪問超時也能讓服務器吃不了兜着走。有鑒於此，多數服務器出於安全啦、穩定啦方面的考慮，會給URL長度加限制。但是這個限制是針對所有HTTP請求的，與GET、POST沒有關系。

好了 關於 GET 和 POST 就說這些。

接下來我們爬取某個網站網站的數據。首先我們分析一些網站的結構，發現該網站使用ajax請求post提交方式 獲取數據。

# coding=utf-8
import requests
import json
import time
import re
import datetime
import time
import sys
import math
import shutil
import urlparse
from pyquery import PyQuery as pq
from peewee import *

sys.setrecursionlimit(100000)
reload(sys)
sys.setdefaultencoding('utf8')
str.decode('UTF-8')

#定義全局變量
global city_sx
global city_ids
global city_names
global city_id_sx
global city_time
#河南省城市id
#1鄭州 2開封 3洛陽 4安陽 5濮陽 6新鄉 7焦作 8三門峽 9鶴壁 10許昌 11漯河 12南陽 13信陽 14濟源 15商丘 16周口 17駐馬店 18平頂山
city_id_sx = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18]
#數據庫城市id
#410000 鄭州,410200 開封,410300 洛陽,410500 安陽,410900 濮陽,410700 新鄉,410800 焦作,411200 三門峽,410600 鶴壁,411000 許昌,411100 漯河,411300 南陽,411500 信陽,410881 濟源,
#411400 商丘,411600 周口,411700 駐馬店,410400 平頂山
city_ids = [410000, 410200, 410300,410500,410900,410700,410800,411200,410600,411000,411100,411300,411500,410881,411400,411600,411700,410400]
#城市名字
city_names = ['鄭州','開封','洛陽','安陽','濮陽','新鄉','焦作','三門峽','鶴壁','許昌','漯河','南陽','信陽','濟源','商丘','周口','駐馬店','平頂山']
#獲取13位的時間戳
# current_milli_time = lambda: int(round(time.time() * 1000))
# city_time = current_milli_time()
# print city_time

#鏈接數據庫
database = MySQLDatabase('bxy', **{'host': '$', 'password': '$', 'user': '$', 'use_unicode': True, 'charset': 'utf8', 'port': 3306})


class UnknownField(object):
    def __init__(self, *_, **__): pass


class BaseModel(Model):
    class Meta:
        database = database


class Region(BaseModel):
    name = CharField()
    parent_id = IntegerField(constraints=[SQL("DEFAULT 0")])
    rank = IntegerField(constraints=[SQL("DEFAULT 0")], null=True)

    class Meta:
        table_name = 'region'


class Scens(BaseModel):
    address = CharField(null=True)
    baidu_lat = DecimalField(constraints=[SQL("DEFAULT 0.0000000000")], null=True)
    baidu_lng = DecimalField(constraints=[SQL("DEFAULT 0.0000000000")], null=True)
    business_hours = CharField(null=True)
    characteristic_landscape = TextField(null=True)
    cid = IntegerField()
    cname = CharField()
    consumer_hotline = CharField(null=True)
    interpreter_description = CharField(null=True)
    management_agency = CharField(null=True)
    pid = IntegerField()
    pname = CharField()
    price = CharField(null=True)
    price_description = CharField(null=True)
    scenic_cover = CharField(null=True)
    scenic_introduction = TextField(null=True)
    scenic_level = IntegerField(null=True)
    scenic_site = CharField(null=True)
    scenic_spot_description = CharField(null=True)
    scenic_title = CharField(null=True)
    scenic_type = CharField(null=True)
    sid = AutoField()
    sname = CharField()
    supporting_facilities = TextField(null=True)
    tickets_incentives = TextField(null=True)
    tour_route = TextField(null=True)
    tour_time = CharField(null=True)
    tourist_service_center = TextField(null=True)
    traffic_guide = TextField(null=True)
    xid = IntegerField(constraints=[SQL("DEFAULT 0")], null=True)
    xname = CharField(constraints=[SQL("DEFAULT 'unkown'")], null=True)

    class Meta:
        table_name = 'scens'

#圖片處理
def save_img(url):
    file_name = url.split('/')[-1]

    try:
        r = requests.get(url)
    except:
        print('遠程連接錯誤')
        return -1

    try:
        with open(file_name, 'wb') as f:
            f.write(r.content)
    except:
        print('文件保存錯誤')
        return -1


def upload_img(url):
    import os
    file_name = url.split('/')[-1]

    im = Image.open(file_name)
    w, h = im.size
    # print('Original image size: %sx%s' % (w, h))
    if w > 640:
        im.thumbnail((640, int(math.floor(640.00/w*h))))
        file_name = 'thumbnail.jpg'
        im.save(file_name, 'jpeg')

    # print os.getcwd()
    # os.chdir('%s/scenic_cover' % os.getcwd())
    folder = datetime.datetime.now().strftime('%Y%m/')
    data = {
        'ticket': 'EA8D6730-321B-4B11-9AA2-A925D6E0E91F',
        'dir': folder
    }
    new_file_name = '%s.%s' % (str(uuid.uuid4()), (file_name.split('.')[-1]).lower())
    files = {'myfile': (new_file_name, open(file_name, 'rb'), 'application/octet-stream', {})}
    r = requests.post('127.0.0.1/upload/save_remote', data=data, files=files)
    if r.text == 'true':
        return '%s%s' % (folder, new_file_name)
    else:
        print(r.text)
        return -1
def qs(url):
    query = urlparse.urlparse(url).query
    return dict([(k, urlparse.unquote(v[0])) for k, v in urlparse.parse_qs(query).items()])
#獲取城市景區鏈接數據
def get_city(city_index=0, pg=0, i=0, times=1):
    global city_id_sx, city_names
    #print city_id_sx
    print('\033[0;31m')
    print '當前：city_id:%d, city_name:%s, city_index:%d, pg:%d, index:%d, times:%d' % (city_id_sx[city_index], city_names[city_index], city_index, pg, i, times)
    print('\033[0m')
    print '---------------------->'
    url = 'http://www.uhenan.com/Interface/getData.ashx'
    #請求頭
    headers = {
        'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
        'Referer':'http://www.uhenan.com/ScenicArea/List?t1=0&t2=1&t3=%200',
        'Host':'www.uhenan.com',
        'Origin':'http://www.uhenan.com',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Cookie':'safedog-flow-item=; __51cke__=; __tins__19387303=%7B%22sid%22%3A%201567134818720%2C%20%22vd%22%3A%202%2C%20%22expires%22%3A%201567137385875%7D; __51laig__=20'
    }
    try:
        #發送post請求
        payload = 'order=desc&field=Top&page=%d&limit=5&method=ScenicArea&Type1=0&Type2=%d&Type3=0&Switch=true&time=' % (city_id_sx[city_index],pg*5)
        print payload
        response = requests.post(url=url, headers=headers, timeout=10,data=payload)
        response.raise_for_status()
    except requests.exceptions.ConnectTimeout:
        print('get_city ConnectTimeout')
        exit(0)
    except requests.exceptions.Timeout:
        print('get_city Timeout')
        exit(0)
    except requests.exceptions.ConnectionError:
        print('get_city ConnectionError')
        exit(0)
    except requests.RequestException as e:
        if requests.status_code == 404:
            print('-' * 20)
            print(' 沒有此頁。')
            print('-' * 20)
        else:
            print 'get error:', e
            if item > 4:
                exit(0)
            else:
                tiems.sleep(1)
                get_detail(cname, city, id, pg, times+1)
    else:
        #print response.content
        json_obj = json.loads(response.content)
        if len(json_obj['data']) == 0:
            print '<--- end: city_id:%d, city_name:%s' % (city_id_sx[city_index], city_names[city_index])
            if city_index < len(city_id_sx) - 1:
                print '進入下一個市 ===>'
                get_city(city_index+1, 0, 0, 1)
            else:
                print '<=== 本省結束 ===>'
                exit(0)
        for_i = 0
        for item in json_obj['data']:
            if i > for_i:
                for_i = for_i + 1
                continue
            #獲取子鏈接
            #ID        = item['ID']
            #獲取景區名字
            Title     = item['Title']
            #獲取景區電話
            Phone     = item['Phone']
            #獲取景區價格
            Ticket    = item['Ticket']
            str_first = re.sub('<.*?>',"",Ticket)
            str_enfin = str_first.replace('/n',"") 
            #獲取景區介紹
            Introduction = item['Introduction']
            str_first = re.sub('<.*?>',"",Introduction)
            str_enfin_1 = str_first.replace(' ', '')
            str_enfin_2 = str_enfin_1.replace(' ', '')
            #獲取景區地址
            Address   = item['Address']
            #獲取百度坐標
            PointLng  = item['PointLng']
            PointLat  = item['PointLat']
            #獲取圖片地址：
            Logo      = item['Logo']
            http      = 'http://www.uhenan.com'
            url       = http + Logo
            print Title, str_enfin, Phone, Address, str_enfin_2, PointLng, PointLat, url
            # print city_names[city_index], pg+1, for_i+1, scen_item['ID'], scen_item['Title'],scen_item['Phone'],scen_item['Address'],scen_item['PointLng'],scen_item['PointLat']
            #get_detail(city_names[city_index], city_ids[city_index], ID, pg, 1)
            time.sleep(1)
            for_i = for_i + 1
        get_city(city_index, pg+1, 0, 1)
global city

if __name__ == '__main__':
    city_index = 0
    page = 0
    index = 0

    if len(sys.argv) >= 3:
        city_index = int(sys.argv[1])
    if len(sys.argv) >= 4:
        page = int(sys.argv[2])
    if len(sys.argv) == 5:
        index = int(sys.argv[3])
    get_city(city_index, page, index, 1)

 原文轉載鏈接：https://xushanxiang.com/2019/10/python-%e8%8e%b7%e5%8f%96-post-%e5%92%8c-get-%e6%95%b0%e6%8d%ae.html