需求分析：我們要爬取華為商城手機類別的所有手機參數。但是不要配件的。
1、按F12，隨便搜索一個關鍵字，找到對應的接口。
找到的接口是：
Request URL: https://openapi.vmall.com/mcp/v1/search/queryPrd
Request Method: POST
Status Code: 200 OK
Remote Address: 121.36.48.86:443
Referrer Policy: strict-origin-when-cross-origin
可以看到是POST請求 ，所以我們要找到對應的參數和請求頭。后面代碼里面有。
2、點擊下一頁，發下請求接口是一樣的，不同的是參數的請求頁數。
3、打開一個手機的詳情頁，查看詳情頁的請求參數。發現上面的請求鏈接后面的字符串和第一步的接口獲取到的產品id是匹配的。
4、直接使用python requests 請求上面的鏈接，發現返回的數據里面有我們想要的數據。
分析返回的參數信息，發現當產品是手機的時候，通過bs4 獲取到的參數信息組成的列表元素個數都超過14個。其他的基本是幾個或者是個不到，所以粗劣認為當小於10個的時候屬於手機。則開始爬取。
5、這樣我們就可以通過兩步來爬取相關的數據了。
1）先通過第1步的接口獲取到產品id。
2）通過產品id 去請求詳情頁獲取匹配信息，然后通過bs4去解析，通過字典去保存數據，寫入csv文件里面。
源碼：
import csv import os import time import requests,json from bs4 import BeautifulSoup headers = { 'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'en,zh;q=0.9,zh-CN;q=0.8', 'Connection': 'keep-alive', 'Content-Length': '322', 'Content-Type': 'text/plain', 'Cookie': '_areacode=CN; locale_MS=zh_CN; HWWAFSESID=4e56b27883f4f885559c; HWWAFSESTIME=1631871756004; euid=e5087a3613b328a3828a561c0bfd5abb1e38ca8b7b6c4b33; deviceid=1dd8e0997f05274b7a7832576bacb775; TID=1dd8e0997f05274b7a7832576bacb775; sdevid=f0c5dd2caeb6deb7070c3d15846c41d263d0b576; salePortal=1; recommendflag=0; ipaddress=%E5%B9%BF%E4%B8%9C%2C%E5%B9%BF%E5%B7%9E%2C%E4%BB%8E%E5%8C%96%E5%B8%82%2C3855; ipaddressId=3853%2C3854%2C3855; cps_id=136118; cps_track_id=1631946786661_gunz7r2ohu9; CSRF-TOKEN=57EB9158F63738A7ECECDADDE2E7F2C564C8B72B8019C92B; device_data=*2k75MldkXzTmzTTFz1NZZ1OZcgcRetZT92wmpTwmzDlWQJMYNNNZOY1WimNYMM0gYYtiz0wy30mpwi34y4w1lNIkcNIQdZdwdb1YMTNddJYIVcUG5lyC05TW0wmTw2EEtyyTmpXD31kN0IZcZBYxIlMUUZVYQ4zy24G29FccAIOZMpzTzW2GTTjFGTDj2DW2kINMMRaYQUcMZMNZ4UKMNUJJNkxmSH4kWGuhT300jEyySio3nSjy5jNNNZOMNMbbVKNNMbZZTWw9Gm1aZFgJYJIY3ikwyl55mvyIzz5040hYakRNNB0NNYQYZgZbJBYMLJULpDj99TWmsGSlpSTMvjmumTT32Wm2ccIkRQNFFMF1AZAZkEGi9mT3mRJEcZ0BMTTTT3TTzD2jDTS22WD3ZMJZNYUNZNckLZJAYb4UbcMIKN2zjzHT1wWmGOFEGD2jh9zjxn2TvoNMMXMMYNcVKJRdPbNT313Dx2HUUNM1JYNJ5jwv41m59yCwo1wxhgPIcYZFMcYEFMdVIJa1JMMxJbYUXi2TClkzW2hCiw0TEuyH2mzDDzxqY5BUAk55VYIl9ZAZEkwmShlDW4YcEBZMYNDXDCDjT2SSjSSG2DDqlZNYMINNZMYNZIMY9pJMUVJZd4k3TT5ljm9NGDzl2Gy3iS99CTzxjVMMMZZMMTYQJMMVPZOl2DymDi9NFeMEzpl6yluzWYMNZNYY4bUSUMD2mh3u2ryuTlWFVVoxdtIYDzWjXQ==', 'CsrfToken': '', 'Host': 'openapi.vmall.com', 'Origin': 'https://www.vmall.com', 'Referer': 'https://www.vmall.com/', 'sec-ch-ua': '"Google Chrome";v="93", " Not;A Brand";v="99", "Chromium";v="93"', 'sec-ch-ua-mobile': '?0', 'sec-ch-ua-platform': '"Windows"', 'Sec-Fetch-Dest': 'empty', 'Sec-Fetch-Mode': 'cors', 'Sec-Fetch-Site': 'same-site', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36' } payload = { "PersonalizeSearch": 2, "brandType": 0, "country": "CN", "keyword": 36, "lang": "zh-CN", "pageNum": 1, "pageSize": 20, "portal": 1, "searchFlag": 1, "searchId": "1dd8e0997f05274b7a7832576bacb775", "searchSortField": 0, "searchSortType": "desc", "sid": "89cc6077cd6c88a51d9e56fe1157a0bacb195cedd0f45242", "tid": "1dd8e0997f05274b7a7832576bacb775", } # 需要的數據列表，后續會根據數據列表獲取對應的數據 mylist = ['品牌','型號','傳播名','上市時間','操作系統','CPU型號','CPU核數','CPU主頻','GPU','NPU','分辨率','運行內存（RAM）','機身內存（ROM）','電池容量','數據線接口'] # 初始化字典，因為不是每台手機都保證有對應的參數,后面爬取到對應的參數會更改字段對應的值，確保數據一致性 UP = dict() for tkey in mylist: UP[tkey] = '' # 中文數字轉阿拉伯,因為手機CPU核數不會太大，所以函數簡單點 def change_num(kernel_num): num_dict = {'零': 0, '一': 1, '二': 2, '兩': 2, '三': 3, '四': 4, '五': 5, '六': 6, '七': 7, '八': 8, '九': 9,'十': 10} # 獲取字典的keys，用來判斷和提取對應的阿拉伯數字 key_list = list(num_dict.keys()) num = 0 for i in kernel_num: if i == '核': continue elif i in key_list: num = int(num_dict[i])+num elif i != '核': num = int(i)+num return num def get_product_id(page_num=1): global PAGENUM APIURL = "https://openapi.vmall.com/mcp/v1/search/queryPrd" payload['pageNum'] = page_num r = requests.post(APIURL,data=json.dumps(payload), headers=headers, verify=False) data = json.loads(r.text)['resultList'] PAGENUM = json.loads(r.text)['totalCount']# 產品總量 for pro in data: pid_list.append(pro['productId']) time.sleep(5)# 避免太頻繁調用 def get_info(product_id): url = 'https://www.vmall.com/product/%s.html'%product_id r = requests.get(url) soup = BeautifulSoup(r.text, 'html.parser') # 相關參數 para_list = soup.find_all('div', class_='product-parameter-list clearfix') if len(para_list) > 10:# 分析過手機的列表大部分都是14，其他的都是配件 for tsoup in para_list: tpara = tsoup.find_all('li') for tinfo in tpara: pname = tinfo.find('label').text para = tinfo.find('span').text if pname in mylist: UP[pname] = change_num(para) if pname == 'CPU核數' else para # CPU 保存阿拉伯文字 print(UP) save_file(UP) else: print(url) time.sleep(5) def save_file(UP): '''保存csv文件''' csv_columns = list(UP.keys()) try: if os.path.exists(csv_file): with open(csv_file, 'a', encoding='utf-8-sig') as file: writer = csv.DictWriter(file, fieldnames=csv_columns, delimiter=',', lineterminator='\n') writer.writerow(UP) else: with open(csv_file, 'w', encoding='utf-8-sig') as csvfile: print("創建csv文件") writer = csv.DictWriter(csvfile, fieldnames=csv_columns, delimiter=',', lineterminator='\n') writer.writeheader() writer.writerow(UP) except IOError as err: print(err) if __name__ == '__main__': csv_file = "data.csv" # 跨域token，這個token好像是會過期的，需要手動頁面復制 headers['CsrfToken'] = '4C2CBE8A16F79C393C8709CA32E9A6A81C0CD4C2D17B1C5E' pid_list = [] # 獲取總頁數 get_product_id() # print(pid_list) total_page = (int(PAGENUM/20)+2) for pagenum in range(2,total_page): get_product_id(pagenum) time.sleep(2) for pid in pid_list: get_info(pid) # print(len(pid_list))