爬取數據時，有時候會出現無法通過正常的requests請求獲取網頁內容，導致數據無法抓取到，遇到這種情況時，可以換種思路去爬取數據，使用PhantomJS，即爬蟲終極解決方案去獲取頁面元素。
#!/usr/local/bin/python3.7 from selenium import webdriver import time # phantomJS路徑 path = '/Users/mozili/Documents/PhantomJS/phantomjs-2.1.1-macosx/bin/phantomjs' # 創建瀏覽器對象 browser = webdriver.PhantomJS(path) # 打開百度並操作 url = 'https://www.baidu.com' browser.get(url) time.sleep(1) # 截圖 browser.save_screenshot('Reptile/phantomjs_img/baidu.png') # 定位搜索框 search = browser.find_element_by_id('kw') time.sleep(1) # 在搜索框輸入內容 search.send_keys('美女') time.sleep(1) # 截圖 browser.save_screenshot('Reptile/phantomjs_img/meinv.png') # 關閉瀏覽器 browser.quit()