前言
本文的文字及圖片來源於網絡,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理。
作者:Python玩家
注意:如果你平時學Python有問題找不到人解答,可以點我進裙里面有大佬解答,裙文件也有最新Python教程,希望能幫助到你!
話不多說,直接干貨了!
頭條圖集:抓包獲取json數據
打開今日頭條主頁,搜索小姐姐,或者其他你感興趣的內容,然后點擊圖集
動態加載的json數據就出來了,沒有反爬,注意的是,如果不想去內容里面抓圖片的話,可以只抓縮略圖,就是這個頁面顯示的圖片,它在json數據中的image_list中,注意,將url中的list換成origin,就是大圖哦!代碼如下
所有的圖片地址都出來了!,注意:如果你平時學Python有問題找不到人解答,可以點我進裙里面有大佬解答,裙文件也有最新Python教程,希望能幫助到你!
全書網:直接源碼匹配重點內容相關內容
直接搜索全書網,打開主頁,隨便找一篇小說,比如《盜墓筆記》,點擊后跳轉到網頁,在點擊開始閱讀,出現了所有章節,在進入章節就出現了小說內容,網頁內容和代碼如下:
80電子書:匹配到地址直接下載壓縮文件
80電子書網和上面的全書網比較類似,但是它本身提供有下載功能,可以直接用小說Id和名字直接構建下載文件,頁面截圖和代碼:
python學習交流群542110741
其他類似網站
類似的網站還有:妹子圖網、美桌網、筆趣閣、久久等等甚至百度圖片也可以用抓包獲取數據的!
以上代碼都是隨手寫的,沒有排版,大家有興趣可以自己排下版,或者比如小說網站,可以先抓取大類別,然后在每一個類別中獲取所有小說,最后在把所有小說的內容抓出來,這樣就是全站爬蟲了!!!
如果大家還有什么適合的網站,希望能在評論區里共享下哦!大家一起交流下!