一、介紹 　　　　本例子用Selenium +phantomjs爬取今天頭條視頻（http://www.tvhome.com/news/）的信息，輸入給定關鍵字抓取圖片信息。 　　　　給定關鍵字：視頻；融合；電視 ...

...

github: https://github.com/haibincoder/ToutiaoCrawler 1.瀏覽器中找到內容的接口，Network --> XHR是動態加載的，如果沒有內容的話刷新當前頁面，我們這里可以看到data節點下面有需要的數據。 2. ...

的article_url,是圖集詳情頁的url。 4.首先抓取索引頁的內容 　　data數據來自於索引 ...

AJAX 是一種用於創建快速動態網頁的技術。 通過在后台與服務器進行少量數據交換，AJAX 可以使網頁實現異步更新。這意味着可以在不重新加載整個網頁的情況下，對網頁的某部分進行更新。 近期在學習獲取js動態加載網頁的爬蟲，決定通過實例加深理解。 1、首先是url的研究（谷歌瀏覽器的審查功能 ...

爬取今日頭條https://www.toutiao.com/首頁推薦的新聞，打開網址得到如下界面 查看源代碼你會發現 全是js代碼，說明今日頭條的內容是通過js動態生成的。 用火狐瀏覽器F12查看得知 得到了今日頭條的推薦新聞的接口地址：https ...

...

1、分析今日頭條 　　在看頭條的時候可以發現展示出來的頁面的數據都是一些封裝過的js代碼或者css代碼，所以這時候就需要考慮頁面的數據是不是封裝在cookie里面了 　　回過頭去看cookie就可以發現有一個s_v_web_id的cookie字段，然后上去一試就得到了當前網頁的真是源代碼 ...