broswer = webdriver.Firefox() broswer.get("https://www.smzdm.com/p/20765776/#hfeeds") # self.logger.info(broswer.page_source) goods_scrapy_selector = Selector(text=broswer.page_source) title_selector = goods_scrapy_selector.css(".J_title") title = title_selector.get() self.logger.info(title) broswer.get("https://www.smzdm.com/p/20769796/#hfeeds") goods_scrapy_selector = Selector(text=broswer.page_source) title_selector = goods_scrapy_selector.css(".J_title") title = title_selector.get()
不知道問什么,broswer只有在執行第一句的get時瀏覽器才會去加載頁面,第二句不會去加載導致第二句的title是第一個地址的值。后來發現是url中#hfeeds這個錨的問題,去掉#feeds就好了,具體什么原因還不清楚。