一、無頭瀏覽器(phantomJS) 　　PhantomJS是一款無界面的瀏覽器，其自動化操作流程和上述操作谷歌瀏覽器是一致的。由於是無界面的，為了能夠展示自動化操作流程，PhantomJS為用戶提 ...

一、selenium簡介 　　selenium最初是一個自動化測試工具,而爬蟲中使用它主要是為了解決requests無法直接執行JavaScript代碼的問題 selenium本質是通過驅動瀏覽器，完全模擬瀏覽器的操作，比如跳轉、輸入、點擊、下拉等，來拿到網頁渲染之后的結果，可支持多種瀏覽器 ...

一、引言： 　　最近在忙某個商業銀行的項目，需要引入外部互聯網數據作為參考，作為技術選型階段的工作，之前已經確定了中文分詞工具，下一個話題就是網絡爬蟲的選擇，目標很明確，需要下載一些財經網站的新聞信息，然后進行文本計算。記得上一次碰爬蟲還是5年前，時過境遷，不知道爬蟲的世界里是否有了新的崛起 ...

　　在服務器Ubuntu系統上跑爬蟲，爬蟲是基於Selenium寫的，遇到好幾個問題，現在這里記錄一下。 1. 安裝環境 　　阿里雲，Ubuntu16.04，因為沒有界面，所以遠程命令行操作。爬蟲是基於Selenium寫的，需要安裝Chrome瀏覽器和Chromedriver。 　　1.1 ...

在初步了解網絡爬蟲之后，我們接下來就要動手運用Python來爬取網頁了。 我們知道，網絡爬蟲應用一般分為兩個步驟： 　　1.通過網頁鏈接獲取內容； 　　2.對獲得的網頁內容進行處理 這兩個步驟需要分別使用不同的函數庫：requests和beautifulsoup4。所以我們要安裝這兩個 ...

簡介 哥們今天開始寫寫python爬蟲相關的博客了，廢話不多說，直接開干吧！ 正所謂工欲善其事必先利其器，在開始進行爬蟲之前，下載安裝pychrom是十分必要的，代碼的編寫和運行都需要在pycharm中進行。 下面是pycharm的安裝教程（Windows），基於其他平台的安裝教程 ...

一、首先安裝python並配置好環境變量 二、安裝selenium 安裝文件夾在安裝的python文件夾下，例：D:\Program\python\Lib\site-packages\seleniumD:\Program\python\Lib\site-packages ...

2，jia 包 放到bin 目錄 里 3，修改兩個配置文件 ...