什么是selenium-webdriver
selenium-webdriver是一種用於調動瀏覽器進行操作的插件。本文主要是給node使用,並擁有爬蟲獲取數據。
操作流程
打開npm網站,搜索selenium-webdriver
https://www.npmjs.com/package/selenium-webdriver
選擇自己使用的瀏覽器,並安裝對應的瀏覽器版本,一定要和自己瀏覽器的版本一致的驅動程序
寫清楚使用的瀏覽器,並且調用的輔助驅動最好和調用程序放在一個目錄下
也chrome版本比較多,如果找不到對應的版本還可以使用firefox,效果基本一致,只是瀏覽器不一樣
本案例使用的就是火狐,讀取一個小說網站,並通過css和標簽獲取章節名和鏈接地址
先安裝模塊
npm i selenium-webdriver
下面是全部代碼
const {Builder, By, Key, until} = require('selenium-webdriver');
(async function example() {
let driver = await new Builder().forBrowser('firefox').build();
try {
await driver.get('https://m.banzhuchilaohu.com/indexlist/2916/');
// await driver.findElement(By.id('cboxClose')).click()
// await driver.findElement(By.id('kw')).sendKeys('前端', Key.RETURN);
let items = await driver.findElements(By.css('.chapter li'));
var list = []
for(let i=0; i<items.length; i++) {
let item = items[i];
// console.log(await item.getText())
let title = await item.findElement(By.css("a")).getText();
let url = await item.findElement(By.css("a")).getAttribute("href");
list.push({title,url});
}
console.log(list);
} finally {
// await driver.quit();
}
})();