node 使用selenium 爬取頁面數據(node爬蟲)


什么是selenium-webdriver

selenium-webdriver是一種用於調動瀏覽器進行操作的插件。本文主要是給node使用,並擁有爬蟲獲取數據。

操作流程

打開npm網站,搜索selenium-webdriver
https://www.npmjs.com/package/selenium-webdriver

選擇自己使用的瀏覽器,並安裝對應的瀏覽器版本,一定要和自己瀏覽器的版本一致的驅動程序


寫清楚使用的瀏覽器,並且調用的輔助驅動最好和調用程序放在一個目錄下

也chrome版本比較多,如果找不到對應的版本還可以使用firefox,效果基本一致,只是瀏覽器不一樣
本案例使用的就是火狐,讀取一個小說網站,並通過css和標簽獲取章節名和鏈接地址
先安裝模塊
npm i selenium-webdriver

下面是全部代碼

const {Builder, By, Key, until} = require('selenium-webdriver');
(async function example() {
  let driver = await new Builder().forBrowser('firefox').build();
  try {
    await driver.get('https://m.banzhuchilaohu.com/indexlist/2916/');
// await driver.findElement(By.id('cboxClose')).click()
    
    // await driver.findElement(By.id('kw')).sendKeys('前端', Key.RETURN);
     let items = await driver.findElements(By.css('.chapter li'));
     var list = []
    for(let i=0; i<items.length; i++) {
      let item = items[i];
      // console.log(await  item.getText())
      let title = await item.findElement(By.css("a")).getText();
      let url = await item.findElement(By.css("a")).getAttribute("href");
      list.push({title,url});
      
    }
    console.log(list);


  } finally {
    // await driver.quit();
  }
})();


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM