原文:python3-爬取cnnvd漏洞信息

因為工作需要cnnvd漏洞信息,以前用着集客搜 八爪魚之類的工具,但對其效果和速度都不滿意。最近開始接觸學習爬蟲,作為初學者,還需要慢慢完善。先記錄下第一個爬蟲。還想着在多進程和IP代理方向改善學習。 這個是運行情況,速度還是無法忍受,多進程在數據獲取應該能快很多,IP代理應該能忽視短時間多次訪問被限制的問題,從而可以提高速度。 輸出 excel 如圖: 以下是整個代碼: ...

2017-11-08 16:03 0 2019 推薦指數:

查看詳情

利用seleniumcnvd漏洞信息

  cnvd使用加速樂,正常訪問會產生兩次訪問,第一次返回一段js代碼生成cookie端添加到第二次訪問的cookie才能進行成功訪問。通過selenium訪問一次產生的cookie,再利用sessi ...

Thu Feb 08 18:46:00 CST 2018 0 1140
python股票信息

這是慕課上的源代碼,直接粘貼的,不知道為什么運行一直報錯。以下是錯誤。如果有人解決了,麻煩說一聲,謝謝啦。 下面是慕課中修改的代碼,也是源代碼,直接粘貼的,但是是可以運行出來的。 ...

Fri Aug 10 02:55:00 CST 2018 0 2420
Python網頁信息

Python網頁信息的步驟 以英文名字網站(https://nameberry.com/)中每個名字的評論內容,包括英文名,用戶名,評論的時間和評論的內容為例。 1、確認網址 在瀏覽器中輸入初始網址,逐層查找鏈接,直到找到需要獲取的內容。 在打開的界面中,點擊鼠標右鍵,在彈出 ...

Sun Dec 15 10:15:00 CST 2019 3 1457
python網站信息

一.網站數據 大體思路,采用requests模塊頁面源代碼,處理網頁反機制(加入headers模擬人工訪問瀏覽器),再采用re模塊進行信信息處理分割,取得我所需要的信息。整合為列表方便下一步處理。 二.將數據存入Execl表格 三.將數據寫入 ...

Mon Apr 04 05:34:00 CST 2022 0 1018
Python-CVE漏洞庫👻

Python-CVE漏洞庫👻 最近吧准備復現一下近幾年的漏洞👻,一個一個的去找太麻煩了。今天做到第幾頁后面過幾天再來可能就不記得了。所以我想這搞個爬蟲給他爬下來做個excel表格,那就清楚多了。😂奈何還沒寫過爬蟲,之前就一直對爬蟲挺感興趣的,但是一直沒去研究過。今天正好碰到了,躲是躲 ...

Sat Nov 06 07:16:00 CST 2021 0 1362
python 豆瓣書籍信息

貓眼電影TOP100榜單 之后,再來一下豆瓣的書籍信息(主要是書的信息,評分及占比,評論並未)。原創,轉載請聯系我。 需求:豆瓣某類型標簽下的所有書籍的詳細信息及評分 語言:python 支持庫: 正則、解析和搜索:re、requests、bs4、lxml (后 ...

Wed Nov 13 19:11:00 CST 2019 1 2043
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM