爬取博主所有文章並保存到本地（.txt版）--python3.6
閑話： 一位前輩告訴我大學期間要好好維護自己的博客，在博客園發布很好，但是自己最好也保留一個備份。 正好最近在學習python，剛剛從py2轉到py3，還有點不是很習慣，正想着多練習，於是萌生了這個想法——用爬蟲保存自己的所有文章 在查了一些資料后，慢慢的有了思路。 正文： 有了上面 ...
原文：python：爬取博主的所有文章的鏈接、標題和內容
以爬取我自己的博客為例：https: www.cnblogs.com Mr choa 獲取所有的文章的鏈接： 博客文章總共占兩頁，比如打開第一頁：https: www.cnblogs.com Mr choa default.html page 的HTML源文件 每篇博客文章的鏈接都在a標簽下，並且具有class屬性為 postTitle ，其href屬性就指向這篇博文的地址 lt a class ...
2020-04-02 13:58 1 1512 推薦指數：
相關推薦
python3.5爬蟲-爬取微博某博主微博內容
想要爬取某個博主的微博數據。在網絡上尋找了很多關於爬取微博內容的教程，發現有些教程比較老舊了，已經無法再用，有些教程在我這里出現一些問題，比如爬取移動端的微博需要獲取登陸cookie，而我的谷歌瀏覽器卻無法顯示，如下圖所示。最終發現一博主分享的源碼，親測可用。博客鏈接為：https ...
爬取博主的所有文章並保存為PDF文件
繼續改進上一個項目，上次我們爬取了所有文章，但是保存為TXT文件，查看不方便，而且還無法保存文章中的代碼和圖片。 所以這次保存為PDF文件，方便查看。 需要的工具： 1、wkhtmltopdf安裝包，下載並安裝到電腦上，可使用 pip安裝 ，注意環境變量的配置。具體參見下面的資料 ...
Python 爬取B站（Bilibili.com）UP主的所有公開視頻鏈接及信息
原文鏈接：https://blog.xieqiaokang.com/posts/36033.html Github：https://github.com/xieqk/Bilibili_Spider_by_UserID Gitee：https://gitee.com/xieqk ...
爬取微博文章內容，關鍵字搜索爬取
# coding:utf-8 import requests import json from bs4 import BeautifulSoup # 搜索頁面 def get_home_pag ...
微博內容爬取
在成功獲取微博用戶的列表之后，我們可以對每個用戶的主頁內容進行爬取了 環境 tools 1、chrome及其developer tools 2、python3.6 3、pycharm Python3.6中使用的庫 爬取字段確定 首先，我們只管的瀏覽 ...
python 爬取文章
這里我們利用強大的python爬蟲來爬取一篇文章。僅僅做一個示范，更高級的用法還要大家自己實踐。 好了，這里就不啰嗦了，找到一篇文章的url地址：http://www.duanwenxue.com/article/673911.html （注意，有一些網站會做一些反爬處理 ...
python爬蟲實戰（六）--------新浪微博（爬取微博帳號所發內容，不爬取歷史內容）
相關代碼已經修改調試成功----2017-4-13 詳情代碼請移步我的github：https://github.com/pujinxiao/sina_spider 一、說明 1.目標網址：新浪微博 2.實現：跟蹤比較活躍的微博號所發的微博內容，隔3-5分鍾刷新（爬取）一次，只有更新了才爬 ...