前言：字體反爬，也是一種常見的反爬技術，例如58同城，貓眼電影票房，汽車之家，天眼查，實習僧等網站。這些網站采用了自定義的字體文件，在瀏覽器上正常顯示，但是爬蟲抓取下來的數據要么就是亂碼，要么就是變成其他字符，是因為他們采用自定義字體文件，通過在線加載來引用樣式，這是CSS3的新特性 ...

爬蟲常用來從某些網站抓取數據, 包括文字,圖片等都可能作為爬取目標。通常情況下, 文字數據有更高的價值, 更容易進行后續分析, 所以有些網站就將關鍵數據以圖片, 或者自定義字體形式來展示, 這樣一來, 爬蟲拿到的數據就會難以分析, 分析成本增高, 收益減少, 就可以降低爬蟲制作者的積極性。對於圖片 ...

一、站點分析 　　MTime 時光網是一個電影媒體與電商服務平台，而這次做的模擬登錄則是依靠其手機端站點，站點地址為：https://m.mtime.cn/#。切換到登錄頁面，再分別輸入賬號和錯誤的 ...

前言 今天我們就用爬蟲攜程旅游景點數據爬取與可視化並做簡單的數據可視化分析唄。讓我們愉快地開始吧~ 開發工具 Python版本：3.6.4 相關模塊： bs4模塊； jieba模塊； pyecharts模塊； wordcloud模塊； requests模塊； 以及一些 ...

一、前言 　　本文是一次破解某網站 JS 加密數據的記錄，網址為： https://www.qimingpian.cn/finosda/event/einvestment 　　要獲取的是本頁面上的投資事件信息，首先可以確定的是數據是通過 AJax 來傳輸的，並非直接寫在網頁源碼中 ...

Python爬蟲目前是基於requests包，下面是該包的文檔，查一些資料還是比較方便。 http://docs.python-requests.org/en/master/ POST發送內容格式 爬取某旅游網站的產品評論，通過分析，獲取json文件需要POST指令。簡單來說 ...

WebMagic學習 遇到的問題 Log4j錯誤 解決：在src目錄下添加配置文件 log4j.properties 協議錯誤，有的網站需要的SSL協議比較高，盡量使用做高版本 ...

一、頁面分析 首先打開貓眼電影，然后點擊一個正在熱播的電影（比如：毒液）。打開開發者工具，點擊左上角的箭頭，然后用鼠標點擊網頁上的票價，可以看到源碼中顯示的不是數字，而是某些根本看不懂的字符，這是因 ...