1 引言 數月前寫過某網站(請原諒我的掩耳盜鈴)的爬蟲,這兩天需要重新采集一次,用的是scrapy-redis框架,本以為二次爬取可以輕松完成的,可沒想到爬蟲啟動沒幾秒,出現了大堆的重試提示,心里頓時就咯噔一下,悠閑時光估計要結束了。 仔細分析后,發現是獲取店鋪列表的請求出現問題,通過瀏覽器抓 ...
x 前言 大家好,相信點進來看的小伙伴都對爬蟲非常感興趣 絕對不是因為封面 , 博主也是一樣的。 最近由於疫情的原因,大家都不能出門玩耍,所以博主准備分享一些有趣的學習經歷給大家。 昨天,博主逛B站時偶然 非常偶然 發現了一個不同尋常的教程 揍是下面這個 教程鏈接: 學習完之后,可以說是收獲滿滿啊。 所以今天也給大家安利一下這個教程,順便也整理一下自己學的知識。 x 准備工作 目標站點: rob ...
2020-03-07 18:33 0 692 推薦指數:
1 引言 數月前寫過某網站(請原諒我的掩耳盜鈴)的爬蟲,這兩天需要重新采集一次,用的是scrapy-redis框架,本以為二次爬取可以輕松完成的,可沒想到爬蟲啟動沒幾秒,出現了大堆的重試提示,心里頓時就咯噔一下,悠閑時光估計要結束了。 仔細分析后,發現是獲取店鋪列表的請求出現問題,通過瀏覽器抓 ...
投簡歷階段 又到了金三銀四的這段日子了,看着大家紛紛投簡歷找工作,抱着有事兒沒事兒湊熱鬧的想法也參加到了投簡歷的大隊伍中。先自我介紹一下,本人三年.NET loser一枚,現就職於某游戲運營公司,l ...
其實外包是很多人在職業生涯中都會遇到的問題,也就是接私活。今天我來說說我遇到過的一次外包經歷,我要說的這次外包經歷既不是我的第一個外包項目,也不是最后一個,之所以要記下來,是因為這是我目前為止遇到過的最坑的一次,導致我整個2015年都在為這一次外包進行補救。不過,我寫這篇文章並不是為了抱怨 ...
今天業務突然來了個爬蟲業務,爬出來的數據以Excel的形式導出,下班前一個小時開始做,加班一個小時就做好了。因為太久沒做爬蟲了!做這個需求都是很興奮! 需求說明 訪問網站 (循環)獲取頁面指定數據源 根據頁面數據源再(循環)訪問詳情數據 記錄詳情數據,以Excel形式導出 ...
組件嵌套了很多,傳值過於麻煩,項目又着急,暫時粗暴一點解決~~~ 畢竟先解決問題,再優化嘛 ...
有朋友聽到我失業了,表示很驚訝,“牛人也會失業?",是的,會的。因為自己不適合那間公司,而且失業對我的發展來說也是件好事。 某天的一個上午,在寫着代碼,突然被老大叫進了辦公室。告訴我,合同期完,公司 ...
日志集中式監控平台上線已經有一段時間,但是大部分情況下只是作為發布或者出問題時查看日志的便利工具使用。平時大家都不怎么主動上去看看。於是前幾天把應用的錯誤日志也加上郵件、Hi和短信報警,馬上就收到很多 ...
昨天晚上跟一家公司進行遠程視頻二面,面試官上來先扔過來一道編程題,要求在文檔中手擼代碼,不能用IDE編碼。 一開始沒想好,思路有問題,做到最后發現行不通,於是掛了。。。。。 第二天到公司靜下 ...