python爬蟲(按貼吧和帖子主題關鍵詞篩選帖子的URL)
#!/usr/bin/env python # -*- coding :gb2312 -*- import urllib.request from urllib.request import urlopen from bs4 import BeautifulSoup import time def writeAl(all_nr_print): # now = time.strftime("%Y%m%d%H%M%S", time.localtime(time.time())) # now = time.strftime("%Y%m%d%H", time.localtime(time.time())) # fname = (kw + "吧_" + kw2 + now + r".txt") fname = (kw + "吧_P" + str(beginPage) + "-P" + str(endPage) + "_" + kw2 + r".txt") with open(fname, 'a') as f: f.write(all_nr_print+"\n") def all_nr(full_url): html = urlopen(full_url) bsObj = BeautifulSoup(html, 'html.parser') t1 = bsObj.find_all('a') for t2 in t1: t3 = str(t2.get('href')) t31 = str(t2.get('title')) if len(t3) == 13: if kw2 in t31: all_nr_print = t31 + " " + str(kw2_url) + str(t3) print(all_nr_print) writeAl(all_nr_print) def tiebaSpider(kw_url, beginPage, endPage): for page in range(beginPage, endPage + 1): pn = (page - 1) * 50 full_url = kw_url + "&pn=" + str(pn) print("\n%s"% full_url) all_nr(full_url) # writeAl(full_url) if __name__ == '__main__': kw = input('請輸入貼吧名：') beginPage = int(input("請輸入起始頁：")) endPage = int(input("請輸入結束頁：")) kw2 = input('請輸入帖子主題的\"關鍵詞\"：') kw_url = "http://tieba.baidu.com/f?" kw2_url = "http://tieba.baidu.com" kw_key = urllib.parse.urlencode({"kw": kw}) full_url = kw_url + kw_key tiebaSpider(full_url, beginPage, endPage)
效果展示
【招募】志同道合的小伙伴 http://tieba.baidu.com/p/5978320266 【招募】不搞事，不入社，讓圈不要那么青黃不接。 http://tieba.baidu.com/p/5818071634 【招募】大型神話廣播劇《復遁》招募cv 誅神滅 http://tieba.baidu.com/p/5951882277 【招募】全年齡廣播劇《兒童列車》招募CV http://tieba.baidu.com/p/5962267374 【招募】聲御軒廣播劇社持續招新中 http://tieba.baidu.com/p/5962547207 【招募】叮咚~您有一份待簽收的邀請函~ http://tieba.baidu.com/p/5972716719 【招募】招募編劇，歌基，CV http://tieba.baidu.com/p/5973923547 【招募】繪音配音2018雙十一特別招募開始啦！ http://tieba.baidu.com/p/5946805942 【招募】拂聲劇社招新啦！ http://tieba.baidu.com/p/5876019775 【招募】不停與笙社團招新 http://tieba.baidu.com/p/5976567325 【招募】全一期古風bl劇《清潭》招募cv。人物和試音詞看圖 http://tieba.baidu.com/p/5978456005 【招募】陌熏熏工作組出品，全12期原創虐心系列之《半生戲》， http://tieba.baidu.com/p/5919689319 [招募]工作室招志同道合伙伴 http://tieba.baidu.com/p/5950106274 【招募】流連聲色廣播劇社招新 http://tieba.baidu.com/p/5513767446 【招募】全兩期科幻耽美廣播劇《機器》招募sc啦! http://tieba.baidu.com/p/5973981263 【招募】聽弦小築團隊招人啦~~~ http://tieba.baidu.com/p/5954552471 分享：【招募】招募后期學徒 http://tieba.baidu.com/p/5977220335 【招募】廣播劇《狼毫軼事錄》求劇后 http://tieba.baidu.com/p/5977050477 【招募】三號廣播劇社2018年招新~~來看看這個沉寂了兩年的社團吧 http://tieba.baidu.com/p/5739440029 【招募】歌姬看過來，這有一首填翻需要歌姬，最好是御姐音，少御 http://tieba.baidu.com/p/5978220042 【招募】有沒有老年人或者小新人想找個歸屬呀！我們家專收無家可 http://tieba.baidu.com/p/5876316759 【招募】平聲歡社團招新啦！ http://tieba.baidu.com/p/5972804085 【招募】全一期原創恐怖靈異廣播劇《白衣成血》招募sc啦! http://tieba.baidu.com/p/5976285465 【招募】招募廣播劇社入駐～ http://tieba.baidu.com/p/5958522967 【招募】梔子於歸配音社招募啦 http://tieba.baidu.com/p/5870842105 【招募】拂聲劇社招募啦~需要副社一枚~ http://tieba.baidu.com/p/5972040098 【招募】全一期古風BG廣播劇《長歌訣》招募CV，美工 http://tieba.baidu.com/p/5971507781 分享：【招募】有償 http://tieba.baidu.com/p/5977187731 【招募】你猜哪個工作組招募各工種 http://tieba.baidu.com/p/5960617052 【招募】一位無償畫師 《重生之惡少》廣播劇第二期 春溪笛曉原著 http://tieba.baidu.com/p/5974780587 【招募】現代架空全一期原創耽美廣播劇《魔窟的愛情輪回》招募cv http://tieba.baidu.com/p/5944614573 【招募】現代微懸疑全一期原創bg廣播劇《鏡面》招募cv http://tieba.baidu.com/p/5962239680 【招募】原創短劇 全一期 現代全年齡 廣播劇《相遇》CV招募 http://tieba.baidu.com/p/5953852568 【招募】全一期親情廣播劇《相遇》繼續招募CV http://tieba.baidu.com/p/5958363399 【招募】全年齡原創短劇《相遇》 http://tieba.baidu.com/p/5960516165 【招募】音玖廣播劇社團招募 http://tieba.baidu.com/p/5422417242 【招募】全一期現代BG廣播劇《星辰似你》招募cv http://tieba.baidu.com/p/5949823490 【招募】綠葉ACG動漫配音社團招新了！ http://tieba.baidu.com/p/5709436979 【招募】「韻寥幽音原創團隊」五周年團隊招新啦～～～ http://tieba.baidu.com/p/5959834856 【招募】廣播劇，求一蘿莉音 http://tieba.baidu.com/p/5961227120 【招募】純男音微時配音社年末招新（長期） http://tieba.baidu.com/p/5961400299 【招募】夜雨聲繁廣播劇社招新第六彈 http://tieba.baidu.com/p/5886257950 【招募】《因為風就在那里》劇組招募CV http://tieba.baidu.com/p/5905474046 【耽美廣播劇cv龍套招募】全一期現代耽美廣播劇《有何不可》 http://tieba.baidu.com/p/5968767308 【招募】708工作室招新~歡迎大可愛小可愛們加入 http://tieba.baidu.com/p/5970854197 【招募】現代寫實向廣播劇《沉默》招募cv啦 http://tieba.baidu.com/p/5972644325 【招募】有聲小說招募一批主播 http://tieba.baidu.com/p/5869491333 【招募】現代耽美廣播劇《天生敵對》下期招募CV請各位踴躍試音！ http://tieba.baidu.com/p/5572391112 【招募】有聲漫畫《男神戀愛系統》招募CV http://tieba.baidu.com/p/5972707560 【招募】廣播劇中介無償接新群本群的宗旨是找尋圈子里至今還無償 http://tieba.baidu.com/p/5825823553 【招募】此生浮華音社招新 http://tieba.baidu.com/p/5819980058 【招募】七米末年配音組招新 http://tieba.baidu.com/p/5958504165 【招募】《天官賜福》招募cv啦 http://tieba.baidu.com/p/5841752098 【招募】招一個歌后小可愛！急！打算十二月二十號左右發歌。劇情 http://tieba.baidu.com/p/5970157276 【招募】全一期古風BL劇《相思令》招募CV http://tieba.baidu.com/p/5950575551 【招募】校園自媒體x微信公眾號“七夕特輯”活動《我對象呢》c http://tieba.baidu.com/p/5842735372