python爬虫(按贴吧和帖子主题关键词筛选帖子的URL)
#!/usr/bin/env python # -*- coding :gb2312 -*- import urllib.request from urllib.request import urlopen from bs4 import BeautifulSoup import time def writeAl(all_nr_print): # now = time.strftime("%Y%m%d%H%M%S", time.localtime(time.time())) # now = time.strftime("%Y%m%d%H", time.localtime(time.time())) # fname = (kw + "吧_" + kw2 + now + r".txt") fname = (kw + "吧_P" + str(beginPage) + "-P" + str(endPage) + "_" + kw2 + r".txt") with open(fname, 'a') as f: f.write(all_nr_print+"\n") def all_nr(full_url): html = urlopen(full_url) bsObj = BeautifulSoup(html, 'html.parser') t1 = bsObj.find_all('a') for t2 in t1: t3 = str(t2.get('href')) t31 = str(t2.get('title')) if len(t3) == 13: if kw2 in t31: all_nr_print = t31 + " " + str(kw2_url) + str(t3) print(all_nr_print) writeAl(all_nr_print) def tiebaSpider(kw_url, beginPage, endPage): for page in range(beginPage, endPage + 1): pn = (page - 1) * 50 full_url = kw_url + "&pn=" + str(pn) print("\n%s"% full_url) all_nr(full_url) # writeAl(full_url) if __name__ == '__main__': kw = input('请输入贴吧名：') beginPage = int(input("请输入起始页：")) endPage = int(input("请输入结束页：")) kw2 = input('请输入帖子主题的\"关键词\"：') kw_url = "http://tieba.baidu.com/f?" kw2_url = "http://tieba.baidu.com" kw_key = urllib.parse.urlencode({"kw": kw}) full_url = kw_url + kw_key tiebaSpider(full_url, beginPage, endPage)
效果展示
【招募】志同道合的小伙伴 http://tieba.baidu.com/p/5978320266 【招募】不搞事，不入社，让圈不要那么青黄不接。 http://tieba.baidu.com/p/5818071634 【招募】大型神话广播剧《复遁》招募cv 诛神灭 http://tieba.baidu.com/p/5951882277 【招募】全年龄广播剧《儿童列车》招募CV http://tieba.baidu.com/p/5962267374 【招募】声御轩广播剧社持续招新中 http://tieba.baidu.com/p/5962547207 【招募】叮咚~您有一份待签收的邀请函~ http://tieba.baidu.com/p/5972716719 【招募】招募编剧，歌基，CV http://tieba.baidu.com/p/5973923547 【招募】绘音配音2018双十一特别招募开始啦！ http://tieba.baidu.com/p/5946805942 【招募】拂声剧社招新啦！ http://tieba.baidu.com/p/5876019775 【招募】不停与笙社团招新 http://tieba.baidu.com/p/5976567325 【招募】全一期古风bl剧《清潭》招募cv。人物和试音词看图 http://tieba.baidu.com/p/5978456005 【招募】陌熏熏工作组出品，全12期原创虐心系列之《半生戏》， http://tieba.baidu.com/p/5919689319 [招募]工作室招志同道合伙伴 http://tieba.baidu.com/p/5950106274 【招募】流连声色广播剧社招新 http://tieba.baidu.com/p/5513767446 【招募】全两期科幻耽美广播剧《机器》招募sc啦! http://tieba.baidu.com/p/5973981263 【招募】听弦小筑团队招人啦~~~ http://tieba.baidu.com/p/5954552471 分享：【招募】招募后期学徒 http://tieba.baidu.com/p/5977220335 【招募】广播剧《狼毫轶事录》求剧后 http://tieba.baidu.com/p/5977050477 【招募】三号广播剧社2018年招新~~来看看这个沉寂了两年的社团吧 http://tieba.baidu.com/p/5739440029 【招募】歌姬看过来，这有一首填翻需要歌姬，最好是御姐音，少御 http://tieba.baidu.com/p/5978220042 【招募】有没有老年人或者小新人想找个归属呀！我们家专收无家可 http://tieba.baidu.com/p/5876316759 【招募】平声欢社团招新啦！ http://tieba.baidu.com/p/5972804085 【招募】全一期原创恐怖灵异广播剧《白衣成血》招募sc啦! http://tieba.baidu.com/p/5976285465 【招募】招募广播剧社入驻～ http://tieba.baidu.com/p/5958522967 【招募】栀子于归配音社招募啦 http://tieba.baidu.com/p/5870842105 【招募】拂声剧社招募啦~需要副社一枚~ http://tieba.baidu.com/p/5972040098 【招募】全一期古风BG广播剧《长歌诀》招募CV，美工 http://tieba.baidu.com/p/5971507781 分享：【招募】有偿 http://tieba.baidu.com/p/5977187731 【招募】你猜哪个工作组招募各工种 http://tieba.baidu.com/p/5960617052 【招募】一位无偿画师 《重生之恶少》广播剧第二期 春溪笛晓原著 http://tieba.baidu.com/p/5974780587 【招募】现代架空全一期原创耽美广播剧《魔窟的爱情轮回》招募cv http://tieba.baidu.com/p/5944614573 【招募】现代微悬疑全一期原创bg广播剧《镜面》招募cv http://tieba.baidu.com/p/5962239680 【招募】原创短剧 全一期 现代全年龄 广播剧《相遇》CV招募 http://tieba.baidu.com/p/5953852568 【招募】全一期亲情广播剧《相遇》继续招募CV http://tieba.baidu.com/p/5958363399 【招募】全年龄原创短剧《相遇》 http://tieba.baidu.com/p/5960516165 【招募】音玖广播剧社团招募 http://tieba.baidu.com/p/5422417242 【招募】全一期现代BG广播剧《星辰似你》招募cv http://tieba.baidu.com/p/5949823490 【招募】绿叶ACG动漫配音社团招新了！ http://tieba.baidu.com/p/5709436979 【招募】「韵寥幽音原创团队」五周年团队招新啦～～～ http://tieba.baidu.com/p/5959834856 【招募】广播剧，求一萝莉音 http://tieba.baidu.com/p/5961227120 【招募】纯男音微时配音社年末招新（长期） http://tieba.baidu.com/p/5961400299 【招募】夜雨声繁广播剧社招新第六弹 http://tieba.baidu.com/p/5886257950 【招募】《因为风就在那里》剧组招募CV http://tieba.baidu.com/p/5905474046 【耽美广播剧cv龙套招募】全一期现代耽美广播剧《有何不可》 http://tieba.baidu.com/p/5968767308 【招募】708工作室招新~欢迎大可爱小可爱们加入 http://tieba.baidu.com/p/5970854197 【招募】现代写实向广播剧《沉默》招募cv啦 http://tieba.baidu.com/p/5972644325 【招募】有声小说招募一批主播 http://tieba.baidu.com/p/5869491333 【招募】现代耽美广播剧《天生敌对》下期招募CV请各位踊跃试音！ http://tieba.baidu.com/p/5572391112 【招募】有声漫画《男神恋爱系统》招募CV http://tieba.baidu.com/p/5972707560 【招募】广播剧中介无偿接新群本群的宗旨是找寻圈子里至今还无偿 http://tieba.baidu.com/p/5825823553 【招募】此生浮华音社招新 http://tieba.baidu.com/p/5819980058 【招募】七米末年配音组招新 http://tieba.baidu.com/p/5958504165 【招募】《天官赐福》招募cv啦 http://tieba.baidu.com/p/5841752098 【招募】招一个歌后小可爱！急！打算十二月二十号左右发歌。剧情 http://tieba.baidu.com/p/5970157276 【招募】全一期古风BL剧《相思令》招募CV http://tieba.baidu.com/p/5950575551 【招募】校园自媒体x微信公众号“七夕特辑”活动《我对象呢》c http://tieba.baidu.com/p/5842735372