用python写网络爬虫-爬取新浪微博评论

本文详细介绍了如何利用python实现微博评论的爬取，可以爬取指定微博下的评论。基于的策略是找到微博评论接口，先登录微博，获取cookies，使用requests库发送请求，并且将数据存储到.csv文件中。用到的库request，

首先微博的站点有四个，pc 端weibo.com、weibo.cn以及移动端m.weibo.com（无法在电脑上浏览）、https://m.weibo.cn。在网上大致浏览了一下，普遍都认为移动端爬取比较容易，故选择移动端https://m.weibo.cn进行爬取。

 

登陆m.weibo.cn之后，找到指定微博，例如如下微博https://m.weibo.cn/detail/4493649780161355：

 

 

 

 

 

 

 

 

F12打开开发者模式，点击如下图选项，找到评论所在接口

找到接口以及文本内容之后，就是分析请求的url构造规律，找到第一个被请求数据的第一个url：
https://m.weibo.cn/comments/hotflow?id=4493649780161355&mid=4493649780161355&max_id_type=0

下拉页面，找到第存在目标数据的二个类似的url:
https://m.weibo.cn/comments/hotflow?id=4493649780161355&mid=4493649780161355&max_id=13883565036443296&max_id_type=0
第三个url：
https://m.weibo.cn/comments/hotflow?id=4493649780161355&mid=4493649780161355&max_id=139259509575025&max_id_type=0
...
比较之后我们发现url 的构造字段为https://m.weibo.cn/comments/hotflow? 后面跟上 id=value & mid=vlaue & max_id=value，其中id和mid的值经分析是不会改变的，第一条url中无max_id，往后max_id的值都会发生改变。接着我们在浏览器开发者模式中查看请求返回的数据，例如第一个url请求返回的数据其中就包含max_id 的值且等于第二个url中max_id 的值


因此我们可以使用一个递归函数，将回去的max_id的值返回，用于构造下一次请求的url, 代码如下:

import requests
import random
import time
import re
import json
import csv

start_url = 'https://m.weibo.cn/comments/hotflow?id=4493649780161355&mid=4493649780161355&max_id_type=0'  # 首个url
next_url = '"https://m.weibo.cn/comments/hotflow?id=4493649780161355&mid=4493649780161355&max_id={}&max_id_type=0"'  # 用于构造后面的url的模板

continue_url = start_url

headers = {
    'cookie': '',  # 传入你自己的cookie
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
}
count = 0

fileHeader = ["id","评论时间","用户ID","昵称","评论楼层","评论内容"]



def get_data(url):
    for trytime in range(3):  # 允许超时次数为3次
        try:
            response = requests.get(url=url, headers=headers, timeout=5)
            data = json.loads(response.text)
            if response.status_code == 200:
                break
        except:
            print('超时')

    if trytime == 2:  # 连续3次超时就退出递归
        print('连续3次超时')
        return

    if data['ok'] == 0:  # 若没有获取到数据也进行退出
        print("获取到的数据data['ok']=", 0)
        return

    elif data['ok'] == 1:  # 判断若能够获取到数据 则进行所需数据提取，并且构造下次请求的url，调用函数
        max_id = data.get("data").get("max_id")
        comments = data.get('data').get('data')
        for item in comments:
            ''' 获取内容creattime；floor——number；text；userid；screen——name；'''
            global count
            count += 1
            create_time = item['created_at']
            floor_number = item['floor_number']
            text = ''.join(re.findall('[\u4e00-\u9fa5]', item['text']))  # 匹配文本内容
            userid = item.get('user')['id']
            screen_name = item.get('user')['screen_name']

            # 将内容写入csv文件中
            csv_opreator([count,create_time,userid,screen_name,floor_number,text])

            print([count, create_time, userid, screen_name, floor_number, text])
            print("第{}条数据获取成功".format(count))

        global next_url
        continue_url = next_url.format(str(max_id))
        print(continue_url)
        time.sleep(random.random()*5)
        get_data(continue_url)  # 调用函数本身
    return

def csv_opreator(a):

    with open("weibocoments.csv", "a") as f:
        writer = csv.writer(f)
        writer.writerow(a)



if __name__ == "__main__":
    csv_opreator(fileHeader)
    get_data(continue_url)

 

后台输出如下：

csv文件结果如下：

 

可能遇到的问题，由于微博反爬，可先选择更换ip，或者重新登陆，将新的cookies复制进代码。