抖音分享页用户信息爬取


抖音好像添加了一套字体。

过来更新下,顺便聊聊这个网页自定义字体。

 

有个读者找过来说她打开字体后没有找到对应的code。因为她打开是这样的。

难道说抖音为了保护这个页面的数据向大众点评的字体反爬看齐了?

整了多套字体?

颤颤巍巍打开页面:

好吧,的确多了一套字体:

 

但是,但是,多的哪一套字体不是用来反爬的。

它只是用来显示一些特殊字符的,虽然不知道为什么0到9也在上面。

至于怎么看反爬字体用的是哪一套字体,这样:

1-先F12点中1那个小箭头,然后点2有反爬的字体,这时关于它的css就会显示出来在右边,像下面这样

可以看到一个css样式:

font-family: iconfont!important;

还important了,其实这意味着我们找到这个 iconfont对应的字体就好了。

 

 

 

点1跟进去:

这次我们直接下载1部分右边的ttf字体即可。

接下来的处理逻辑按更新之前的原文

原文:

首先,你知道抖音有一个用户分享页吧?

像这样的:https://www.douyin.com/share/user/58841646784

 

F12查看代码。

 

ok,可以看到有数字的地方都做了字体反爬,比如抖音id上的数字啊,粉丝数这些。

那我们这样子,先把它的这个字体文件下载下来

在开发者工具中选择Network筛选font后刷新网页就能找到这个字体了,如下图:

 

然后复制链接到新窗口打开就能下载字体了。

这是我下到的字体

 

下一步就是去百度网页字体编辑器

链接:http://fontstore.baidu.com/static/editor/index.html

然后选择打开,打开下载好的字体文件:

 

如果字体不能直接打开,请先将woff格式的字体转为ttf格式。

打开字体看到的效果:

看到没,在开发者工具哪里看得到,一个数字,其实是有三个编码对应的。

那我们一个个保存下来这些对应关系就好了。

这是我保存下来的:

change = {('\ue602','\ue60E','\ue618'):'1',('\ue603','\ue60d','\ue616'):'0',('\ue604','\ue611','\ue61a'):'3',('\ue605','\ue610','\ue617'):'2',('\ue606','\ue60c','\ue619'):'4',('\ue607','\ue60f','\ue61b'):'5',('\ue608','\ue612','\ue61f'):'6',('\ue609','\ue615','\ue61e'):'9',('\ue60a','\ue613','\ue61c'):'7',('\ue60b','\ue614','\ue61d'):'8'}

ok,其实这个并不麻烦。麻烦的是怎么去获取链接后面那个id

分享链接的id获取的话我是抓客户端数据包拿到的,键是'uid'。

如果你有高效率的获取这个id的方法,欢迎过来分享,让我付费也行哦~

 

分享页爬取的完整代码:

import requests
from bs4 import BeautifulSoup as bs


id = '86560737726'
change = {('\ue602','\ue60E','\ue618'):'1',('\ue603','\ue60d','\ue616'):'0',('\ue604','\ue611','\ue61a'):'3',('\ue605','\ue610','\ue617'):'2',('\ue606','\ue60c','\ue619'):'4',('\ue607','\ue60f','\ue61b'):'5',('\ue608','\ue612','\ue61f'):'6',('\ue609','\ue615','\ue61e'):'9',('\ue60a','\ue613','\ue61c'):'7',('\ue60b','\ue614','\ue61d'):'8'}

#将爬到的单个编码放到这个函数会返回对应的数字
def change_2_num(code):
    for i in change:
        try:
            if code.split()[0] in i:
                return change[i]
        except:
            print('函数change_2_num出错',code.split())
    return code

#请求链接,返回soup对象
def get_html(id):
    url = 'https://www.douyin.com/share/user/'+id
    print(url)
    headers = {"user-agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}
    r = requests.get(url,headers=headers,verify=False)
    if not len(r.text)>10000:
        return
    soup = bs(r.text,'lxml')
    return soup


def get_num(name,attrs):
    fin = ''
    res = soup.find_all(name=name,attrs={'class':attrs})
    if res:
        mid = res[0].text.split()
        #将获取的文本以空格切成列表,不切的话因为空格的存在会返回''而不是uincode编码
    else:
        return
    for code in mid:        
        fin+=change_2_num(code)
        #遍历文本内容,如果是unicode编码则返回对应数字
    print(fin)
    return fin

soup = ''
def main():
    global soup
    soup = get_html(id)
    if not soup:
        return
    try:
        nickname = soup.find(name='p',attrs={'class':'nickname'}).string
        print(nickname )
        signature = soup.find(name='p',attrs={'class':'signature'}).string
        print(signature)
        dyID = get_num('p',"shortid").replace('抖音ID:','')
        focus = get_num('span',"focus").replace('关注','')
        follower = get_num('span',"follower").replace('粉丝','')
        liked = get_num('span',"liked-num").replace('','')
        works = get_num('div',"user-tab").replace('作品','')
        like = get_num('div',"like-tab").replace('喜欢','')
    except:
        return

main()

 

最后,聊聊我对网页自定义字体的理解:

在CSS3时代,开发者可以使用@font-face为网页指定字体,解除网页对用户计算机本地字体的依赖。

但是这些指定的字体也不应该太多,不然加载会变慢。

在网页源码中,直接显示的是字体的code,而不是name。

并且有可能多次请求之间code到name映射,name到字体绘制规则映射都会改变,

但是最终字体的形状(绘制规则)都不会改变,或者只能改变一点点,不然人眼都辨认不出来是什么字了。

因此我们可以通过字体绘制规则来对比判断是什么字。

如果要看字体最初的模样,可以先将字体转为xml格式。直接打开xml就能看到其内部code到name到绘制规则的映射,像这样:

from fontTools.ttLib import TTFont

base_font = TTFont('maoyan.ttf')
base_font.saveXML('maoyan.xml')

这是抖音字体的code到name:

code="0xe603" name="num_1",name->num_1对应的绘制规则的显示值就是1,这个是字体制造者自己命名的,它暴露了~

num_1的绘制规则:

其实就是点成线,线成...额,线成字。

ok,就到这里。

The end--

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM