抖音分享頁用戶信息爬取


抖音好像添加了一套字體。

過來更新下,順便聊聊這個網頁自定義字體。

 

有個讀者找過來說她打開字體后沒有找到對應的code。因為她打開是這樣的。

難道說抖音為了保護這個頁面的數據向大眾點評的字體反爬看齊了?

整了多套字體?

顫顫巍巍打開頁面:

好吧,的確多了一套字體:

 

但是,但是,多的哪一套字體不是用來反爬的。

它只是用來顯示一些特殊字符的,雖然不知道為什么0到9也在上面。

至於怎么看反爬字體用的是哪一套字體,這樣:

1-先F12點中1那個小箭頭,然后點2有反爬的字體,這時關於它的css就會顯示出來在右邊,像下面這樣

可以看到一個css樣式:

font-family: iconfont!important;

還important了,其實這意味着我們找到這個 iconfont對應的字體就好了。

 

 

 

點1跟進去:

這次我們直接下載1部分右邊的ttf字體即可。

接下來的處理邏輯按更新之前的原文

原文:

首先,你知道抖音有一個用戶分享頁吧?

像這樣的:https://www.douyin.com/share/user/58841646784

 

F12查看代碼。

 

ok,可以看到有數字的地方都做了字體反爬,比如抖音id上的數字啊,粉絲數這些。

那我們這樣子,先把它的這個字體文件下載下來

在開發者工具中選擇Network篩選font后刷新網頁就能找到這個字體了,如下圖:

 

然后復制鏈接到新窗口打開就能下載字體了。

這是我下到的字體

 

下一步就是去百度網頁字體編輯器

鏈接:http://fontstore.baidu.com/static/editor/index.html

然后選擇打開,打開下載好的字體文件:

 

如果字體不能直接打開,請先將woff格式的字體轉為ttf格式。

打開字體看到的效果:

看到沒,在開發者工具哪里看得到,一個數字,其實是有三個編碼對應的。

那我們一個個保存下來這些對應關系就好了。

這是我保存下來的:

change = {('\ue602','\ue60E','\ue618'):'1',('\ue603','\ue60d','\ue616'):'0',('\ue604','\ue611','\ue61a'):'3',('\ue605','\ue610','\ue617'):'2',('\ue606','\ue60c','\ue619'):'4',('\ue607','\ue60f','\ue61b'):'5',('\ue608','\ue612','\ue61f'):'6',('\ue609','\ue615','\ue61e'):'9',('\ue60a','\ue613','\ue61c'):'7',('\ue60b','\ue614','\ue61d'):'8'}

ok,其實這個並不麻煩。麻煩的是怎么去獲取鏈接后面那個id

分享鏈接的id獲取的話我是抓客戶端數據包拿到的,鍵是'uid'。

如果你有高效率的獲取這個id的方法,歡迎過來分享,讓我付費也行哦~

 

分享頁爬取的完整代碼:

import requests
from bs4 import BeautifulSoup as bs


id = '86560737726'
change = {('\ue602','\ue60E','\ue618'):'1',('\ue603','\ue60d','\ue616'):'0',('\ue604','\ue611','\ue61a'):'3',('\ue605','\ue610','\ue617'):'2',('\ue606','\ue60c','\ue619'):'4',('\ue607','\ue60f','\ue61b'):'5',('\ue608','\ue612','\ue61f'):'6',('\ue609','\ue615','\ue61e'):'9',('\ue60a','\ue613','\ue61c'):'7',('\ue60b','\ue614','\ue61d'):'8'}

#將爬到的單個編碼放到這個函數會返回對應的數字
def change_2_num(code):
    for i in change:
        try:
            if code.split()[0] in i:
                return change[i]
        except:
            print('函數change_2_num出錯',code.split())
    return code

#請求鏈接,返回soup對象
def get_html(id):
    url = 'https://www.douyin.com/share/user/'+id
    print(url)
    headers = {"user-agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}
    r = requests.get(url,headers=headers,verify=False)
    if not len(r.text)>10000:
        return
    soup = bs(r.text,'lxml')
    return soup


def get_num(name,attrs):
    fin = ''
    res = soup.find_all(name=name,attrs={'class':attrs})
    if res:
        mid = res[0].text.split()
        #將獲取的文本以空格切成列表,不切的話因為空格的存在會返回''而不是uincode編碼
    else:
        return
    for code in mid:        
        fin+=change_2_num(code)
        #遍歷文本內容,如果是unicode編碼則返回對應數字
    print(fin)
    return fin

soup = ''
def main():
    global soup
    soup = get_html(id)
    if not soup:
        return
    try:
        nickname = soup.find(name='p',attrs={'class':'nickname'}).string
        print(nickname )
        signature = soup.find(name='p',attrs={'class':'signature'}).string
        print(signature)
        dyID = get_num('p',"shortid").replace('抖音ID:','')
        focus = get_num('span',"focus").replace('關注','')
        follower = get_num('span',"follower").replace('粉絲','')
        liked = get_num('span',"liked-num").replace('','')
        works = get_num('div',"user-tab").replace('作品','')
        like = get_num('div',"like-tab").replace('喜歡','')
    except:
        return

main()

 

最后,聊聊我對網頁自定義字體的理解:

在CSS3時代,開發者可以使用@font-face為網頁指定字體,解除網頁對用戶計算機本地字體的依賴。

但是這些指定的字體也不應該太多,不然加載會變慢。

在網頁源碼中,直接顯示的是字體的code,而不是name。

並且有可能多次請求之間code到name映射,name到字體繪制規則映射都會改變,

但是最終字體的形狀(繪制規則)都不會改變,或者只能改變一點點,不然人眼都辨認不出來是什么字了。

因此我們可以通過字體繪制規則來對比判斷是什么字。

如果要看字體最初的模樣,可以先將字體轉為xml格式。直接打開xml就能看到其內部code到name到繪制規則的映射,像這樣:

from fontTools.ttLib import TTFont

base_font = TTFont('maoyan.ttf')
base_font.saveXML('maoyan.xml')

這是抖音字體的code到name:

code="0xe603" name="num_1",name->num_1對應的繪制規則的顯示值就是1,這個是字體制造者自己命名的,它暴露了~

num_1的繪制規則:

其實就是點成線,線成...額,線成字。

ok,就到這里。

The end--

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM