偶然了解到Python里的itchat包,它已經完成了wechat的個人賬號API接口,使爬取個人微信信息更加方便。鑒於自己很早之前就想知道諸如自己微信好友性別比例都來自哪個城市之類的問題,於是乎玩心一起,打算爬一下自己的微信。
首先,在終端安裝一下itchat包。pip install itchat
安裝完成后導入包,再登陸自己的微信。過程中會生產一個登陸二維碼,掃碼之后即可登陸。登陸成功后,把自己好友的相關信息爬下來。
import itchat
itchat.login()
#爬取自己好友相關信息, 返回一個json文件
friends = itchat.get_friends(update=True)[0:]
有了上面的friends數據,我們就可以來做分析啦。
1. 自己微信好友的男女比例
仔細觀察了一下返回的數據結構,發現”性別“是存放在一個字典里面的,key是”Sex“,男性值為1,女性為2,其他是不明性別的(就是沒有填的)。可以寫個循環獲取想要的性別數據,得到自己微信好友的性別比例。
#初始化計數器
male = female = other = 0
#friends[0]是自己的信息,所以要從friends[1]開始
for i in friends[1:]:
sex = i["Sex"]
if sex == 1:
male += 1
elif sex == 2:
female += 1
else:
other +=1
#計算朋友總數
total = len(friends[1:])
#打印出自己的好友性別比例
print("男性好友: %.2f%%" % (float(male)/total*100) + "\n" +
"女性好友: %.2f%%" % (float(female) / total * 100) + "\n" +
"不明性別好友: %.2f%%" % (float(other) / total * 100))
打印的結果和畫圖
男性好友: 37.65%
女性好友: 59.23%
不明性別好友: 3.12%
2. 自己微信好友的城市分布
再仔細觀察friends列表,發現里面還包含了好友昵稱、省份、城市、個人簡介等等的數據,剛好可以用來分析好友城市分布,最好的方式是定義一個函數把數據都爬下來,存到數據框里,再進行分析。
#定義一個函數,用來爬取各個變量
def get_var(var):
variable = []
for i in friends:
value = i[var]
variable.append(value)
return variable
#調用函數得到各變量,並把數據存到csv文件中,保存到桌面
NickName = get_var("NickName")
Sex = get_var('Sex')
Province = get_var('Province')
City = get_var('City')
Signature = get_var('Signature')
from pandas import DataFrame
data = {'NickName': NickName, 'Sex': Sex, 'Province': Province,
'City': City, 'Signature': Signature}
frame = DataFrame(data)
frame.to_csv('data.csv', index=True)
以上便得到一個叫data的csv桌面文件, 用R打開並簡單做一下數據預處理,得到如下(涉及隱私的已被預處理):
City NickName Province Sex Signature
1 Alfred 男 一個專注挖礦的,煎得一手好牛排#stay focused.
2 馬鞍山 月* 安徽 女 你太虛偽了
3 花地瑪堂區 M*** 澳門 女 雙子,天秤,白羊
4 嘉*** 女
5 廣州 西* 廣東 女
6 珠海 浪**** 廣東 男 滿目青山空念遠,不如惜取眼前人。
# ... with *** more rows
接着先根據省份、城市進行數據的分組和聚合,選擇排名前二十的,利用ggplot2包畫出如下的城市分布圖:
看來我大部分的朋友都是在廣東的,其中廣東的朋友大部分集中在廣、深、珠,第二名是在奧克蘭, 接着是四川、澳門等。灰色的NA值是指沒有設置自己所在地的朋友,一共有70多人。另外,在國外的朋友由於微信的設置問題(很多是直接跳過省份,只有城市可以選擇的),很多國外的城市被誤當成了省份。
再來一張圖看看自己微信朋友在廣東的具體分布(取前八):
3. 自己微信好友個性簽名的自定義詞雲圖
好玩的來了。之前已經爬下了每個好友的個性簽名,剛好可以分析一下大伙兒個性簽名時使用的高頻詞語是什么,順便可以做個詞雲圖(雲圖制作方法:逼格滿滿的文字雲快速制作!)
先把原先爬下來的個性簽名(Signature)打印出來,發現有很多本來是表情的,變成了emoji、span、class等等這些無關緊要的詞,需要先替換掉,另外,還有類似<>/= 之類的符號,也需要寫個簡單的正則替換掉,再把所有拼起來,得到text字串。
import re
siglist = []
for i in friends:
signature = i["Signature"].strip().replace("span","").replace("class","").replace("emoji","")
rep = re.compile("1f\d+\w*|[<>/=]")
signature = rep.sub("", signature)
siglist.append(signature)
text = "".join(siglist)
接着就可以把結巴分詞這個包搞進來分詞。
import jieba
wordlist = jieba.cut(text, cut_all=True)
word_space_split = " ".join(wordlist)
終於可以進入畫圖階段了。可以根據自己想要的圖片、形狀、顏色畫出相似的圖形(在這里,我使用的是我的頭像,當然,為了顏色可以更加鮮艷使最后畫出的詞雲圖更加好看易辨,我先對自己的頭像用PS做了一點小處理)。為此,我們需要把matplotlib、wordcloud、numpy、PIL等包搞進來。
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator
import numpy as np
import PIL.Image as Image
coloring = np.array(Image.open("/Users/apple/Desktop/wechat.jpg"))
my_wordcloud = WordCloud(background_color="white", max_words=2000,
mask=coloring, max_font_size=60, random_state=42, scale=2,
font_path="/Library/Fonts/Microsoft/SimHei.ttf").generate(word_space_split)
image_colors = ImageColorGenerator(coloring)
plt.imshow(my_wordcloud.recolor(color_func=image_colors))
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()
運行上面的代碼,得到下面的圖:
看來,在我的微信好友的個人簽名里,有人善於聆聽,有人強調善良,有人重視靈魂,有人凝視人生。一直在等待,不放棄尋找。歷盡曲折,不畏虛偽。真心如一,不能辜負。一步一生多努力,一起一切one more dream。
4. 最后
以上是不是很有趣呢?是不是又打開了一扇新世界的大門呢?
我微信好友也不是太多,如果微信好友有幾千個,可以得到幾千條數據,分析一下還是很有價值的。
當然,itchat包還有很多其他的功能還有待發掘,包括自動回復微信信息、自動添加好友、管理微信群等,有時間再慢慢摸索吧。