在17的四月份，我曾經寫了一篇關於網易雲音樂爬蟲的文章，還寫了一篇關於評論數據可視化的文章。在這大半年的時間里，有時會有一些朋友給我發私信詢問一些關於代碼方面的問題。所以我最近抽空干脆將原來的代碼整理了一下，做成了一個Python模塊NetCloud放在Pypi上了。目前只是對原來的代碼做了一些整理與重構，功能還很不完善，后續打算抽空繼續完善，如果有人用的話可能會長期維護下去。
目前只需要使用命令pip install NetCloud 即可以完成模塊的安裝，支持Windows與Linux系統，以前代碼是基於python2的，現在支持Python3(我簡單測試了一下python3.6應該也沒問題了),python2下運行應該也基本沒問題,但是考慮到編碼問題，以及Python社區即將在2020年不再支持2.x的版本，所以強烈建議使用Python3.x運行模塊。代碼github的地址是Netcloud
關於實現功能以及一些主要接口的說明:
1.主要實現了:
- 對於一首歌曲全部評論的抓取,保存為csv文件格式
- 對於一個歌手全部熱門評論的抓取，存為csv文件
- 對於一首歌曲下全部評論用戶基本信息的抓取，包括:用戶主頁url,用戶年齡,聽歌次數,動態次數,用戶所在地區,用戶動態總數等，這些信息也存為csv文件格式
- 利用全部評論以及熱門評論分詞生成詞雲，統計關鍵詞的頻率
- 利用一首歌曲全部評論用戶的信息，基於pyecharts可視化，包括：用戶所在地區分布使用geo表示(地圖),用戶年齡的分布，用戶聽歌數目的分布，用戶動態的數目分布，歌曲評論數量關於時間的分布等等。以前是基於matplotlib來做的，但是只能生成靜態的圖片，而pyecharts可以產生基於網頁的交互式的顯示效果，我感覺效果可能會更好一點。
- 以前抓取是單線程的，效率較低，現在支持多線程了，可以極大地提高抓取效率
2.還需要去完善的(Todolist)
- 如何很好的應對反爬。我實驗發現，在開啟多線程的情況下，抓取一段時間服務器可能會限制抓取(封ip),目前應對的措施主要是開啟代理ip，不過如何找到較高質量的代理ip地址，就只能自己去想辦法了
-目前還不支持模擬登錄網易雲音樂，查看個人信息，聽歌記錄等，不過Python里應該已經有其他模塊做到了這一點，而且這個應該也不是特別難，后面有空會加上。
-目前還不支持對於歌單的批量抓取，以及獲取用戶聽歌的詳細記錄，后續考慮增加。如果有這部分數據，可以深挖更多東西，比如預測用戶聽歌風格，對用戶按聽歌洗喜好分類，以及做推薦等等。
-目前的分析僅限於簡單的分析統計等等，后續考慮加入更深入的NLP分析。
3.安裝以及主要的函數接口
- 安裝很簡單，只需要 pip install NetCloud，因為模塊以來於一些第三方庫，所以在安裝這些第三方庫的時候可能會出現問題，可以參考4的說明
- 快速使用，一個簡單的例子如下：
from NetCloud.NetCloudCrawler import NetCloudCrawl
from NetCloud.NetCloudAnalyse import NetCloudAnalyse
if __name__ == '__main__':
song_name = "敢愛"
song_id = 186888
singer_name = "張國榮"
singer_id = 6457
crawler = NetCloudCrawl(song_name,song_id,singer_name,singer_id)
crawler.generate_all_necessary_files(threads=10)
analyse = NetCloudAnalyse(song_name,singer_name,song_id,singer_id)
analyse.generate_all_analyse_files(threads=20)
3.1 上面的10行左右的代碼就完成了對於張國榮的《敢愛》這首歌的全部評論的抓取，張國榮歌曲熱門評論的抓取，以及歌曲用戶基本信息的抓取，並生成了相應的詞雲圖片，以及一些基本的可視化分析。產生的文件結構如下圖所示：
首先生成文件全部都會在songs這個文件夾下，然后對於每一首歌曲會產生以歌手名字命名的文件夾，然后是歌曲名字的文件夾，最后是相應的抓取文件，比如敢愛.csv就是《敢愛》的全部評論文件，敢愛.jpg就是歌曲評論的詞雲圖片,hot_comments.csv是歌手的熱門評論文件，最后所有的可視化結果都存放在plots文件夾下，可視化文件為html文件需要在瀏覽器打開查看可視化結果。
3.2 模塊主要是兩個類，一個是NetCloudCrawl，用於數據抓取；另一個是 NetCloudAnalyse用於數據的分析。NetCloudCrawl 的 generate_all_necessary_files函數會生成必要的全部評論文件，熱門評論文件，支持多線程，默認是開啟10個線程抓取。NetCloudAnalyse的 generate_all_analyse_files 顧名思義會產生全部的可視化文件，首先它會抓取用戶的全部信息存入文件，然后產生一系列的可視化分析文件(html格式)，最后會產生評論的詞雲文件。基本上調用這兩個函數就可以輕松使用NetCloud的主要功能了。
3.3 如果你想自定義抓取，或者不想使用提供的可視化函數接口，也可以使用模塊的其他基本函數完成抓取和分析，模塊的主要函數接口調用格式說明如下：
NetCloudCrawl類
- AES_encrypt(text,key,iv) 這個函數用於網易雲API的解密，基本用不到，不用管
- get_params(page) 獲得必要的解密參數
- get_all_comments() 獲取全部評論
- get_hot_comments() 獲取熱門評論
- get_json(url,params, encSecKey) 獲取網易API json文件
- threading_save_all_comments_to_file(threads = 10) 使用多線程將全部評論文件存入文件，默認是10個線程
- save_pages_comments(begin_page,end_page) 將 begin_page到end_page頁的評論存入文件，主要是供 threading_save_all_comments_to_file 函數調用
- save_to_file(comments_list,filename) 將評論信息列表 comments_list 存入filename 文件
- save_all_comments_to_file() 單線程按順序保存全部評論文件
- get_singer_hot_songs_ids(singer_url) 得到歌手全部熱門歌曲id列表,singer_url為歌手信息頁url
- save_singer_all_hot_comments_to_file() 將歌手的全部熱門評論存入文件
- generate_all_necessary_files(threads = 10) 生成全部必要的文件，包括歌手的全部熱門評論文件，以及歌曲的全部評論文件
- _test 開頭的均為測試函數，請不要調用
NetCloudAnalyse類
- load_comments_csv() 加載全部評論文件為dataframe格式(pandas)
- save_users_info_to_file() 保存歌曲評論下全部用戶(已去重)的信息到文件(單線程)
- threading_save_users_info_to_file(threads = 10) 采用多線程保存用戶信息到文件,默認是10個線程
- save_users_info(users_url,total) 供 threading_save_users_info_to_file調用的中間函數，不用管
- count_comments_lines() 統計全部評論文件的行數
- from_timestamp_to_date(time_stamp,format = "%Y-%m-%d %H:%M:%S") 將時間戳轉日期的函數,默認格式是: 年-月-日 時:分:秒
- load_users_url() 返回全部評論用戶主頁url列表，用於后續用戶信息抓取
- load_users_info_csv() 從用戶信息csv文件加載用戶信息dataframe
- draw_wordcloud(full_comments = True) 繪制評論關鍵詞的詞雲,full_comments = True 表示繪制 全部評論，False 表示繪制熱門評論
- core_visual_analyse() 核心的對於評論用戶信息的可視化分析，產生的html文件有12個，說明如下：
1. age_count_bar.html 年齡分布(bar 為 柱狀圖表示，下同)
2. agree_count_bar.html 贊同數分布
3. comments_keywords_bar.html 評論關鍵字分布(已去除停用詞)
4. comments_year_month_bar.html 評論數量按年月的分布
5. comments_year_month_day_bar.html 評論數量按年月日的分布
6. description_keywords_bar.html 用戶簡介關鍵詞分布
7. events_count_bar.html 用戶動態數目分布
8. fans_count_bar.html 用戶粉絲數量分布
9. follow_count_bar.html 用戶關注者數量分布
10. listening_songs_count_bar.html 用戶聽歌數量分布
11. users_city_geo.html 用戶所在地區分布，使用地圖可視化表示
12. users_location_bar.html 用戶所在地區分布，使用柱狀圖表示
一些可視化實際的效果圖如下：
- load_stopwords() 加載停用詞列表
- load_all_cities() 加載中國全部城市名稱列表
- generate_all_analyse_files(threads = 10) 生成全部的分析文件，包括評論關鍵字詞雲以及評論用戶信息的可視化，默認線程數為10
- _test 開頭的為測試文件，請不要調用
--------------------------------------------更新(2018/03/17,新增NetCloudLogin類)------------------------------------------------
- 初始化,NetCloudLogin(phone,password,email = None,rememberLogin = True) 初始化必要的參數有兩個,phone表示傳入登錄的電話號碼,password表示密碼,也可以使用email登錄,但是不保證一定可以登錄成功,建議使用
電話號碼登錄,rememberLogin = True表示記住登錄狀態
- login()函數,用於登錄,返回一個Response object,這個Response 對象主要有:
1. content 屬性,返回響應內容
2. heders屬性,返回響應的headers
3. status_code屬性,返回響應的狀態碼,比如200表示ok,404代表表示無法找到文件,400表示無效請求等等
4.ok屬性,是一個布爾值,表示返回狀態是否正常
5.error屬性,返回的錯誤信息,如果沒有異常,值為None
6.json()方法,解析返回的內容為json格式
- get_user_play_list(uid,offset=0,limit=1000):獲取用戶的播放歌單,uid 為用戶id,offset表示開始位置,limit表示限制條數(下面的offset和limit參數含義相同,不再贅述),返回Response對象,可以使用json()方法解析
- get_self_play_list(offset=0,limit=1000):獲取自己的播放歌單,返回Response對象
- get_user_dj(uid, offset=0, limit=30):獲取用戶的dj信息,返回Response對象
- get_self_dj(offset=0, limit=30): 獲取自己的dj,返回Response對象
- search(keyword,type_=1, offset=0, limit=30):搜索歌手，歌曲,用戶或者歌單,keyword表示搜索的關鍵字,type_表示搜索的類型,1:表示歌曲,100:表示歌手,1000表示歌單,1002表示用戶,返回Response對象
- get_user_follows(uid, offset=0, limit=30):獲取用戶關注列表,返回Response對象
- get_self_follows(offset=0, limit=30):獲取自身關注列表,返回Response對象
- get_user_fans(uid, offset=0, limit=30):獲取用戶粉絲列表,返回Response對象
- get_self_fans(offset=0, limit=30):獲取自身粉絲列表,返回Response對象
- get_user_event(uid):獲取用戶動態,uid為用戶id,返回Response對象
- get_self_event(): 獲取自身動態
- get_user_record(uid, type_=0):獲取用戶播放記錄,uid為用戶id,type_取值可以為0或者１,0表示全部記錄,1表示最近一周的記錄(這個需要首先登錄)
- get_self_record(type_ = 0):獲取自身的播放記錄
- get_friends_event():獲取關注的人的動態,返回Response對象
- get_top_playlist_highquality(cat='全部', offset=0, limit=20):獲取高質量的歌單,cat表示類別,可以傳入'全部','歐美','華語'等,返回Response對象
- get_play_list_detail(id, limit=20):獲取歌單的詳細信息,id表示歌單id,返回Response對象
- get_music_download_url(ids=[]):通過id獲取音樂的下載鏈接,傳入的為歌曲的id列表,返回對應歌曲的下載鏈接Response對象
- get_lyric(id):通過歌曲id獲取歌曲歌詞,返回Response對象
- get_music_comments(id, offset=0, limit=20):通過歌曲id獲取歌曲評論信息,返回Response對象
- get_album_comments(id, offset=0, limit=20):通過專輯id獲取專輯評論信息,返回Response對象
- get_songs_detail(ids):通過歌曲id列表獲取歌曲詳細信息,ids表示歌曲id列表,返回Response對象
- get_self_fm():獲得自身的私人fm信息,返回Response對象
pretty_ 開頭的系列函數可以以友好的形式向屏幕打印出你需要的信息
- pretty_print_self_info(): 打印自身信息
- pretty_print_user_play_list(uid,offset = 0,limit = 1000):打印用戶的歌單信息
- pretty_print_self_play_list(offset = 0,limit = 1000): 打印自身的歌單信息
- pretty_print_search_song(search_song_name,offset = 0,limit = 30):打印搜索歌曲的返回結果,search_song_name為搜索的歌曲關鍵字
- pretty_print_search_singer(search_singer_name,offset = 0,limit = 30):打印搜索歌手的返回結果,search_singer_name為搜索的歌手關鍵字
- pretty_print_search_play_list(keyword,offset = 0,limit = 30):打印搜索歌單的返回結果,keyword為搜索的歌單關鍵字
- pretty_print_search_user(keyword,offset = 0,limit = 30):打印搜索用戶的返回結果,keyword為搜索的用戶關鍵字
- pretty_print_user_follows(uid,offset = 0,limit = 30):打印用戶關注列表
- pretty_print_user_fans(uid,offset = 0,limit = 30):打印用戶粉絲列表
- pretty_print_self_fans(offset = 0,limit = 30):打印自身粉絲列表
- get_download_urls_by_ids(ids_list):通過傳入歌曲id列表得到歌曲下載鏈接列表,ids_list為歌曲id列表,返回歌曲下載鏈接列表
- get_songs_name_list_by_ids_list(ids_list):通過歌曲id列表得到歌曲名字列表
- download_play_list_songs(play_list_id,save_root_dir = "."):下載歌單中的歌曲到本地,play_list_id為傳入歌單id,save_root_dir為歌曲保存的根目錄,默認為當前目錄
- get_singer_id_by_name(singer_name):通過歌手名字得到歌手id,singer_name為歌手名字
- get_song_id_by_name(song_name):通過歌曲名字得到歌曲id,song_name為歌曲名字
- get_lyrics_list_by_id(song_id):通過歌曲id得到歌詞列表
- get_lyrics_list_by_name(song_name):通過歌曲名字得到歌詞列表
- download_singer_hot_songs_by_name(singer_name,save_root_dir = "."):通過傳入歌手名字，下載歌手的熱門歌曲到本地,singer_name為歌手名字,save_root_dir為歌曲保存的根目錄,默認為當前目錄
_test 開頭的為測試函數，請不要調用。
一個簡單的使用例子如下:
from NetCloud.NetCloudLogin import NetCloudLogin
phone = 'xxxxxxxxxxx'
password = 'xxx'
email = None
rememberLogin = True
login = NetCloudLogin(phone = phone,password = password,email = email,rememberLogin = rememberLogin)
login.pretty_print_self_info()
得到結果為:
Hello,Lyrichu!
Here is your personal info:
avatarUrl:http://p1.music.126.net/OkEDo-a_rHCC1zEDbg7dYg==/8003345140341032.jpg
signature:熱愛生活，熱愛音樂！
nickname:Lyrichu
userName:0_mxxxxxxxxxxx@163.com
province_id:420000
birthday:1995-02-12
description:
gender:male
userId:xxxxxxxx
cellphone:xxxxxxxxxxx
email:xxxxxxxxxxx@163.com