上一篇講的是如何模擬真人操作登錄QQ空間,本篇主要講述一下如何抓取QQ說說數據
繼續登錄空間后的操作
登陸后我們發現QQ空間的菜單其實是固定的,只需要找到對應元素就可以,繼續XPath
可以得到地址
//*[@id="menuContainer"]/div/ul/li[5]/a
看來是第5個li元素,不過這個5看起來並不是索引
點擊說說菜單
//*[@id="menuContainer"]/div/ul/li[5]/a var msgDom = driver.FindElementByXPath("//*[@id='menuContainer']/div/ul/li[5]/a"); if (msgDom != null && msgDom.Displayed == true) { msgDom.Click(); }
說說界面查看元素,瞧瞧,我們又發現了什么
沒錯,又是Iframe,機智的跳轉
//頁面跳轉,切換到說說頁面的說說列表Iframe ITargetLocator t = driver.SwitchTo(); //這里我們換一種獲取元素方法,直接使用css獲取 //xpath //*[@id="app_container"]/iframe //css #app_container > iframe IWebElement frame = driver.FindElementByCssSelector("#app_container > iframe"); t.Frame(frame);
這就找到了列表頁,現在我們看下一個說說都有哪些內容組成的
頭像,這個屬於固定的,每個人單獨一個,可以提取出來
QQ號碼 說說內容 說說圖片 說說日期 贊數量 回復 re回復 可能還有位置 等其他信息
我們定義一個簡單的實體類,來存放這些數據,把這些數據先保存到一個集合中
public class MessageInfo { /// <summary> /// 號碼 /// </summary> public string QQ { get; set; } /// <summary> /// 發布內容 /// </summary> public string Content { get; set; } /// <summary> /// 發布時間 /// </summary> public DateTime? MessageTime { get; set; } /// <summary> /// 說說圖片列表 /// </summary> public List<string> ImageList { get; set; } }
實體類定義了 那就開始找元素
這個說說列表是一個列表,而且還有分頁,那么我們需要考慮的問題就有兩個
列表讀取和翻頁操作了
先說列表,怎么才能知道當前頁面有多少條說說呢?
有方法,我們通過li元素的數量就可以判斷當前頁面有多少個說說了,如下圖
當然不是一個一個找,而是通過方法
//注意這里是復數 var msgListDom = driver.FindElementsByXPath("//*[@id='msgList']/li");
調試可以看到
QQ空間的說說一頁是20條
我們獲取到這些元素,並且循環查找單個元素,並且保存到定義好的集合之中
var msgListDom = driver.FindElementsByXPath("//*[@id='msgList']/li"); //接下來就是循環取數了 //定義說說集合 var dataAll = new List<MessageInfo>(); //因為查找元素需要用到索引值,所以這里就用for循環方式 for (var i = 1; i < msgListDom.Count + 1; i++) { var data = new MessageInfo(); //接下來是查找元素 //第一個 //*[@id="msgList"]/li[1]/div[3]/div[2]/a 所以獲取元素可以這樣寫 var qqDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[2]/a"); //*[@id="msgList"]/li[1]/div[3]/div[2]/a.content 昵稱 data-uin QQ號碼 if (qqDom != null) { //獲取元素屬性 data-uin對應QQ號碼 data.QQ = qqDom.GetAttribute("data-uin"); } var preDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[2]/pre"); //*[@id="msgList"]/li[1]/div[3]/div[2]/a.content 昵稱 data-uin QQ號碼 if (preDom != null) { //獲取元素Text文本值 data.Content = preDom.Text; } //獲取時間值,我們使用css方式獲取,當然也可以使用xpath或者其他方法,查找元素方法第一篇講過了 //這是獲取的是和時間型號同一級的元素,有的包含型號,有的不包含 var times = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span"); //一個是時間,一個是機型 //2015年2月10日 來自iPhone if (times.Count > 1) { var time = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(1) > a"); data.MessageTime = Convert.ToDateTime(time.GetAttribute("title")); //獲取手機型號 var mobileDom = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(2) > span"); if (mobileDom.Count > 0) { var mobile = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(2) > span"); data.MobileType = mobile.Text; } } else { var time = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span > a"); data.MessageTime = Convert.ToDateTime(time.GetAttribute("title")); } #region 圖片視頻區域 //如果有視頻則獲取視頻,否則獲取圖片 var videos = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.md > div.video"); if (videos.Count > 0) { } else { var imageList = new List<string>(); var images = driver.FindElementsByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[3]/div[1]/div/a"); if (images != null && images.Count > 0) { //*[@id="msgList"]/li[1]/div[3]/div[3]/div[1]/div/a[2] for (int m = 0; m < images.Count; m++) { var imageDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[3]/div[1]/div/a[" + (m + 1) + "]"); if (imageDom != null) { imageList.Add(imageDom.GetAttribute("href")); } } } data.ImageList = imageList; } #endregion dataAll.Add(data); }
里面需要注意一些細節,元素查找的地方,有不一樣的地方,不是所有的說說都是規整的格式,有轉發的,轉發帶視頻的,
還有一些自定義的圖標之類的,這些都可能會影響我們的數據抓取,不過這個可以慢慢調整,直到程序慢慢完善
舉個例子 比如這條說說,在原來顯示時間的地方多一個span標簽,一個是時間 一個是手機型號,如圖
上面代碼中,針對這個做了下特殊處理
調試測試如圖,我們正確獲取到了想要的數據,當然這些只是簡單的數據,如需評論 回復的 大家可以自行研究一下,也是找元素
這樣我們能獲取到當前頁的數據,接下來我們介紹下如何翻頁
既然是模擬真人操作,那么我們就找到翻頁,點擊下一頁進行數據獲取
我們找到下一頁這個元素,當頁面20條數據循環完畢之后點擊它進行翻頁操作,每一次都是頁面數據讀取完成之后點擊下一頁
我們把讀取數據和翻頁的方法提取出來,做一個遞歸,直到下一頁無法點擊(最后一頁的時候,點擊下一頁是無效的,就終止數據抓取了)
調試圖片
源碼,大家可以根據個人情況進行調試修改
public class QzoneTest { [Fact] public void QQLogin() { dynamic type = (new PictureTest()).GetType(); string currentDirectory = Path.GetDirectoryName(type.Assembly.Location); var driver = new ChromeDriver(currentDirectory); driver.Url = "https://qzone.qq.com/"; try { //切換語法有兩種,一種是根據索引切換,另外一種根據iframe名稱切換 //這里我們使用name切換 ITargetLocator tagetLocator = driver.SwitchTo(); //tagetLocator.Frame(1); //frame index. tagetLocator.Frame("login_frame"); //frame frame name. var switchLogin = driver.FindElementByCssSelector("#switcher_plogin"); switchLogin.Click(); var userName = driver.FindElementByXPath("//*[@id='u']"); //這里的userName就是用戶名的文本框 //設置用戶名的值 userName.SendKeys("123456"); var pwd = driver.FindElementByXPath("//*[@id='p']"); pwd.SendKeys("********"); var btnLogin = driver.FindElementByXPath("//*[@id='login_button']"); //這里是判斷登錄按鈕是否可見,可以不寫,直接調用click方法 if (btnLogin != null && btnLogin.Displayed == true) { btnLogin.Click(); } System.Threading.Thread.Sleep(3000); //*[@id="menuContainer"]/div/ul/li[5]/a var msgDom = driver.FindElementByXPath("//*[@id='menuContainer']/div/ul/li[5]/a"); if (msgDom != null && msgDom.Displayed == true) { msgDom.Click(); } //頁面跳轉,切換到說說頁面的說說列表Iframe ITargetLocator t = driver.SwitchTo(); //這里我們換一種獲取元素方法,直接使用css獲取 //xpath //*[@id="app_container"]/iframe //css #app_container > iframe IWebElement frame = driver.FindElementByCssSelector("#app_container > iframe"); t.Frame(frame); //定義說說集合 var dataAll = new List<MessageInfo>(); //第一頁開始,pageIndex 默認0 //定義漢字方法為了直觀描述功能,不要在意這些細節 說說內容獲取(driver, dataAll, 0); } finally { driver.Quit(); } } private static void 說說內容獲取(ChromeDriver driver, List<MessageInfo> dataAll, int pageIndex) { //翻頁之后休眠3s防止數據沒有加載完成出現找不到元素異常 System.Threading.Thread.Sleep(3000); var msgListDom = driver.FindElementsByXPath("//*[@id='msgList']/li"); //接下來就是循環取數了 //因為查找元素需要用到索引值,所以這里就用for循環方式 for (var i = 1; i < msgListDom.Count + 1; i++) { var data = new MessageInfo(); //接下來是查找元素 //第一個 //*[@id="msgList"]/li[1]/div[3]/div[2]/a 所以獲取元素可以這樣寫 var qqDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[2]/a"); //*[@id="msgList"]/li[1]/div[3]/div[2]/a.content 昵稱 data-uin QQ號碼 if (qqDom != null) { //獲取元素屬性 data-uin對應QQ號碼 data.QQ = qqDom.GetAttribute("data-uin"); } var preDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[2]/pre"); //*[@id="msgList"]/li[1]/div[3]/div[2]/a.content 昵稱 data-uin QQ號碼 if (preDom != null) { //獲取元素Text文本值 data.Content = preDom.Text; } //獲取時間值,我們使用css方式獲取,當然也可以使用xpath或者其他方法,查找元素方法第一篇講過了 //這是獲取的是和時間型號同一級的元素,有的包含型號,有的不包含 var times = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span"); //一個是時間,一個是機型 //2015年2月10日 來自iPhone if (times.Count > 1) { var time = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(1) > a"); data.MessageTime = Convert.ToDateTime(time.GetAttribute("title")); //獲取手機型號 var mobileDom = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(2) > span"); if (mobileDom.Count > 0) { var mobile = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(2) > span"); data.MobileType = mobile.Text; } } else { var time = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span > a"); data.MessageTime = Convert.ToDateTime(time.GetAttribute("title")); } #region 圖片視頻區域 //如果有視頻則獲取視頻,否則獲取圖片 var videos = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.md > div.video"); if (videos.Count > 0) { } else { var imageList = new List<string>(); var images = driver.FindElementsByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[3]/div[1]/div/a"); if (images != null && images.Count > 0) { //*[@id="msgList"]/li[1]/div[3]/div[3]/div[1]/div/a[2] for (int m = 0; m < images.Count; m++) { var imageDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[3]/div[1]/div/a[" + (m + 1) + "]"); if (imageDom != null) { imageList.Add(imageDom.GetAttribute("href")); } } } data.ImageList = imageList; } #endregion dataAll.Add(data); } //下一頁 //數據抓取完成之后點擊下一頁 driver.FindElementByXPath("//*[@id='pager_next_" + pageIndex + "']").Click(); pageIndex++; 說說內容獲取(driver, dataAll, pageIndex); //dataAll 數據存放於內存之中,如果有需要的可以保存到數據庫,這里就不詳細介紹了 } }
另外元素集合獲取到了應該是可以解析出所有li元素內容的,我這里偷懶沒有仔細檢查元素,大家可以看一下通過
FindElementsByXPath找到的元素集合來收集數據,這樣就不用再次通過瀏覽器驅動找了,偷了個懶
總結
1 這種數據獲取的方法模擬真人,和諧幾率較小
2 學會了獲取說說,當然留言板,相冊什么的 都是查找元素,相冊再多一個圖片下載保存,還可以直接使用阿里雲oss存儲,把爬到的數據直接上傳到雲
3 思維發散一下 , 可以登錄自己的QQ去獲取QQ好友空間的留言說說及相冊,做個數據分析神馬的,畢竟Qzone連接是固定格式,比如https://user.qzone.qq.com/123456
把收集到的QQ號碼作為種子保存到一個集合,當作瀏覽器驅動下一個訪問的目標,當然還有一點,模擬真人,速度肯定跟爬蟲是不能比的.
都不知道自己想說什么,溜了溜了.
git 源碼地址:https://github.com/ermpark/CrawlingQzone