c# 抓取和解析網頁,並將table數據保存到datatable中(其他格式也可以,自己去修改)


使用HtmlAgilityPack 基礎請參考這篇博客:https://www.cnblogs.com/fishyues/p/10232822.html

下面是根據抓取的頁面string 來解析並保存到datatable中:

        //HtmlString 獲取的html頁面的字符串
        //XmlPath 解析元素在html中的位置,像:XmlPath = "/html/body/div[3]/div[3]/div[1]/table"
        public static DataTable ParsingWeb(string HtmlString, string XmlPath)
        {
            try
            {
                //HtmlWeb web = new HtmlWeb();
                //HtmlDocument doc = web.Load(WebUrl);
                var doc = new HtmlDocument();
                doc.LoadHtml(HtmlString);
                DataTable htTable = new DataTable();
                var tablehtml = doc.DocumentNode.SelectSingleNode(XmlPath);
               
                if (tablehtml == null)
                {
                    return null;
                }
                var TrSelected = tablehtml.SelectNodes(".//tr");
                    foreach (HtmlNode row in TrSelected)
                    {
                        var Index = TrSelected.IndexOf(row);
                        if (TrSelected.IndexOf(row) == 0)
                        {
                            foreach (HtmlNode cell in row.SelectNodes("th|td"))  //有些table 表頭是寫在 td中的
                            {

                                htTable.Columns.Add(cell.InnerText, typeof(string));
                            }
                        }
                        else
                        {
                            DataRow TempRow = htTable.NewRow();
                            foreach (HtmlNode cell in row.SelectNodes("th|td"))
                            {

                                var position = row.SelectNodes("th|td").IndexOf(cell);
                                TempRow[htTable.Columns[position].ColumnName] = cell.InnerText;
                            }
                            htTable.Rows.Add(TempRow);
                        }
                    }
              return htTable;
            }
            catch (Exception e)
            {
                return null;
            }
        }
       

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM