幾種xml讀取方法比較

背景

這幾天手上有個活，解析xml，眾所周知xml的解析方法有：

1. DOM
2. SAX
3. linq to xml
4. plinq

測試用xml和生成代碼

static void CreateFile()
        {
            int N = 5000000;
            Random rand = new Random();
            using (var writer = new XmlTextWriter("VeryHugeXmlFile.xml", Encoding.UTF8))
            {
                writer.Formatting = Formatting.Indented;

                writer.WriteStartDocument();
                writer.WriteStartElement("Root");
                for (int count = 1; count <= N; count++)
                {
                    writer.WriteStartElement("Person");
                    writer.WriteElementString("Id", count.ToString());
                    writer.WriteElementString("Name", rand.Next().ToString());
                    writer.WriteElementString("Sex", rand.Next(0, 2) == 0 ? "男" : "女");
                    writer.WriteElementString("Age", rand.Next(1, 101).ToString());
                    writer.WriteEndElement();
                }
                writer.WriteEndElement();
                writer.WriteEndDocument();
            }
        }

之后會生成類似於下面的xml文件

<?xml version="1.0" encoding="utf-8"?>
<Root>
  <Person>
    <Id>1</Id>
    <Name>897639886</Name>
    <Sex>女</Sex>
    <Age>80</Age>
  </Person>
  <Person>
    <Id>2</Id>
    <Name>2012162696</Name>
    <Sex>女</Sex>
    <Age>60</Age>
  </Person>
  <Person>

xml下載鏈接

測試代碼

統計時間（只是粗略統計了一下運行時間）

static void Watch(Action<string> way, string file)
        {
            Stopwatch watch = new Stopwatch();

            watch.Start();
            way(file);
            watch.Stop();
            Console.WriteLine(watch.ElapsedMilliseconds);
        }

DOM

static void DomWay(string file)
        {
            XmlDocument doc = new XmlDocument();
            doc.Load(file);

            Console.WriteLine(doc.SelectNodes(YOUR-XPATH-HERE).Count);

        }

SAX

static void SaxWay(string file)
        {
            using (XmlTextReader reader = new XmlTextReader(file))
            {
                int count = 0;
                while (reader.Read())
                {
                    if (reader.Name == "Person" && reader.NodeType == XmlNodeType.Element)
                    {
                        reader.Read();
                        reader.Read();

                        int? Id = null;
                        int? name = null;
                        string sex = null;
                        int? age = null;

                        if (reader.Name == "Id")
                        {
                            Id = reader.ReadElementContentAsInt();
                            reader.Read();
                            name = reader.ReadElementContentAsInt();
                            reader.Read();
                            sex = reader.ReadElementContentAsString();
                            reader.Read();
                            age = reader.ReadElementContentAsInt();
                            reader.Read();
                        }

                        if (reader.Name == "Person" && reader.NodeType == XmlNodeType.EndElement)
                            reader.Read();

                        if (Id != null && name != null && sex != null && age != null)
                        {
                            if (在此設置自定義過濾條件)
                                count++;
                        }
                    }
                }

                Console.WriteLine(count);
            }
        }

 

Linq to Xml

static void LinqWay(string file)
        {
            var root = XElement.Load(file);
            var person = from p in root.Elements("Person") 
 7                          where 在此設置自定義過濾條件 
 8                          select id;
            Console.WriteLine(person.Count());
        }

PLinq to Xml

static void PLinqWay(string file)
        {
            var root = XElement.Load(file);
            var person = from p in root.Elements("Person").AsParallel() 
 7                          where 在此設置自定義過濾條件 
 8                          select id;
            Console.WriteLine(person.Count());
        }

 統計結果

 在6核8G內存機器上，測試程序設置為x64和release模式，在xml查詢結果相同的情況下取運行時間（ms），沒有詳細采集cpu和內存數據

兩個模式，區別是加了一個素數的判斷。

 

	Id > 5000 && sex == "男" && age > 15 && age < 50	Id > 5000 && sex == "男" && age > 15 && age < 50 && IsPrimeInt(name)
sax	13857	40010
linq	27336	53760
plinq	24550	28846
dom	31737	0

由於dom模式本身xpath模式不支持嵌入函數，所以第二個測試沒有采集結果。

 

小結

sax：速度優先，內存占用少，但是代碼復雜度高。

linq：速度較sax慢，但是代碼優雅，維護容易

plinq：同上，在非計算密集型模式中，不比linq和sax模式好多少。但是在計算密集下，后來居上

dom：速度落后，但是原生支持xpath，代碼最優雅。

 

內存方面僅是肉眼觀察了任務管理器，sax基本內存曲線為水平線，而linq&plinq在load的時候分配內存，可能其內部也是用了dom。

倉促行文，其中必有不實之處，往各位勞神指教。