走進異步世界:EnyimMemcached異步化改造引起的內存泄漏


6月30日我們發布了異步化改造后的博客程序之后,出現了高內存、高CPU、高線程數的不理想情況

經過一周的追查,終於水落日出——引起不理想情況的根源是我們修改過的EnyimMemcached代碼存在內存泄漏問題。

而造成內存泄漏的根源是我們沒有對SocketAsyncEventArgs進行Dispose,實際情況是我們當時根本沒注意到SocketAsyncEventArgs實現了IDispose接口,而這個小小的疏忽竟然折騰了我們一個星期。

存在內存泄漏問題的代碼是這樣寫的:

a) 異步從Socket中讀取數據:

public async Task<byte[]> ReadBytesAsync(int count)
{
    var args = new SocketAsyncEventArgs();
    args.SetBuffer(new byte[count], 0, count);
    var awaitable = new SocketAwaitable(args);
    await this.socket.ReceiveAsync(awaitable);            
    return args.Buffer;
}

b) 異步向Socket中寫入數據:

public async Task WriteSync(IList<ArraySegment<byte>> buffers)
{
    var args = new SocketAsyncEventArgs();
    args.BufferList = buffers;
    var awaitable = new SocketAwaitable(args);
    await this.socket.SendAsync(awaitable);
}

解決內存泄漏問題的方法很簡單,using+Buffer.BlockCopy,代碼如下:

a) 改進后的異步從Socket中讀取數據:

public async Task<byte[]> ReadBytesAsync(int count)
{
    using (var args = new SocketAsyncEventArgs())
    {
        args.SetBuffer(new byte[count], 0, count);
        var awaitable = new SocketAwaitable(args);
        await this.socket.ReceiveAsync(awaitable);
        var receivedBytes = new Byte[args.BytesTransferred];
        Buffer.BlockCopy(args.Buffer, 0, receivedBytes, 0, args.BytesTransferred); return receivedBytes;
    }
}

b) 改進后的異步向Socket中寫入數據:

public async Task WriteSync(IList<ArraySegment<byte>> buffers)
{
    using (var args = new SocketAsyncEventArgs())
    {
        args.BufferList = buffers;
        var awaitable = new SocketAwaitable(args);
        await this.socket.SendAsync(awaitable);
    }            
}

改進后的代碼已發布至github:https://github.com/cnblogs/EnyimMemcached

你也許會問我們是如何監測到內存泄漏情況的呢?

我們借助於兩個工具:Windows任務管理器與性能監視器。

1. 通過任務管理器,我們觀察到w3wp占用的內存會持續增長,當到達5G左右,在8核8G的阿里雲虛擬機上CPU就開始做坐過山車,只有回收程序池(重啟w3wp進程)才能恢復正常。

2. 通過性能監視器,我們監測了兩個指標:

a) \.NET CLR Memory(w3wp)\# Bytes in all Heaps (針對托管內存)

b) \Process(w3wp)\Private Bytes (針對非托管內存)

觀察到的情況見下圖:

性能監視器Bytes in all Heaps與Private Bytes

(綠色是Private Bytes

Bytes in all HeapsPrivate Bytes都會出現持續增長。

而對SocketAsyncEventArgs進行Dispose之后,性能監視器看到的\.NET CLR Memory\# Bytes in all Heaps變成了這樣:

性能監視器Bytes in all Heaps

\Process\Private Bytes也與Bytes in all Heaps相映成輝:

性能監視器Private Bytes

一看到這樣的圖形,你應該和我們一樣感覺到了GC在背后辛勤工作的身影。 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM