各種流媒體服務器性能測試

　　今天正好有80Gbps的萬兆網絡環境，寫了一個壓力測試工具，對比了一下各種流媒體服務器，在超級並發下的性能如何，原來聽說intel的萬兆網卡有問題，只能跑到不到的理論帶寬，這點我測試過了，用intel最新的驅動，centos6，最次能跑到80%的理論帶寬，最高能跑到95%以上，完全沒有問題，需要注意的是nginx 采用異步架構，因為rtmp協議實際上損失了部分性能，實際上http的性能比這個更高。http跑到過72Gbps，帶寬的90%。

nginx-rtmp做edge的配置： 

 rtmp {
 server {
 listen 1935;
 application edge{
 live on;
 pull rtmp://127.0.0.1:2935/live;
 }
 }
 }

 

也就是說，源站的播放地址是：rtmp://192.168.1.50:2935/live/livestream，而邊緣的播放地址是：rtmp://192.168.1.50:1935/edge/livestream

Wowza2的配置： 

 修改：/usr/local/WowzaMediaServer/bin/startup.sh
 多分配內存，否則無法支持8k連接：-Xms2024m -Xmx6048m
 java -server -Djava.net.preferIPv4Stack=true -Dcom.sun.management.jmxremote=true -Xms2024m -Xmx13048m -Dcom.wowza.wms.AppHome=/usr/local/WowzaMediaServer -Dcom.wowza.wms.ConfigURL= -Dcom.wowza.wms.ConfigHome=/usr/local/WowzaMediaServer -cp /usr/local/WowzaMediaServer/bin/wms-bootstrap.jar com.wowza.wms.bootstrap.Bootstrap start

 修改Ping超時設置：
 /usr/local/WowzaMediaServer/conf/live/Application.xml
 <ApplicationTimeout>60000000</ApplicationTimeout>
 <PingTimeout>12000000</PingTimeout>

Wowza3的配置： 

 修改：/usr/local/WowzaMediaServer/bin/startup.sh
 多分配內存，否則無法支持8k連接：-Xms2024m -Xmx6048m
 $_EXECJAVA -server -Xms2024m -Xmx13048m -Djava.net.preferIPv4Stack=true $JMXOPTIONS -Dcom.wowza.wms.runmode="$mode" -Dcom.wowza.wms.native.base="linux" -Dcom.wowza.wms.AppHome="$WMSAPP_HOME" -Dcom.wowza.wms.ConfigURL="$WMSCONFIG_URL" -Dcom.wowza.wms.ConfigHome="$WMSCONFIG_HOME" -cp $WMSAPP_HOME/bin/wms-bootstrap.jar com.wowza.wms.bootstrap.Bootstrap start

 修改Ping超時設置：
 /usr/local/WowzaMediaServer/conf/live/Application.xml
 <ApplicationTimeout>60000000</ApplicationTimeout>
 <PingTimeout>12000000</PingTimeout>

測試數據如下。 

Test 5k Clients

5.5k的數據如下：

 

RTMP 900kbps 5k Clients

	Wowza2	Wowza3	SmartServer	NginxRtmp(Origin)	NginxRtmp(Edge)
CPU	663.9%	1247.5%	494%	310%	425%
Mem	1GB	6.7GB	118MB	216MB	244MB
Load	3.99	26.53	4.06	3.33	4.77
Process	1	1	8	8	8
Threads	242	242	8	8	8
Bandwidth Required	4.68Gbps	4.68Gbps	4.68Gbps	4.68Gbps	4.68Gbps
Bandwidth Actual	4.14Gbps	4.2Gbps	4.5Gbps	4.9Gbps	4.9Gbps
Connections	5168	5203	5201	5204	5202
Client-Load	5.68	26.53	3.70	7.74	10.94
FlashPlay(Win7) delay	7s	-s	1.2s	3s	1s
Architecture	java,  single-process,  multiple-thread	java,  single-process,  multiple-thread	c++/st,  multiple-process,  single-thread, async-socket	c,  multiple-process,  single-thread, async-socket	c,  multiple-process, single-thread, async-socket

 

比起Wowza2，后者的效率高20%，內存使用只有10%，延遲極佳。wowza3的CPU/Mem/Load就是一坨屎。

Test 8k Clients

8k連接的數據如下：

 

 

 

RTMP 900kbps 8k Clients

	Wowza2	Wowza3	SmartServer	NginxRtmp(Origin)	NginxRtmp(Edge)
CPU	811.6%	1472.3%	813.7%	488%	575%
Mem	5GB	10GB	188MB	254MB	307MB
Load	5.55	29.16	7.18	5.53	5.08
Process	1	1	12	8	8
Threads	242	242	12	8	8
Bandwidth Required	7.2Gbps	7.2Gbps	7.2Gbps	7.2Gbps	7.2Gbps
Bandwidth Actual	6.5Gbps	3.6Gbps	7.6Gbps	7.6Gbps	7.5Gbps
Connections	8003	8003	8001	8004	8002
Client-Load	13.31	2.73	12.05	17.81	17.94
FlashPlay(Win7) delay	14s	-s	1s	4s	1.7s
Architecture	java,  single-process,  multiple-thread	java,  single-process,  multiple-thread	c++/st,  multiple-process,  single-thread, async-socket	c,  multiple-process,  single-thread, async-socket	c,  multiple-process, single-thread, async-socket

比起Wowza2，后者的內存使用只有0.5%，延遲極佳。Wowza3跑不到8k。

 

 

Test 12k Clients

12k連接的數據如下，12k左右時帶寬需要達到10Gbps：

 

RTMP 900kbps 12k Clients

	Wowza2	Wowza3	SmartServer	NginxRtmp(Origin)	NginxRtmp(Edge)
CPU	1743.1%	不支持	864.7%	487%	378%
Mem	11GB	不支持	1.7GB	342MB	378MB
Load	13	不支持	3.39	4.35	3.96
Process	1	1	17	8	8
Threads	242	242	17	8	8
Bandwidth Required	10Gbps	不支持	9.9Gbps	10Gbps	10Gbps
Bandwidth Actual	7.4Gbps	不支持	10.1Gbps	8.5Gbps	8.48Gbps
Connections	12002	不支持	11245	12004	11960
Client-Load	3	不支持	29.94	30.47	30.29
FlashPlay(Win7) delay	NaN (客戶端 直接卡死)	不支持	1.7s	3s	1.3s
Architecture	java,  single-process,  multiple-thread	java,  single-process,  multiple-thread	c++/st,  multiple-process,  single-thread, async-socket	c,  multiple-process,  single-thread, async-socket	c,  multiple-process, single-thread, async-socket

 

可見，wowza2/3根本就無法達到10Gbps，盡管在80Gbps帶寬中也達不到（http可是能到72Gbps）。而nginx同源架構的rtmp服務器，也能到10Gbps。

因為客戶端負載過高（29.9），所以無法繼續開更多客戶端測試，服務器的負載還很低，還可以開啟更多的客戶端。

其他因素

除了性能之外，網絡服務器需要考慮的因素包括：

 

其他對比

	Wowza2	SmartServer	NginxRtmp
集群	Origin+Edge	Edge	Origin+Edge
主備	不支持	支持	不支持
直播轉碼	支持	不支持	支持
HLS	支持	不支持	支持
可維護性	容易	容易	很難
監控數據	不支持	支持	不支持
HTTP接口	不支持	不支持	支持
Reload	不支持	支持	支持
帶寬檢測	不支持	支持	不支持
極簡配置	不支持	支持	部分支持 （Edge回源時 必須指定app）

 

理論上，nginx或者st這種架構，為網絡服務器的最優架構。

多進程+單線程+異步socket+HTTP===超級網絡服務器（nginx）。

多進程+單線程+異步socket+Rtmp===超級RTMP服務器（nginx-rtmp/SmartServer）。