最近的一個項目,視頻點播系統,使用apache實現的流媒體服務器。
其實准確的說叫做偽流(HTTP Pseudo-Streaming),基本原理和概念自行了解吧。
讓我簡單的描述就是仍然是HTTP下載,播放器播放本地緩存。只不過它也實現了一些和正規流媒體服務類似的功能。
視頻點播類系統的性能測試,說簡單了主要就是模擬大量用戶去看視頻。
服務端監控整體性能,客戶端關注各自表現。
這里難點主要在於如何模擬大量用戶觀看視頻?如何判斷各客戶端展現?
多客戶端的模擬無外乎3種方法:
1.全公司總動員,一起看。
2.一台機器開多個播放頁面(或者是一個頁面上嵌入多個播放器),調用多台機器。
3.拋棄客戶端的解碼播放過程,直接想法下載視頻文件。
第一種方法不用說,雖然最真實,但太原始沒有技術含量,如果是小公司人還不一定夠。
第二種方法在需要測試的用戶數不大時還可以,否則會占用較多資源,而且技術含量也較低。這種方式,一台機器上能模擬的用戶數很有限,因為CPU會很快成為瓶頸。
第三種方法最高效,在千兆網環境下,一台機器可以模擬很多路用戶,此時網絡帶寬是瓶頸(如果帶寬更大,估計硬盤IO就是瓶頸了)。但是沒有解碼和播放,如何判斷客戶端的效果呢?兩種方式,一是對比下載速度和碼率,理論上只要下載速度足夠就可以了;二是測試過程中也可以打開幾個真實的播放窗口來驗證播放效果,因為壓力在服務端,可以認為每個客戶端都是等價的。
本文要講的就是第三種測試方法。
以前還測過FMS的流媒體,網上可以找到現成的工具來實現本方法,只要調用就可以了。
但HTTP的這次也搜了兩天,好像還真沒有,只好自己動手了。
看來最高效的方法,實現起來卻是最麻煩的。
基本思路是JAVA實現下載功能,用LR的JAVA Vuser實現多用戶的控制。
動手前先給自己整理了一個需求
功能:
模擬下載√
播放列表√
下載速度記錄:總平均速度、每秒速度√
*偽裝成播放器進行連接
*客戶端限速測試結果:
apache限速
下載速度
文件完整功能擴展
jar包或者exe文件傳參(播放列表)
打對鈎的是已經實現了,帶星號的是未實現、也不一定需要實現的高級功能。
通過測試程序,需要得到的結果是下載是否正確完成?下載速度是否足夠?apache的限速模塊是否起作用(如果開啟)?
這里可能會有個問題,如果下載程序突破了apache的限速,那有可能是測試程序的問題,這就引出了上面的高級功能“偽裝成播放器”。
下面直接貼代碼,說明盡量放到注釋里。
下載類,提供靜態方法。
1 package com.test; 2 import java.io.*; 3 import java.net.*; 4 import java.util.*; 5 6 public class DownloadFile { 7 8 /* 9 *下載指定URL的文件 10 *userid是用於保存本地文件的標識 11 **/ 12 public static int getHttpFileByUrl(String address, String userid) { 13 int bufferSize = 1024; 14 int size = 0; 15 byte[] buf = new byte[bufferSize]; 16 17 /* 18 *下載時間字符串 19 *用於文件標識 20 *格式201210260130 21 **/ 22 Date date = new Date();
23 SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss"); 24 String downloadTime = formatDate.format(date);
30 31 /* 32 *計算下載速度相關 33 */ 34 int totalDownloadSize = 0; 35 int lastDownloadSize = 0; 36 long lastCheckTime = 0; 37 long startDownloadTime = 0; 38 int sec = 0; 39 40 /* 41 *下載和計算過程 42 */ 43 try { 44 URL url = new URL(address); 45 URLConnection conn = url.openConnection(); 46 BufferedInputStream bis = new BufferedInputStream(conn.getInputStream()); 47 FileOutputStream fos = new FileOutputStream("e:\\test\\testvideo" + "_" + downloadTime + "_" + userid); 48 49 System.out.println("File Size:" + conn.getContentLength()/1024 + "KB"); 50 51 startDownloadTime = System.currentTimeMillis(); 52 lastCheckTime = startDownloadTime; 53 54 while ((size = bis.read(buf)) != -1) 55 { 56 fos.write(buf,0,size); 57 totalDownloadSize += size; 58 59 /* 60 *計算每秒下載速度 61 */ 62 if (System.currentTimeMillis() - lastCheckTime > 1000) { 63 System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB"); 64 lastCheckTime = System.currentTimeMillis(); 65 lastDownloadSize = totalDownloadSize; 66 sec++; 67 } 68 } 69 70 System.out.println("Vuser " + userid + " Download Completed!"); 71 System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s"); 72 73 fos.close(); 74 bis.close(); 75 76 }catch (MalformedURLException e) { 77 e.printStackTrace(); 78 }catch (IOException e) { 79 e.printStackTrace(); 80 } 81 82 return totalDownloadSize/1024; 83 } 84 }
測試驅動。
1 import com.test.*; 2 import java.util.*; 3 import java.io.*; 4 5 public class DownloadDrive { 6 7 public static void main (String[] args) { 8 9 //System.out.println("test"); 10 //DownloadFile.test(); 11 12 /* 13 *調用者測量 14 *自行實現 15 */ 16 int DownLoadSize = 0; 17 double DownLoadTime = 0; 18 int Speed = 0; 19 20 String url; 21 ArrayList urlList = new ArrayList(); 22 23 /* 24 *讀取待下載的URL地址 25 *保存到list中 26 */ 27 try{ 28 BufferedReader br = new BufferedReader(new FileReader("url.txt")); 29 while((url = br.readLine()) != null){ 30 urlList.add(url); 31 } 32 }catch(IOException ie){ 33 ie.printStackTrace(); 34 } 35 36 System.out.println("Total URLs: " + urlList.size()); 37 38 /* 39 *依次下載list中的文件 40 */ 41 for(int i = 0; i < urlList.size(); i++){ 42 url = (String)urlList.get(i); 43 System.out.println(url); 44 //傳入url和每個調用者的標識 45 DownloadFile.getHttpFileByUrl(url, "1"); 46 } 47 } 48 49 }
將待下載的URL保存到url.txt中,每行一個地址。文件放到DownloadDrive.class同目錄中。
如
http://www.ospreypacks.com/user_manuals/S12_Kestrel_OM_SCh1.pdf
http://desktop.youku.com/youkuclient/youkuclient_setup.exe
http://download.get.live.cn/components/pinyin/EngkooPinyinSetup_1.0.382.02.exe
運行測試,結果如圖
Total URLs: 3
http://www.ospreypacks.com/user_manuals/S12_Kestrel_OM_SCh1.pdf
File Size:1979KB
0: 85KB
1: 333KB
2: 396KB
3: 370KB
4: 254KB
5: 318KB
6: 151KB
7: 7KB
8: 5KB
9: 11KB
10: 7KB
11: 7KB
12: 7KB
13: 7KB
14: 7KB
Vuser 1 Download Completed!
Average Download Speed: 116KB/s
http://desktop.youku.com/youkuclient/youkuclient_setup.exe
File Size:8970KB
0: 505KB
1: 253KB
2: 405KB
3: 210KB
4: 366KB
5: 325KB
6: 312KB
7: 352KB
8: 355KB
9: 288KB
10: 352KB
11: 185KB
12: 454KB
13: 341KB
14: 292KB
15: 354KB
16: 337KB
17: 379KB
18: 345KB
19: 194KB
20: 404KB
21: 281KB
22: 10KB
23: 511KB
24: 332KB
25: 258KB
26: 328KB
Vuser 1 Download Completed!
Average Download Speed: 299KB/s
http://download.get.live.cn/components/pinyin/EngkooPinyinSetup_1.0.382.02.exe
File Size:24290KB
0: 362KB
1: 273KB
2: 292KB
3: 329KB
4: 307KB
5: 325KB
6: 329KB
7: 295KB
8: 312KB
9: 295KB
10: 329KB
11: 332KB
12: 275KB
13: 271KB
14: 361KB
15: 313KB
16: 275KB
17: 372KB
18: 314KB
19: 369KB
20: 323KB
21: 350KB
22: 354KB
23: 340KB
24: 342KB
25: 349KB
26: 317KB
27: 354KB
28: 303KB
29: 345KB
30: 345KB
31: 354KB
32: 328KB
33: 330KB
34: 305KB
35: 304KB
36: 310KB
37: 352KB
38: 347KB
39: 286KB
40: 194KB
41: 292KB
42: 350KB
43: 286KB
44: 433KB
45: 330KB
46: 295KB
47: 319KB
48: 358KB
49: 301KB
50: 302KB
51: 304KB
52: 295KB
53: 312KB
54: 311KB
55: 280KB
56: 310KB
57: 304KB
58: 273KB
59: 320KB
60: 288KB
61: 294KB
62: 351KB
63: 354KB
64: 296KB
65: 354KB
66: 362KB
67: 361KB
68: 296KB
69: 329KB
70: 246KB
71: 411KB
72: 270KB
73: 327KB
74: 321KB
Vuser 1 Download Completed!
Average Download Speed: 299KB/s
Process completed.
到這,主要代碼已經實現了。下一步需要做的是和LR整合,用LR的Java Vuser對下載功能進行控制,模擬多用戶。
其實也就是重寫一個測試驅動,只不過這個驅動是需要LR內部方法了,應該沒有什么技術上的難點了。
明天再補充。