本文由作者張遠道授權網易雲社區發布。
轉碼集群的搭建
隨着媒體技術的發展，以及硬件設備的普及和移動設備的觸角延伸之社會各個角落，人們可以隨時隨地產生信息。而這些海量信息中，有不少多媒體信息。多媒體信 息成為了人們信息分享的重要方式。毫不誇張地說，現在是一個信息爆炸的時代。傳統的電視，電影，視頻網站，及至移動的自媒體（自由人）無時無刻不在吞吐着媒體信息。
這些海量信息的存在給存儲和分享都帶來了挑戰。挑戰主要有兩方面，一是如何盡可能以小成本來存儲這些信息。二是如何讓這些千差萬別的設備產生的信息能被千 差萬別是設備觀看。解決問題一的方法是在盡可能地縮小這些多媒體信息的同時不降低媒體信息的質量。解決問題二的方法是將這些有千差萬別設備產生的格式各異 的視頻編碼成統一的能支持各種設備的視頻格式。
幸運地是，確實存在在實踐上已經被證明是切實可行的方案存在，即視頻編碼技術。可以構建視頻編碼集群，將原始視頻編碼成目標格式,在再編碼的過程中，完成視頻壓縮和統一制式，從而實現存儲降低及制式統一。從視頻的角度可以將現在 設備分割成兩個陣營，一個是蘋果陣營，另一個是非蘋果陣營。蘋果陣營的視頻只要是m3u8為封裝格式，內部編碼配以H264和AAC即可。而非蘋果陣營則 是MP4為封裝格式，內部編碼已H264和AAC即可。據初略統計H264+aac的編碼組合可以達到2:1到4:1的壓縮比，可以顯著地降低存儲空間。
下圖是一個采用gearman框架搭建的簡易轉碼集群（當然該簡易集群曾經有1~2人力一個月左右的時間搭建完成，並在生產環境中部署）。
該簡易轉碼集群由四個模塊組成：
JobServer負責接收API服務器的請求，建立轉碼Job，將Job分發給transcode-worker。
API服務器負責接收第三方產品的轉碼請求，將其轉發給JobServer。
transcode-worker接收JobServer的作用請求，並且完成轉碼作業。
分布式文件系統主要用於存儲原視頻和目標視頻。之所以用分布式文件系統是因為transcode-worker部署在不同服務器上，transcode-worker需要能夠在分布式環境中訪問視頻文件。
所需技術：
gearman分布式任務調度框架。非常輕量級，支持C，Java，Python，PHP，C#，Ruby等各種語言，具有任何語言背景的人可以再一起工作。
ffmpeg，轉碼領域的瑞士軍刀。幾乎支持市面上所有商業視頻格式。實驗室格式除外。
搭建API的web服務器技術。本人比較習慣J2EE的Spring那套。當然你可以用ruby on rails，點Net等。
基礎的音視頻知識。包括H264編碼技術，視頻解壓縮知識等。
到這里，一個內容生產系統基本成型。但是還需要一個視頻內容的deliver系統，即視頻播放服務器[集群]。這里將詳細地記錄視頻服務器的搭建步驟。
如何搭建flv媒體服務器
操作系統：linux 2.6.32-5-amd64。Linux 版本即可。
服務器：nginx 1.3.3。nginx的版本可以更高。
客戶端：jwplayer
安裝nginx with http_module_flv
1、 下載nginx
wget http://nginx.org/download/nginx-1.3.3.tar.gz |
2、 解壓
tar –xzvf nginx-1.3.3.tar.gz |
3、 安裝
cd nginx-1.3.3 ./configure --prefix=/home/user/nginx_flv --with-http_flv_module |
4、 配置
#user nobody; worker_processes 1;
#error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info;
#pid logs/nginx.pid;
events { worker_connections 1024; }
http { include mime.types; default_type application/octet-stream;
log_format main 'remoteaddr−remote_user [timelocal]"request" ' 'statusbody_bytes_sent "$http_referer" ' '"httpuseragent""http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on; #tcp_nopush on;
#keepalive_timeout 0; keepalive_timeout 65;
#gzip on;
server { listen 8088; server_name localhost;
#charset koi8-r;
access_log logs/host.access.log main;
location / { root /home/fs/video; index index.html index.htm; autoindex on; location ~ \.flv{ flv; } }
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html # error_page 500 502 503 504 /50x.html; location = /50x.html { root html; }
# deny access to .htaccess files, if Apache's document root # concurs with nginx's one # #location ~ /\.ht { # deny all; #} } } |
說明:綠色部分為配置flv的部分。/home/fs/video目錄為資源存放路徑，包括jwplayer以及測試用的視頻文件都存放於該目錄。
5、 配置jwplayer服務器。
下載開源的jwplayer，比如mediaplayer-5.10。解壓之后將player.swf以及jwplayer.js置於/home/fs/video。並將測試視頻 zyd.flv 也置於/home/fs/video。
6、 測試
在瀏覽器中輸入 http://hostip:8080/player.swf?type=http&file=zyd.flv |
可以隨意拖動進度條，可以看到視頻正常播放。
如何搭建MP4媒體服務器
操作系統：linux 2.6.32-5-amd64。Linux 版本即可。
服務器：nginx 1.3.3。nginx的版本可以更高。
客戶端：jwplayer。或者任何播放器即可。
安裝nginx with nginx_mod_h264_streaming
1、 下載nginx 和nginx_mod_h264_streaming
wget http://nginx.org/download/nginx-1.3.3.tar.gz git clone https://github.com/vivus-ignis/nginx_mod_h264_streaming.git |
2、 解壓
tar –xzvf nginx-1.3.3.tar.gz |
3、 安裝
cd nginx-1.3.3 #nginx_mod_h264_streaming為第三方模塊。 ./configure --prefix=/home/user/nginx_flv --add_module=nginx_mod_h264_streaming_2.2.7 |
4、 配置
#user nobody; worker_processes 1;
#error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info;
#pid logs/nginx.pid;
events { worker_connections 1024; }
http { include mime.types; default_type application/octet-stream;
log_format main 'remoteaddr−remote_user [timelocal]"
關注網易數帆
微信公眾號
推薦產品
網易輕舟
雲原生軟件生產力平台：基於一站式雲原生服務來提升企業軟件研發、運營的能力和效率，打造企業數字化基礎設施。
網易易數
數據生產力平台：致力於為企業提供全鏈路數據產品和服務，幫助企業用戶快速在業務場景中應用大數據，助力業務發展和產業升級。
網易易智
多媒體智能開放平台：聚焦於智能語音語言和計算機視覺等領域，基於多年的行業深耕，積累出豐富的技術成果與落地應用經驗；推出語音識別、自然語言理解、文字識別、視頻分析等AI產品，助力企業智能化升級。
網易易測
全維度質量效能平台：基於網易10年質量效能經驗積累，為企業提供測試管理，UI自動化測試，接口自動化測試，性能壓測等整體解決方案，助力企業建立健全質量效能體系。
|
