短網址服務搭建

隨着類似Twitter的微型博客網站的出現，由於字符數的限制，網址縮短服務日漸增多。加上網址縮短服務提供商提供網址追蹤等服務，這一業務日漸 興起。知名網址縮短服務商Bit.ly的主要業務便是為微博Twitter提供網址縮短服務。 比如sina微博的sinaurl.cn，騰訊微博的url.cn等。

　　實現原理很簡單，主要是將用戶提交的 url 地址轉化成一個唯一的字串，這個字串就對應着真實的 url，怎么樣實現這種轉換呢？

　　url 的轉換摘自：http://www.cnblogs.com/aspnethot/articles/3492253.html

　　數據庫只有兩個字段seq（自增長數字）和url（數字的url地址，建立索引）。

　　用戶輸入一個url地址，查詢表是否包含此url，如果存在，則返回seq的數字，

　　如果不存在，則插入數據庫，得到一個新增加的自增seq數字，為了縮短數字占用的字符數，我們可以把abc等字母的大小寫用上。這樣10個數 字，26個小寫字母，26個大小字母就組成了一個62進制了。比如數字10000000000（100億）轉換后就是aUKYOA，只有6位了，這樣就能 縮短很多的網址了。

public static string[] ShortUrl(string url)
        {
            //可以自定義生成MD5加密字符傳前的混合KEY
            string key = "Leejor";
            //要使用生成URL的字符
            string[] chars = new string[]{
                "a","b","c","d","e","f","g","h",
                "i","j","k","l","m","n","o","p",
                "q","r","s","t","u","v","w","x",
                "y","z","0","1","2","3","4","5",
                "6","7","8","9","A","B","C","D",
                "E","F","G","H","I","J","K","L",
                "M","N","O","P","Q","R","S","T",
                "U","V","W","X","Y","Z"

              };
            //對傳入網址進行MD5加密
            string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");

            string[] resUrl = new string[4];

            for (int i = 0; i < 4; i++)
            {
                //把加密字符按照8位一組16進制與0x3FFFFFFF進行位與運算
                int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);
                string outChars = string.Empty;
                for (int j = 0; j < 6; j++)
                {
                    //把得到的值與0x0000003D進行位與運算，取得字符數組chars索引
                    int index = 0x0000003D & hexint;
                    //把取得的字符相加
                    outChars += chars[index];
                    //每次循環按位右移5位
                    hexint = hexint >> 5;
                }
                //把字符串存入對應索引的輸出數組
                resUrl[i] = outChars;
            }

            return resUrl;
        }

現在可以直接使用該方法，可以等到下面四組值

ShortUrl(http://www.me3.cn)[0];  //得到值fAVfui

ShortUrl(http://www.me3.cn)[1];  //得到值3ayQry

ShortUrl(http://www.me3.cn)[2];  //得到值UZzyUr

ShortUrl(http://www.me3.cn)[3];  //得到值36rQZn

 

得到縮短的網址以后，怎樣實現網址的轉發呢？可以利用 ttserver，將縮短網縮字串當作key，真實的 url 地址當作 value，存入ttserver中。ttserver本身就提供 http 訪問，只需要稍加修改就可以直接利用 ttserver 進行縮短網址的轉發：

　　在 ttserver 源碼目錄下找到 ttserver.c 這個文件，這里我用的是 tokyotyrant-1.1.39 ，跳到第 2981 行，將下面的幾行改成圖中所示：

　　保存退出，編譯安裝 ttserver，網上有很多安裝教程，可以參考。

 

　　啟動 ttserver，並向里面寫入一條 key 為 aaaaaa，value為 http://www.baidu.com 的值。

 

curl -X PUT http://127.0.0.10:11221/aaaaaa -d "http://www.baidu.com"

 

主要目的是用 http 訪問 ttserver 時直接取得到真實的 url 並做轉發。這樣做很方便，但不安全，ttserver 的 http 還支持刪除、修改、插入數據（當然也可以修改 ttserver 的 http 訪問入口，屏蔽掉這幾種操作）。負載均衡方面，可以通過添加多條 A 記錄隨機轉發到不同的 ttserver 機器上，但這樣每台機器上存放的數據必須相同，網上也有說過ttserver  存過千萬左右的數據以后不太穩定。

　　利用 nginx 就能很好解決直接用 ttserver 的問題，用 nginx 過濾掉 http 訪問 ttserver 的刪除、修改、插入的操作，並為多台 ttserver 提供反向代理的功能。如下圖所示：

　　安裝 nginx，我這里采用的是 nginx-0.8.36.tar.gz。安裝 nginx 請參考：http://blog.s135.com/nginx_php_v6。

　　打開 nginx.conf 配置文件：

#user  nobody;

#啟動 8 個 nginx 進程
worker_processes  8;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

events {
    # 用 epoll，最大連接數
    use epoll;
    worker_connections 65535;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    # 由於只做轉發，將超時時間設為 0
    keepalive_timeout  0;

    #gzip  on;
    # 反向代理 ttserver 1 號機，這里我放在一台機器上開了三個不同端口
    upstream backend_1 {
        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;
    }
    # 反向代理 ttserver 2 號機
    upstream backend_2 {
        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;
    }
    # 反向代理 ttserver 3 號機
    upstream backend_3 {
        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;
    }

    server {
        listen       80;
        server_name  url.cn;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;
        #當路徑包含/count的時候，則代理到ttserver后端進行請求數據。
    #請注意，這里屏蔽了PUT,DELETE,POST方法，只是使用了GET，主要目的是為了安全性，
    #因為DELETE,POST,PUT是可以修改數據的
    location ~* /count(.*) {
        if ($request_method = PUT ) {
            return 403;
        }
        if ($request_method = DELETE ) {
            return 403;
        }
        if ($request_method = POST ) {
            return 403;
        }
        proxy_method GET;
    }
        #將以 a-z 為第一個字符的 url 代理到 ttserver 1 號機
    location ~* "^/([a-z]{1})([a-zA-Z0-9]{5})" {
        proxy_pass http://backend_1;
    }
        #將以 A-Z 為第一個字符的 url 代理到 ttserver 2 號機
    location ~* "^/([A-Z]{1})([a-zA-Z0-9]{5})" {
        proxy_pass http://backend_2;
    }
        #將以 0-9 為第一個字符的 url 代理到 ttserver 3 號機
    location ~* "^/([0-9]{1})([a-zA-Z0-9]{5})" {
        proxy_pass http://backend_3;
    }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

保存 nginx.conf 退出，現在就可以啟動 ttserver了，我這里做演示，為了方便就在一台機器的三個端口啟動了三個 ttserver。如圖：

這里用 /ttserver/url_1 存放 ttserver 1號機的數據，依此類推，分別在 11222、11223啟動 ttserver。

　　接着啟動 nginx：

ulimit -SHn 65535
/usr/local/nginx/sbin/nginx

接着在服務器上用下面的命令插入測試數據：

curl -X PUT http://127.0.0.10:11221/aaaaaa -d "http://www.baidu.com"
curl -X PUT http://127.0.0.10:11222/Aaaaaa -d "http://www.soso.com"
curl -X PUT http://127.0.0.10:11223/1aaaaa -d "http://www.qq.com"

配置你機器的 hosts 指向 nginx 服務器：

127.0.0.1    url.cn

現在我們就可以打開瀏覽器，輸入 http://url.cn/aaaaaa 就可以跳轉到 baidu 上了，http://url.cn/Aaaaaa 就可以跳轉到 soso 了，http://url.cn/1aaaaa 就可以跳轉到 qq 上。至此配置完成，nginx只做轉發工作，應付大規模的訪問應該沒什么問題，這也正是 nginx 所擅長的。ttserver 數據的取值操作也是很快的，在后面可以多開幾台 ttserver，分散大量訪問時的負載。

　　前台程序根據用戶提交的 url 生成短的 url 后，根據前面的 nginx 分發規則寫到某一台 ttserver 中，就可以了。nginx還支持一直 url hash 的均衡，但需要安裝一個第三方模塊ngx_http_upstream_hash_module，具體可以參考：http://blog.sina.com.cn/s/blog_5426e0180100dwsp.html