關於微博內容中的短地址ShortURL


看過新浪的短連接服務,發現后面主要有6個字符串組成,於是第一個想到的就是原來公司寫的一個游戲激活碼規則,也就是下面的算法2,26個大寫字母 26小寫字母,10個數字,隨機生成6個然后插入數據庫對應一個id,短連接跳轉的時候,根據字符串查詢到對應id,即可實現相應的跳轉!不過2的62次方,不知道有沒有重復的,小概率可以,但是對應不是很大的網站應該足夠了

   

自從twitter推出短網址(shorturl)后,國內各大微博跟風,google公開goo.gl使用的API, 短網址之風愈演愈烈。不得不說這是一個新興又一大熱門web2.0服務。現整理一下,包括完整短網址網站,短網址算法原理,算法舉例,以及優劣比較,同時還介紹幾個phper個人實現的。

   

短網址應用已經在全國各大微博上開始流行了起來。例如QQ微博的url.cn,新浪的sinaurl.cn等。我們在QQ微博上發布網址的時候,微博會自動判別網址,並將其轉換,例如:http://url.cn/2hytQx

為什么要這樣做的,原因我想有這樣幾點:

   

1. 微博限制字數為140字一條,那么如果我們需要發一些連接上去,但是這個連接非常的長,以至於將近要占用我們內容的一半篇幅,這肯定是不能被允許的,所以短網址應運而生了。

2. 短網址可以在我們項目里可以很好的對開放級URL進行管理。有一部分網址可以會涵蓋色情,暴力,廣告等信息,這樣我們可以通過用戶的舉報,完全管理這個連接將不出現在我們的應用中,因為同樣的URL通過加密算法之后,得到的地址是一樣的。

3. 我們可以對一系列的網址進行流量,點擊等統計,挖掘出大多數用戶的關注點,這樣有利於我們對項目的后續工作更好的作出決策。

其實以上三點純屬個人觀點,因為在我接下來的部分項目中會應用到,所以就了解了一下,下面先來看看短網址映射算法的理論(網上找到的資料):

   

完整的ShortUrl網站,由國外著名 WordPress 插件大師級人物 Ozh Richard 和 Lester Chan 一起寫的。官方網站是yourls.org。此為開源版本,可以從這里下載。最新版本1.5,試用了一下,默認第一個是1,感覺不是很好,還是喜歡twitter風格的。

turl,phper的個人實現,可下載源碼,點擊此處

   

算法原理

算法一

1)將長網址md5生成32位簽名串,分為4段, 每段8個字節;

2)對這四段循環處理, 取8個字節, 將他看成16進制串與0x3fffffff(30位1)與操作, 即超過30位的忽略處理;

3)這30位分成6段, 每5位的數字作為字母表的索引取得特定字符, 依次進行獲得6位字符串;

4)總的md5串可以獲得4個6位串; 取里面的任意一個就可作為這個長url的短url地址;

   

這種算法,雖然會生成4個,但是仍然存在重復幾率,下面的算法一和三,就是這種的實現.

   

算法二

a-zA-Z0-9 這64位取6位組合,可產生500多億個組合數量.把數字和字符組合做一定的映射,就可以產生唯一的字符串,如第62個組合就是aaaaa9,第63個組合就是aaaaba,再利用洗牌算法,把原字符串打亂后保存,那么對應位置的組合字符串就會是無序的組合。

把長網址存入數據庫,取返回的id,找出對應的字符串,例如返回ID為1,那么對應上面的字符串組合就是bbb,同理 ID為2時,字符串組合為bba,依次類推,直至到達64種組合后才會出現重復的可能,所以如果用上面的62個字符,任意取6個字符組合成字符串的話,你的數據存量達到500多億后才會出現重復的可能。

具體參看這里徹底完善新浪微博接口和超短URL算法,算法四可以算作是此算法的一種實現,此算法一般不會重復,但是如果是統計的話,就有很大問題,特別是對域名相關的統計,就抓瞎了。

   

短網址算法枚舉

   

一個來自http://www.snippetit.com/2009/04/php-short-url-algorithm-implementation/ ,

代碼如下:

<?php 

function shorturl($input) { 

  $base32 = array ( 

    'a''b''c''d''e''f''g''h'

    'i''j''k''l''m''n''o''p'

    'q''r''s''t''u''v''w''x'

    'y''z''0''1''2''3''4''5' 

    ); 

    

  $hex md5($input); 

  $hexLen strlen($hex); 

  $subHexLen $hexLen 8

  $output = array(); 

    

  for ($i 0$i $subHexLen$i++) { 

    $subHex substr ($hex$i 88); 

    $int 0x3FFFFFFF & (* ('0x'.$subHex)); 

    $out ''

    

    for ($j 0$j 6$j++) { 

      $val 0x0000001F $int

      $out .= $base32[$val]; 

      $int $int >> 5

    } 

    

    $output[] = $out

  } 

    

  return $output

?> 

   

另一個是純隨機數算法

<?php 

function random($length$pool ''

    { 

        $random ''

    

        if (empty($pool)) { 

            $pool    'abcdefghkmnpqrstuvwxyz'

            $pool   .= '23456789'

        } 

    

        srand ((double)microtime()*1000000); 

    

        for($i 0$i $length$i++)  

        { 

            $random .= substr($pool,(rand()%(strlen ($pool))), 1); 

        } 

    

        return $random

    } 

?> 

   

各大微博短網址(ShortUrl)的算法 ,第一種算法的C#實現

<?php 

// 這是c#代碼,受編輯器的限制,只能用php 

public static string[] ShortUrl(string url

        { 

            //可以自定義生成MD5加密字符傳前的混合KEY 

            string key "Leejor"

            //要使用生成URL的字符 

            string[] chars = new string[]{ 

                "a","b","c","d","e","f","g","h"

                "i","j","k","l","m","n","o","p"

                "q","r","s","t","u","v","w","x"

                "y","z","0","1","2","3","4","5"

                "6","7","8","9","A","B","C","D"

                "E","F","G","H","I","J","K","L"

                "M","N","O","P","Q","R","S","T"

                "U","V","W","X","Y","Z" 

   

              }; 

            //對傳入網址進行MD5加密 

            string hex System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key url"md5");

   

            string[] resUrl = new string[4]; 

   

            for (int i 04i++) 

            { 

                //把加密字符按照8位一組16進制與0x3FFFFFFF進行位與運算 

                int hexint 0x3FFFFFFF Convert.ToInt32("0x" hex.Substring(88), 16); 

                string outChars string.Empty; 

                for (int j 06j++) 

                { 

                    //把得到的值與0x0000003D進行位與運算,取得字符數組chars索引 

                    int index 0x0000003D hexint

                    //把取得的字符相加 

                    outChars += chars[index]; 

                    //每次循環按位右移5位 

                    hexint hexint >> 5

                } 

                //把字符串存入對應索引的輸出數組 

                resUrl[i] = outChars

            } 

   

            return resUrl

        } 

?> 

   

高進制數字轉換,使用六十二進制將十進制數字變"短"。(作者自稱很高效,但是來源頁www.zoeey.com/cnphpdocs/short.url.radix.convert.html 打不開)

例如數據庫中第 56800235583 條信息,對應的短網址后綴可以是 ZZZZZZ 。

下面是存儲示例:

   

<?php 

//id 自增序列/自增編號 

//url 目標鏈接 

//*suffix* 短網址后綴 (並不需要存儲在數據庫內) 

+------------+-----------------------+---------+ 

|id          url                   | *suffix*| 

+------------+-----------------------+---------+ 

|123456      http://zoeey.com/     | w7e     | 

+------------+-----------------------+---------+ 

|123457      http://www.zoeey.com/ | w7f     | 

+------------+-----------------------+---------+ 

|56800235582 http://zoeey.org/     | ZZZZZY  | 

+------------+-----------------------+---------+ 

|56800235583 http://www.zoeey.org/ | ZZZZZZ  | 

+------------+-----------------------+---------+ 

?> 

短網址使用流程:

  • 提交網址存儲后獲取其編號 如:123456
  • 用dec2Any將編號轉換為62進制,並拼接網址 如:http://go.to/w7e
  • 用戶訪問到 http://go.to/w7e 時,提取短網址后綴 w7e
  • 用any2Dec將短網址后綴轉換為10進制,得到鏈接編號 如:123456
  • 使用編號查詢鏈接,並進行跳轉[/list]

   

下面是進制轉換所需要的源碼:

<?php 

/* 

* MoXie (SysTem128@GMail.Com) 2010-6-30 17:53:57 

*  

* Copyright &copy; 2008-2010 Zoeey.Org . All rights are reserved. 

* Code license: Apache License  Version 2.0 

http://www.apache.org/licenses/LICENSE-2.0.txt 

*/ 

error_reporting(E_ALL); 

   

/** 

* 返回一字符串,十進制 number 以 radix 進制的表示。 

* @param dec       需要轉換的數字 

* @param toRadix    輸出進制。當不在轉換范圍內時,此參數會被設定為 2,以便及時發現。 

* @return    指定輸出進制的數字 

*/ 

function dec2Any($dec$toRadix) { 

    $MIN_RADIX 2

    $MAX_RADIX 62

    $num62 '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'

    if ($toRadix $MIN_RADIX || $toRadix $MAX_RADIX) { 

        $toRadix 2

    } 

    if ($toRadix == 10) { 

        return $dec

    } 

    // -Long.MIN_VALUE 轉換為 2 進制時長度為65 

    $buf = array(); 

    $charPos 64

    $isNegative $dec 0//(bccomp($dec, 0) < 0); 

    if (!$isNegative) { 

        $dec = -$dec// bcsub(0, $dec); 

    

   

    while (bccomp($dec, -$toRadix) <= 0) { 

        $buf[$charPos--] = $num62[-bcmod($dec$toRadix)]; 

        $dec bcdiv($dec$toRadix); 

    } 

    $buf[$charPos] = $num62[-$dec]; 

    if ($isNegative) { 

        $buf[--$charPos] = '-'

    } 

    $_any ''

    for ($i $charPos$i 65$i++) { 

        $_any .= $buf[$i]; 

    } 

    return $_any

   

/** 

* 返回一字符串,包含 number 以 10 進制的表示。<br /> 

* fromBase 只能在 2 和 62 之間(包括 2 和 62)。 

* @param number    輸入數字 

* @param fromRadix    輸入進制 

* @return  十進制數字 

*/ 

function any2Dec($number$fromRadix) { 

    $num62 '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'

    $dec 0

    $digitValue 0

    $len strlen($number) - 1

    for ($t 0$t <= $len$t++) { 

        $digitValue strpos($num62$number[$t]); 

        $dec bcadd(bcmul($dec$fromRadix), $digitValue); 

    } 

    return $dec

   

$sol '<br />' PHP_EOL

echo dec2Any('56800235583'62), $sol// ZZZZZZ 

echo any2Dec('ZZZZZZ'62), $sol// 56800235583 

echo dec2Any('123456'62), $sol// w7e 

echo any2Dec('w7e'62), $sol// 123456 

?>

另外,介紹一下goo.gl接口api的應用.

據說此算法是各種短網址服務中 "......(這是)互聯網上最穩定、最安全、最快速的短網址服務。"(google聲稱)

   

有人做了比較,證明確實如此。

   

除了速度快,goo.gl還提供詳細的點擊統計。比如,Yahoo首頁的短網址是http://goo.gl/QuXj,那么它的統計數據就在http://goo.gl/info/QuXj。加上后綴".qr",還能得到這個網址的二維條形碼,Yahoo的就是http://goo.gl/QuXj.qr

   

詳細信息可從這查看:http://code.google.com/apis/urlshortener/overview.html

   

下面是http://www.biaodianfu.com/php-google-urlshortener-api.html弄的一個簡單的PHP調用API生成短網址方法,分享給大家

在使用前,請先到這里申請API Key:http://code.google.com/apis/console/

短網址的生成需要使用POST提交數據,所以使用了curl,短網址的還原可以直接使用file_get_contents()函數。不過為了統一,也使用了curl來處理哈。

<?php 

// 生成 

function shortenGoogleUrl($long_url){ 

 $apiKey 'API-KEY'//Get API key from : http://code.google.com/apis/console/ 

 $postData = array('longUrl' => $long_url'key' => $apiKey); 

 $jsonData json_encode($postData); 

 $curlObj curl_init(); 

 curl_setopt($curlObjCURLOPT_URL'https://www.googleapis.com/urlshortener/v1/url'); 

 curl_setopt($curlObjCURLOPT_RETURNTRANSFER1); 

 curl_setopt($curlObjCURLOPT_SSL_VERIFYPEER0); 

 curl_setopt($curlObjCURLOPT_HEADER0); 

 curl_setopt($curlObjCURLOPT_HTTPHEADER, array('Content-type:application/json')); 

 curl_setopt($curlObjCURLOPT_POST1); 

 curl_setopt($curlObjCURLOPT_POSTFIELDS$jsonData); 

 $response curl_exec($curlObj); 

 curl_close($curlObj); 

 $json json_decode($response); 

 return $json->id

   

//還原 

function expandGoogleUrl($short_url){ 

 $curlObj curl_init(); 

 curl_setopt($curlObjCURLOPT_URL'https://www.googleapis.com/urlshortener/v1/url?shortUrl='.$short_url); 

 curl_setopt($curlObjCURLOPT_HEADER0); 

 curl_setopt($curlObjCURLOPT_RETURNTRANSFER1); 

 curl_setopt($curlObjCURLOPT_SSL_VERIFYPEER0); 

 $response curl_exec($curlObj); 

 curl_close($curlObj); 

 $json json_decode($response); 

 return $json->longUrl

?> 

在此處有個生成器,但是無代碼奉獻.點擊此處


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM