生成短鏈接的URL


  假設你想做一個像微博短鏈接那樣的短鏈接服務,短鏈接服務生成的URL都非常短例如: http://t.cn/E70Piib, 我們應該都能想到鏈接中的E70Piib對應的就是存儲長鏈接地址的數據記錄的ID,可是這個有大小寫字母和數字構成的唯一ID是怎么生成的呢,剛學編程的時候我們用的方法都試拼接一個足夠唯一的字符串(比如時間戳加用戶ID等等)然后再用MD5或者SHA1散列算法算出一個散列值,用這種方法得到的唯一ID有可能比原始的鏈接的長度還要長,所以如何來優雅的生成足夠短的字符串唯一ID呢?

我們先來看一個數學問題,普通的數字ID是用十進制來表示的,在十進制中每位都有10種可能(0-9),所以5位的十進制數能呈現最多 10*10*10*10*10=100,000個ID。

現在如果用32進制來表達一個5位數字需要多少位呢?

<?php 
echo base_convert(10000,10,32);//答案是 '90g'

32進制是數字和一些小些字母來組成,所以5位32進制可表達的唯一ID有 32*32*32*32*32=33,554,432個,數量已經很大了。使用32進制也能生成比較短的字符串唯一ID,不過還有更好的解決方案,你也看到了上面短鏈接的唯一ID里還包含大寫字母。接下來我們使用62進制轉換,將一個十進制數字轉化為對應的62進制表示(為什么用62進制?數字加大小寫字母一共是62個)。常用的這幾個編程語言里沒有提供62進制的轉換,所以就需要我們自己寫一個函數來進行10進制到62進制的轉換。

一)

function shorturl($value, $b = 62)
{
    $base = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';
    $r = $value  % $b;
    $result = $base[$r];
    $q = floor($value / $b);
    while ($q)
    {
        $r = $q % $b;
        $q = floor($q / $b);
        $result = $base[$r].$result;
    }
    return $result;
}

二)

function shorturl($input)
{
    $base32 = array (
        'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h','i', 'j', 
        'k', 'l', 'm', 'n', 'o', 'p','q', 'r', 's', 't', 
        'u', 'v', 'w', 'x','y', 'z', '0', '1', '2', '3', 
        '4', '5');
    $hex = md5('prefix' . $input . 'surfix');
    $hexLen = strlen($hex);
    $subHexLen = $hexLen / 8;
    $output = array();
    for ($i = 0; $i < $subHexLen; $i++)
    {
        $subHex = substr($hex, $i * 8, 8);
        $int = 0x3FFFFFFF & (1 * ('0x' . $subHex));
        $out = '';
        for ($j = 0; $j < 6; $j++)
        {
            $val = 0x0000001F & $int;
            $out .= $base32[$val];
            $int = $int >> 5;
        }
        $output = $out;
    }
    return $output;
}

理解了將十進制正整數轉換成62進制的字符串表示形式的原理后,在任何編程語言里都可以很輕松地實現一個轉換函數,下面再提供一個Python版本的 Base62.encode

#!/usr/bin/python
# -*- coding=UTF-8 -*-
from __future__ import print_function, division
BASE62 = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
def encode(num, alphabet=BASE62):
    """Encode a positive number in Base X
    Arguments:
    - `num`: The number to encode
    - `alphabet`: The alphabet to use for encoding
    """
    if num == 0:
        return alphabet[0]
    arr = []
    base = len(alphabet)
    while num:
        num, rem = divmod(num, base)
        arr.append(alphabet[rem])
    arr.reverse()
    return ''.join(arr)

Python函數注解

  • python的divmod函數用第一個參數num除以第二個參數base,並以元組的形式返回商和余數。

  • 因為divmod返回兩個元素構成的元組,在python中元組可以簡寫省略兩邊地括號,所以 num,rem=divmod(num,base)是一個元組賦值表達式,並不是divmod函數返回了兩個返回值。

 

一億用62進制表示出來后的結果是 6LAze , 生成的唯一字符串ID足夠短。短鏈接只是一個應用場景, base62還可以應用到很多需要表示唯一ID的地方,這樣一來你就不用再使用那些哈希算法來生成那么冗長的字符串了,雖然只是節省了一些空間但是這在高訪問量的URL和海量數據的存儲中還是能省下來不少資源的。

 

思考:

  沒有辦法保證轉化的短鏈接字符串的長度(數值越大,字符串越長),在高並發的情況下,無法保證快速分發

 

將生成的連接地址都統一使用6位進行表示

function code62($x){ 
    $show=''; 
    while($x>0){ 
        $s=$x % 62; 
        if ($s>35){ 
              $s=chr($s+61); 
        }elseif($s>9&&$s<=35){ 
              $s=chr($s+55); 
        } 
        $show.=$s; 
        $x=floor($x/62); 
    } 
    return $show; 
} 
function shorturl($url){ 
    $url=crc32($url); 
    $result=sprintf("%u",$url); 
    return code62($result); 
} 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM