這短短幾行代碼價值一萬

　　先說一下發生的事情吧。

　　去年某時，一位朋友找到我，說他面臨一個很嚴重的問題，如果此問題解決不了，他們的產品就不能被用戶所接受，說白了就是白做了，拿不到錢。

　　他們給用戶開發一套軟件，但是用戶通過文本導入數據過程中，軟件直接假死，通過檢查，用戶導入數據大概有50萬條之多，平時做測試時，他們通過文本導入數據大概在1萬條左右，沒想到數據量從1萬增加到50萬，程序竟然會假死。此問題如果不能很好解決，估計用戶是不會買賬了。

　　通過分析，他所要做的事情大致可以縮減如下：

　　　　1.總共10萬個電話號碼；

　　　　2.電話號碼中有重復和錯誤；

　　　　3.查找出正確的號碼（不重復）。

　　問題經過精簡之后，我看着似曾相似，當然估計有些讀者應該知道怎么做了。

 

　　我先說一下朋友的做法，大致如下（精簡，剔除不必要的成份）：

　　　　1.先用正則過濾一遍10萬條數據，找出錯誤的；

　　　　2.用List.Contains驗證重復數據，List.Add添加不重復數據；

　　　　3.最終從List中取出正確的數據。

　　當然朋友將List換成Hash是做了一些效率上的提升，但是不明顯。

 

　　聽他把事情講清楚后，看着他滿面愁容，能理解他的心情，我以前私接項目，也懂得一個道理：要么不做，要么就做好；半途而廢，耗時耗力耗財。而且一個人到了這種狀態，成與不成的命運竟然跟一個小小的常備功能息息相關，而自己又做不出這個功能，眼看自己耗費那么多的精力、心血、時間在上面的一個產品，就要變成廢品，就像是親手養育的孩子要被無情扼殺，那種心情可想而知。

　　萬事開頭難，闖過這一關，之后道路就相對平坦了，任誰都不想在起步的道路中被阻礙，這個世界上沒有那么多打不到、壓不扁、錘不爛的剛豆豆型人物，一旦信心被磨滅，就再也走不遠了。

　　我只是勸他別着急，然后給他做了兩段測試代碼，他看完后像抓到了救命稻草一般，都把我這個大活人給漠視了，倉皇離席。

　　我的做法大致如下（精簡）：

　　　　1.先對10萬數據排序

　　　　2.對比前后兩條數據（這個我之后會詳細說明為什么這么做）

　　　　3.篩選出正確數據

　　這么改動之后，朋友的一個假死功能，瞬間生龍活虎，在數秒就能處理好50萬的數據樣本。

 　  作為報酬，朋友事后往我賬戶里打入一萬，這也是我們聊天時他半開玩笑的一個承諾，也就區區幾行代碼，這幾行代碼確實值錢了。按照他原想，是要拿出三至五萬找人來優化代碼的。

 

　　說道這里 ，貌似部分讀者還是摸不着頭腦。那么我就上測試代碼以及測試結果。也許用實驗證明遠比語言要來的簡單和真實。

以下是我寫的一段Java測試代碼：

public class appMain {
    final static int _capacity = 1000000;
    final static Random rand = new Random(System.currentTimeMillis() + _capacity);
    static ArrayList<String> list = new ArrayList<String>(_capacity);
    static ArrayList<String> newlist = new ArrayList<String>(_capacity);

    public static void main(String[] args) throws InterruptedException {
        long ts = System.currentTimeMillis();
        int modVal = _capacity / 3;
        for (int i = 0; i < _capacity; i++) {
            rand.setSeed(i);
            list.add(Integer.toString(Math.abs(rand.nextInt() % modVal)));
        }
        ts = System.currentTimeMillis() - ts;
        System.out.println("生成時間 ：" + ts);

        test1();
        test2();
    }

    static void test1() {
        newlist.clear();
        int repetition = 0;
        long ts = System.currentTimeMillis();
        for (String s : list) {
            if (!newlist.contains(s))
                newlist.add(s);
            else {
                repetition++;
            }
        }
        ts = System.currentTimeMillis() - ts;
        System.out.println("------ 插入檢查方法 -------");
        System.out.println("查找時間 ：" + ts);
        System.out.println("重復 ：" + repetition);
        System.out.println("正確 ：" + newlist.size());
    }

    static void test2() {
        newlist.clear();
        int repetition = 0;
        long ts = System.currentTimeMillis();

        Collections.sort(list);
        String str = list.get(0);
        int max = list.size();
        for (int i = 1; i < max; i++) {
            if (str.equals(list.get(i))) {
                repetition++;
                continue;
            }
            newlist.add(str);
            str = list.get(i);
        }
        newlist.add(str);

        ts = System.currentTimeMillis() - ts;
        System.out.println("------ 排序檢查方法 -------");
        System.out.println("查找時間 ：" + ts);
        System.out.println("重復 ：" + repetition);
        System.out.println("正確 ：" + newlist.size());
    }
}

 

test1()，是我朋友使用的方式，test2()是我提供朋友的方式，運行結果出乎意料。

/*
條件：capacity = 100000
 結果：
 生成時間 ：33
------ 插入檢查方法 -------
查找時間 ：6612
重復 ：76871
正確 ：23129
------ 排序檢查方法 -------
查找時間 ：91
重復 ：76871
正確 ：23129
*/
/*
條件：capacity = 1000000
 結果：
生成時間 ：392
------ 插入檢查方法 -------
查找時間 ：1033818
重復 ：703036
正確 ：296964
------ 排序檢查方法 -------
查找時間 ：1367
重復 ：703036
正確 ：296964
*/

 

當數據量達到10萬條的時候，查找時間比差不多90倍的差距了；當數據量達到100萬時，我這邊測試數據已經卡死在test1()，而test2()依然能在數十秒內反饋結果。

先來說一下我這些代碼：

        Collections.sort(list);
        String str = list.get(0);
        int max = list.size();
        for (int i = 1; i < max; i++) {
            if (str.equals(list.get(i))) {
                repetition++;
                continue;
            }
            newlist.add(str);
            str = list.get(i);
        }

 

Line 1:排序，加入list排序后的結果是[1,2,2,3,3,3,4,4,4,4,5,5,5,5,5]

Line 2:初始str = 1;

從Line 4開始進入循環：

Line 5:判斷str是否和當先selector值相等（暫借我們認為list.get(i)是一個指針），如果相等則跳過以下步驟進入下一個循環

Line 9:將str = 1，加入newlist尾

Line10:將當前selector值賦給str，此時str=2，進入下一個循環

...

這種語言解釋我個人覺得特別麻煩，我還是寫段代碼讓程序告訴你它怎么執行的。

public class appList {
    static ArrayList<String> list = new ArrayList<String>();
    static ArrayList<String> newlist = new ArrayList<String>();

    public static void main(String[] args) {
        for (int i = 1; i < 5 + 1; i++) {
            for (int j = 0; j < i; j++) {
                list.add(Integer.toString(i));
            }
        }
        System.out.println("list初始值 " + list.toString());
        // print輸出值 [1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5, 5, 5, 5, 5]

        String str = list.get(0);
        int max = list.size();
        for (int i = 1; i < max; i++) {
            Print(i);
            if (str.equals(list.get(i))) {
                PrintNew();
                continue;
            }
            newlist.add(str);
            System.out.println("add\t" + str);
            str = list.get(i);
            PrintNew();
        }
        
        newlist.add(str);
        System.out.println("add\t" + str);
        PrintNew();
        
        System.out.println("newlist值 " + newlist.toString());
        // print輸出值 [1, 2, 3, 4, 5]
    }

    static void PrintNew(){
        StringBuilder stringBuilder = new StringBuilder();
        stringBuilder.append("newlist\t");
        for (int i = 0; i < newlist.size(); i++) {
            stringBuilder.append(newlist.get(i));
            stringBuilder.append(",");
        }
        System.out.println(stringBuilder.toString());
        System.out.println();
    }
    static void Print(int pos) {
        StringBuilder stringBuilder = new StringBuilder();
        stringBuilder.append("list\t");
        for (int i = 0; i < list.size(); i++) {
            if (i == pos) {
                stringBuilder.append("[");
                stringBuilder.append(list.get(i));
                stringBuilder.append("],");
            } else {
                stringBuilder.append(list.get(i));
                stringBuilder.append(",");
            }
        }
        System.out.println(stringBuilder.toString());
    }

 

以上代碼執行結果：

 

list初始值 [1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5, 5, 5, 5, 5]
list       1,[2],2,3,3,3,4,4,4,4,5,5,5,5,5,
add    1
newlist    1,

list       1,2,[2],3,3,3,4,4,4,4,5,5,5,5,5,
newlist    1,

list       1,2,2,[3],3,3,4,4,4,4,5,5,5,5,5,
add    2
newlist    1,2,

list       1,2,2,3,[3],3,4,4,4,4,5,5,5,5,5,
newlist    1,2,

list       1,2,2,3,3,[3],4,4,4,4,5,5,5,5,5,
newlist    1,2,

list       1,2,2,3,3,3,[4],4,4,4,5,5,5,5,5,
add    3
newlist    1,2,3,

list       1,2,2,3,3,3,4,[4],4,4,5,5,5,5,5,
newlist    1,2,3,

list       1,2,2,3,3,3,4,4,[4],4,5,5,5,5,5,
newlist    1,2,3,

list       1,2,2,3,3,3,4,4,4,[4],5,5,5,5,5,
newlist    1,2,3,

list       1,2,2,3,3,3,4,4,4,4,[5],5,5,5,5,
add    4
newlist    1,2,3,4,

list       1,2,2,3,3,3,4,4,4,4,5,[5],5,5,5,
newlist    1,2,3,4,

list       1,2,2,3,3,3,4,4,4,4,5,5,[5],5,5,
newlist    1,2,3,4,

list       1,2,2,3,3,3,4,4,4,4,5,5,5,[5],5,
newlist    1,2,3,4,

list       1,2,2,3,3,3,4,4,4,4,5,5,5,5,[5],
newlist    1,2,3,4,

add    5
newlist    1,2,3,4,5,

newlist值 [1, 2, 3, 4, 5]