shazam音樂檢索算法 附完整c代碼


在講算法之前,上一些前人的資料。

http://coding-geek.com/how-shazam-works/

https://laplacian.wordpress.com/2009/01/10/how-shazam-works/

http://royvanrijn.com/blog/2010/06/creating-shazam-in-java/

當然歷史也有點久遠了,如果你有心去百度一下 shazam 算法,

你會發現這類的博客也是不少的。

當然這顯得我現在寫這個,好像有點多余。

這里我就快速過一下算法的思路。

假設你有一首歌,換句話說,你有一堆數據。

你可以通過各種各樣的方式,對它的內容進行抽象表達。

舉個例子,對音樂而言,就是歌名,類型,時長等等。

對於一本書而言就是目錄,標題,價位之類的屬性。

但是有時候我們會忘記具體內容,

只知道大概的印象,這個時候想要找到對應的那個東西就比較困難了。

舉個例子,Beyond 樂隊的《喜歡你》這首歌,百度上一堆 問“黑鳳梨” blabla的。。

而音樂檢索算法就是為了提供比較人性化的方式幫忙 搜索音樂。

而shazam 這家公司就是第一個吃螃蟹的"人"。

上面提供的鏈接里都提到了shazam 算法的思路,需要細節了解的可以移步上面的鏈接。

 

shazam 算法分為以下步驟:

1.進行fft變換

2.切分5個頻段,取頻段中比較有代表性的信息,一般為該頻段中強度最大值。

3.將取到的5個點,拼接起來算個字符串hash作為該段音樂的特征

4.以此類推對整個音頻重復1,2,3步驟

最終拿到整個音頻的所有hash信息。

 

后面檢索音頻也就是簡單的建立hash庫,然后撞hash數量,評分。

hash命中越多就認為越相似。

上圖,感受一下,其實我感覺看圖也不是很直觀,哈哈哈哈。

 

整個算法非常簡單,

最核心的點是 切分5個頻段,

用上了時序信息去算哈希。

對於有時序的數據,肯定要用上時序性維度,不然是有失偏頗的。

之余圖片,就要用空間性維度,之余視頻,時間和空間都要有。

這個算法簡單粗暴,也有效。

嚴格意義上講,這個算法的泛化能力有待商榷。

改進的思路和方向也挺多的。

例如:

1.降低精度,下采樣

(之於圖像就是縮小圖片等)

2.還分為5個頻段,但是提取更加具有代表性的特征,

可以采用一些圖像思路,例如模糊之后增強

(之於圖像一般是計算角點等,詳情參考sift)

3.加入更多的時序維度,擴展更多的時序關聯,例如臨近特征關鍵點的差距

(之於圖像,就是采用卷積提取空間特征等)

4.音量歸一化,拉伸音頻的分貝值

(之於圖像就是直方圖拉伸,自動增強,白平衡等)

當然還有很多方法可以進一步拓展,其實核心目標就是控制變量因素。

盡可能的讓數據處在先驗條件的區間內計算。

 

其實說難也不難,說簡單也不簡單。

有另一個音頻檢索算法就是做了控制變量達到更加強大的魯棒性。

他就是,dejavu

算法細節參見:http://willdrevo.com/fingerprinting-and-audio-recognition-with-python/

不過dejavu其中有一個地方的思路,我認為不妥,就是在最后算hash特征的時候采用sha-1算法。

我認為可以直接采用最后算出的值改為int16 直接拼合起來就可以了,可以降低算法的復雜度。

dejavu用到了一些圖像算法,主要就是用於提取更加具有代表性的特征。

具體算法細節這里就不展開了,有興趣的朋友可以去好好學習一下。

當然除了以上提到的兩個算法之外,還有其他的一些實現,不過都是換湯不換葯的節奏。

當然,我本人業余時間在研究自己構思的一個音頻檢索算法,還在開展中,

算法復雜度當然會更高,但是效果和后續檢索准確度會大有提升。

上面提到的shazam和dejavu,本人以純c 原汁原味實現之。

嗯,shazam的算法,開源給大家學習之。

代碼來也:

#include <stdio.h>
#include <stdlib.h>
#include <math.h>
#include <time.h>
#include "fft.h"
//ref:https://raw.githubusercontent.com/cxong/tinydir/master/tinydir.h
#include "tinydir.h"
#include "timing.h"
#define DR_WAV_IMPLEMENTATION
//ref:https://raw.githubusercontent.com/mackron/dr_libs/master/dr_wav.h
#include "dr_wav.h"

int16_t *wavRead_int16(char *filename, uint32_t *sampleRate, uint64_t *totalSampleCount) {
    unsigned int channels;
    int16_t *buffer = drwav_open_and_read_file_s16(filename, &channels, sampleRate, totalSampleCount);
    if (buffer == 0) {
        fprintf(stderr, "ERROR\n");
        exit(1);
    }
    if (channels == 2) {
        int16_t *bufferSave = buffer;
        for (int i = 0; i < *totalSampleCount; i += 2) {
            *bufferSave++ = (int16_t) ((buffer[i] + buffer[i + 1]) >> 1);
        }
        *totalSampleCount = *totalSampleCount >> 1;
    }
    return buffer;
}


unsigned long hash(unsigned char *str) {
    unsigned long hash = 5381;
    int c;
    while (c = *str++)
        hash = ((hash << 5) + hash) + c;
    return hash;
}

int generateHashes(char *input_file, int **hashtable, int songid, size_t N, int freqbandWidth, int maxElems) {
    printf("reading %s \n", input_file);
    uint32_t sampleRate = 0;
    uint64_t samplesize = 0;
    int16_t *pcmdata = wavRead_int16(input_file, &sampleRate, &samplesize);
    float *inputBuffer = (float *) calloc(sizeof(float), N);
    fft_complex *outBuffer = (fft_complex *) calloc(sizeof(fft_complex), N);
    int sect = 0;
    int cnt = 0;
    int numHashes = 0;
    for (int i = 0; i < samplesize; i++) {
        if (sect < N) {
            inputBuffer[sect] = (float) pcmdata[i];
            sect++;
        } else {
            sect = 0;
            i -= 1;
            cnt++;
            fft_plan plan = fft_plan_dft_r2c_1d(N, inputBuffer, outBuffer, 0);
            fft_execute(plan);
            fft_destroy_plan(plan);
            int freq1 = 0, freq2 = 0, freq3 = 0, freq4 = 0, freq5 = 0;
            int pt1 = 0, pt2 = 0, pt3 = 0, pt4 = 0, pt5 = 0;
            int freqbandWidth2 = freqbandWidth * 2;
            int freqbandWidth3 = freqbandWidth * 3;
            int freqbandWidth4 = freqbandWidth * 4;
            int freqbandWidth5 = freqbandWidth * 5;
            int freqbandWidth6 = freqbandWidth * 6;
            for (int k = freqbandWidth; k < freqbandWidth6; k++) {
                int freq = (outBuffer[k].real > 0) ? (int) outBuffer[k].real : (int) (0 - outBuffer[k].real);
                int Magnitude = (int) (log10f((freq + 1)) * 1000);
                if (k >= freqbandWidth && k < freqbandWidth2 && Magnitude > freq1) {
                    freq1 = Magnitude;
                    pt1 = k;
                } else if (k >= freqbandWidth2 && k < freqbandWidth3 && Magnitude > freq2) {
                    freq2 = Magnitude;
                    pt2 = k;
                } else if (k >= freqbandWidth3 && k < freqbandWidth4 && Magnitude > freq3) {
                    freq3 = Magnitude;
                    pt3 = k;
                } else if (k >= freqbandWidth4 && k < freqbandWidth5 && Magnitude > freq4) {
                    freq4 = Magnitude;
                    pt4 = k;
                } else if (k >= freqbandWidth5 && k < freqbandWidth6 && Magnitude > freq5) {
                    freq5 = Magnitude;
                    pt5 = k;
                }
            }
            char buffer[50];
            sprintf(buffer, "%d%d%d%d%d", pt1, pt2, pt3, pt4, pt5);
            unsigned long hashresult = hash(buffer) % maxElems;
            int key = (int) hashresult;
            if (key < 0)
                printf("Invalid key %d\n", key);
            hashtable[key][songid]++;
            numHashes++;
        }
    }
    free(pcmdata);
    free(inputBuffer);
    free(outBuffer);
    return numHashes;
}


int main(int argc, char *argv[]) {
    printf("Audio Processing\n");
    printf("shazam audio hash\n");
    printf("blog: http://cpuimage.cnblogs.com/\n");
    int N = 512;
    int freqbandWidth = 50;
    int maxSongs = 10;
    size_t maxElems = 200000;
    int **hashTable;
    int i = 0, n = 0;
    float count = 0;
    int numsongs = 0;
    char filenames[maxSongs + 1][_TINYDIR_FILENAME_MAX];
    int filesizes[maxSongs + 1];
    int songScores[maxSongs + 1];
    float songMatch[maxSongs + 1];
    printf("running... \n");
    if (argc < 2) {
        printf("no excerpt file to open \n");
        exit(1);
    }
    double start_total = now();
    hashTable = (int **) calloc(maxElems, sizeof(int *));
    for (i = 0; i < maxElems; i++)
        hashTable[i] = (int *) calloc(maxSongs + 1, sizeof(int));
    printf("Generating hashes for original files.. \n");
    tinydir_dir dir;
    tinydir_open(&dir, "data");
    while (dir.has_next) {
        tinydir_file file;
        tinydir_readfile(&dir, &file);
        if (file.is_reg) {
            numsongs++;
            double startTime = now();
            filesizes[numsongs] = generateHashes(file.path, hashTable, numsongs, N, freqbandWidth, maxElems);
            size_t time_interval = (size_t) (calcElapsed(startTime, now()) * 1000);
            songScores[numsongs] = 0;
            printf("%d:%d hashes for %s\n", numsongs, filesizes[numsongs], file.path);
            printf("Time taken: %d seconds %d milliseconds\n", time_interval / 1000, time_interval % 1000);
            strcpy(filenames[numsongs], file.name);
        }
        tinydir_next(&dir);
    }
    tinydir_close(&dir);
    printf("Generating hashes for recorded file.. \n");
    generateHashes(argv[1], hashTable, 0, N, freqbandWidth, maxElems);
    printf("Calculating score.. \n");
    for (i = 0; i < maxElems; i++) {
        if (hashTable[i][0] > 0) {
            for (n = 1; n <= maxSongs; n++) {
                if (hashTable[i][n] >= hashTable[i][0])
                    songScores[n] = songScores[n] + hashTable[i][0];
                else
                    songScores[n] = songScores[n] + hashTable[i][n];;
            }
        }
    }
    for (i = 1; i <= numsongs; i++) {
        songMatch[i] = ((float) songScores[i]) / ((float) filesizes[i]);
        printf("Score for %s = %f\n", filenames[i], songMatch[i]);
        if (songMatch[i] > count) {
            count = songMatch[i];
            n = i;
        }
    }
    printf("Best Score: %s\n", filenames[n]);
    for (i = 0; i < maxElems; i++)
        free(hashTable[i]);
    free(hashTable);
    size_t msec = (size_t) (calcElapsed(start_total, now()) * 1000);
    printf("Total time taken: %d seconds %d milliseconds\n", msec / 1000, msec % 1000);

    return 0;
}

項目地址:

https://github.com/cpuimage/shazam

稍微說明一下:

在對應文件下建一個“data”的文件夾,存放需要進行計算hash備檔的音頻文件。

然后 直接傳一個文件名過去,先計算"data"下所有文件的hash,然后計算傳的目標文件的hash。

計算hash碰撞,輸出相似度得分。

 

例如:

shazam_demo.exe 有沒有.wav

輸出:

running...

Generating hashes for original files..

reading data/馮心怡 - 曖昧(Cover 薛之謙).wav

1:4881 hashes for data/馮心怡 - 曖昧(Cover 薛之謙).wav

Time taken: 0 seconds 268 milliseconds

reading data/薛之謙 - 別.wav

2:3370 hashes for data/薛之謙 - 別.wav

Time taken: 0 seconds 186 milliseconds

reading data/薛之謙 - 曖昧.wav

3:4879 hashes for data/薛之謙 - 曖昧.wav

Time taken: 0 seconds 271 milliseconds

reading data/薛之謙 - 有沒有.wav

4:3938 hashes for data/薛之謙 - 有沒有.wav

Time taken: 0 seconds 214 milliseconds

reading data/趙大雄 - 有沒有(Cover 薛之謙).wav

5:3937 hashes for data/趙大雄 - 有沒有(Cover 薛之謙).wav

Time taken: 0 seconds 215 milliseconds

Generating hashes for recorded file..

reading 有沒有.wav

Calculating score..

Score for 馮心怡 - 曖昧(Cover 薛之謙).wav = 0.028478

Score for 薛之謙 - 別.wav = 0.025519

Score for 薛之謙 - 曖昧.wav = 0.026645

Score for 薛之謙 - 有沒有.wav = 1.000000

Score for 趙大雄 - 有沒有(Cover 薛之謙).wav = 0.036830

Best Score: 薛之謙 - 有沒有.wav

Total time taken: 1 seconds 413 milliseconds

 

這個工程只是用來練手學習思路,現在它的使命已經結束。

偷偷說一句,掃頭像,有打賞,就有猛料。

以上,權當拋磚引玉。

獨樂樂,不如眾樂樂。

若有其他相關問題或者需求也可以郵件聯系俺探討。

郵箱地址是: 
gaozhihan@vip.qq.com 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM