python—sift特征提取

一、SIFT提出的目的和意義

二、SIFT的特征簡介

三、SIFT算法實現步驟簡述

四、圖像集

五、匹配地理標記圖像

 

• 代碼
• 結果截圖
• 小結 

 

六、SIFT算法代碼實現

• 代碼
• 結果截圖
• 小結 

七、圖像全景拼接RANSAC

八、SIFT實驗總結

九、實驗遇到的問題

 

一、SIFT提出的目的和意義

1999年David G.Lowe教授總結了基於特征不變技術的檢測方法，在圖像尺度空間基礎上，提出了對圖像縮放、旋轉保持不變性的圖像局部特征描述算子－SIFT（尺度不變特征變換），該算法在2004年被加以完善。

 

二、SIFT的特征簡介

SIFT算法可以解決的問題

1.  目標的旋轉、縮放、平移（RST）
2. 圖像仿射/投影變換（視點viewpoint）
3. 弱光照影響（illumination）
4. 部分目標遮擋（occlusion）
5. 雜物場景（clutter）
6. 噪聲

 

 三、SIFT算法實現步驟簡述

SIFT算法的實質可以歸為在不同尺度空間上查找特征點（關鍵點）的問題。 SIFT算法實現特征匹配主要有三個流程，1、提取關鍵點；2、對關鍵點附加 詳細的信息（局部特征），即描述符；3、通過特征點（附帶上特征向量的關 鍵點）的兩兩比較找出相互匹配的若干對特征點，建立景物間的對應關系。

 

                                                                         圖1

需要配置vfleat安裝包

使用開源工具包 VLFeat 提供的二進制文件來計算圖像的 SIFT特征 。這里附上VLFeat 工具包鏈接http://www.vlfeat.org/ 
操作步驟：
1.把vlfeat文件夾下win64中的sift.exe和vl.dll這兩個文件復制到項目的文件夾中

2.修改PCV文件夾內的(我的PCV位置為D:\Anaconda2\Lib\site-packages\PCV))文件夾里面的localdescriptors文件夾中的sift.py文件，用記事本打開，修改其中的cmmd內的路徑cmmd=str(r"D:\new\sift.exe“+imagename+” --output="+resultname+" "+params) （路徑是你項目文件夾中的sift.exe的路徑）一定要在括號里加上r。

 

 

 

四、圖像集

一共19 張圖像

                                                                                                                     圖2

 

五、匹配地理標記圖像        

 1、做此實驗我們需用pydot工具包中的GraphViz，可以點擊https://graphviz.gitlab.io/_pages/Download/Download_windows.html下載安裝包，安裝步驟如下：

      配置環境: 保存graphviz安裝時，一定要記住保存路徑，方便找到你的安裝包安裝中的gvedit.exe的位置，我的是C:\Program Files (x86)\Graphviz2.38\bin

把gvedit.exe發送到桌面快捷方式，然后去系統里點擊高級系統設置->點擊環境變量->點擊系統變量的path選擇編輯->輸入C:\Program Files (x86)\Graphviz2.38\bin，之后就確定保存。

 

 接下來是驗證環境配置是否成功，輸入dot -version命令，成功如下：

然后依次執行以下命令：

pip install graphviz

pip install pydot

 

成功如下：

 d

 2、實驗代碼：

# -*- coding: utf-8 -*-
from pylab import *
from PIL import Image
from PCV.localdescriptors import sift
from PCV.tools import imtools
import pydot
 
""" This is the example graph illustration of matching images from Figure 2-10.
To download the images, see ch2_download_panoramio.py."""
 
#download_path = "panoimages"  # set this to the path where you downloaded the panoramio images
#path = "/FULLPATH/panoimages/"  # path to save thumbnails (pydot needs the full system path)
 
#download_path = "F:\\dropbox\\Dropbox\\translation\\pcv-notebook\\data\\panoimages"  # set this to the path where you downloaded the panoramio images
#path = "F:\\dropbox\\Dropbox\\translation\\pcv-notebook\\data\\panoimages\\"  # path to save thumbnails (pydot needs the full system path)
download_path = "D:/new"
path = "D:/new"
# list of downloaded filenames
imlist = imtools.get_imlist(download_path)
nbr_images = len(imlist)
 
# extract features
featlist = [imname[:-3] + 'sift' for imname in imlist]
for i, imname in enumerate(imlist):
    sift.process_image(imname, featlist[i])
 
matchscores = zeros((nbr_images, nbr_images))
 
for i in range(nbr_images):
    for j in range(i, nbr_images):  # only compute upper triangle
        print 'comparing ', imlist[i], imlist[j]
        l1, d1 = sift.read_features_from_file(featlist[i])
        l2, d2 = sift.read_features_from_file(featlist[j])
        matches = sift.match_twosided(d1, d2)
        nbr_matches = sum(matches > 0)
        print 'number of matches = ', nbr_matches
        matchscores[i, j] = nbr_matches
print "The match scores is: %d", matchscores
 
#np.savetxt(("../data/panoimages/panoramio_matches.txt",matchscores)
 
# copy values
for i in range(nbr_images):
    for j in range(i + 1, nbr_images):  # no need to copy diagonal
        matchscores[j, i] = matchscores[i, j]
 
threshold = 2  # min number of matches needed to create link
 
g = pydot.Dot(graph_type='graph')  # don't want the default directed graph
 
for i in range(nbr_images):
    for j in range(i + 1, nbr_images):
        if matchscores[i, j] > threshold:
            # first image in pair
            im = Image.open(imlist[i])
            im.thumbnail((100, 100))
            filename = path + str(i) + '.png'
            im.save(filename)  # need temporary files of the right size
            g.add_node(pydot.Node(str(i), fontcolor='transparent', shape='rectangle', image=filename))
 
            # second image in pair
            im = Image.open(imlist[j])
            im.thumbnail((100, 100))
            filename = path + str(j) + '.png'
            im.save(filename)  # need temporary files of the right size
            g.add_node(pydot.Node(str(j), fontcolor='transparent', shape='rectangle', image=filename))
 
            g.add_edge(pydot.Edge(str(i), str(j)))
g.write_png('protect2.png')

3、結果截圖：

         

 

 實驗小結：圖像集一共有十九張圖片，運行出來只有十七張圖片，我拍攝的照片范圍過小，只選擇了六個地點拍攝，沒有顯示出來的兩張圖片是跟以上圖片沒有太多相似的特征點的。顯示出來的第一個連線的部分，是在同一個位置拍攝，只是從不同的角度，但是提取出來的特征點匹配度很高，說明了sift算法角度不變性，還有色彩影響不是很大，並且只要有一點特征點匹配度的圖片就會相連起來，第二部分和第三部分依然如此。

                                                                    

六、SIFT算法代碼實現

1、單張圖片的sift特征提取、Harris角點提取、用圓圈表示SIFT特征尺度提取

代碼：

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris

# 添加中文字體支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = 'siftt/24.jpg'
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, '24.sift')
l1, d1 = sift.read_features_from_file('24.sift')

figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圓圈表示SIFT特征尺度',fontproperties=font)

# 檢測harris角點
harrisim = harris.compute_harris_response(im)

subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
axis('off')
title(u'Harris角點',fontproperties=font)

show()

原圖

運行結果：

小結：由圖看出，sift算法檢測出來的特征點比harris角點算法檢測出的角點多。sift算法測出來的特征點大多數都是重合的。

 2、圖像集里的所有圖像的sift特征提取

 代碼：

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris
from PCV.tools.imtools import get_imlist # 導入原書的PCV模塊

# 添加中文字體支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

# 獲取project2_data文件夾下的圖片文件名(包括后綴名)
filelist = get_imlist('siftt/')

for infile in filelist: # 對文件夾下的每張圖片進行如下操作
    print(infile) # 輸出文件名
    
    im = array(Image.open(infile).convert('L'))
    sift.process_image(infile, 'infile.sift')
    l1, d1 = sift.read_features_from_file('infile.sift')
    i=1
    
    figure(i)
    i=i+1
    gray()
    
    subplot(131)
    sift.plot_features(im, l1, circle=False)
    title(u'SIFT特征',fontproperties=font)
    
    subplot(132)
    sift.plot_features(im, l1, circle=True)
    title(u'用圓圈表示SIFT特征尺度',fontproperties=font)
    
    # 檢測harris角點
    harrisim = harris.compute_harris_response(im)
    
    subplot(133)
    filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
    imshow(im)
    plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
    axis('off')
    title(u'Harris角點',fontproperties=font)
    
    show()

 

結果截圖：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3、兩張圖片，計算sift特征匹配結果

代碼：

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from numpy import *
import os

def process_image(imagename, resultname, params="--edge-thresh 10 --peak-thresh 5"):
    """ 處理一幅圖像，然后將結果保存在文件中"""
    if imagename[-3:] != 'pgm':
        #創建一個pgm文件
        im = Image.open(imagename).convert('L')
        im.save('tmp.pgm')
        imagename ='tmp.pgm'
    cmmd = str("sift "+imagename+" --output="+resultname+" "+params)
    os.system(cmmd)
    print 'processed', imagename, 'to', resultname
    
def read_features_from_file(filename):
    """讀取特征屬性值，然后將其以矩陣的形式返回"""
    f = loadtxt(filename)
    return f[:,:4], f[:,4:] #特征位置，描述子
    
def write_featrues_to_file(filename, locs, desc):
    """將特征位置和描述子保存到文件中"""
    savetxt(filename, hstack((locs,desc)))
    
def plot_features(im, locs, circle=False):
    """顯示帶有特征的圖像
       輸入：im（數組圖像），locs（每個特征的行、列、尺度和朝向）"""
       
    def draw_circle(c,r):
        t = arange(0,1.01,.01)*2*pi
        x = r*cos(t) + c[0]
        y = r*sin(t) + c[1]
        plot(x, y, 'b', linewidth=2)
        
    imshow(im)
    if circle:
        for p in locs:
            draw_circle(p[:2], p[2])
    else:
        plot(locs[:,0], locs[:,1], 'ob')
    axis('off')
    
def match(desc1, desc2):
    """對於第一幅圖像中的每個描述子，選取其在第二幅圖像中的匹配
    輸入：desc1(第一幅圖像中的描述子)，desc2(第二幅圖像中的描述子)"""
    desc1 = array([d/linalg.norm(d) for d in desc1])
    desc2 = array([d/linalg.norm(d) for d in desc2])
    dist_ratio = 0.6
    desc1_size = desc1.shape
    matchscores = zeros((desc1_size[0],1),'int')
    desc2t = desc2.T #預先計算矩陣轉置
    for i in range(desc1_size[0]):
        dotprods = dot(desc1[i,:],desc2t) #向量點乘
        dotprods = 0.9999*dotprods
        # 反余弦和反排序，返回第二幅圖像中特征的索引
        indx = argsort(arccos(dotprods))
        #檢查最近鄰的角度是否小於dist_ratio乘以第二近鄰的角度
        if arccos(dotprods)[indx[0]] < dist_ratio * arccos(dotprods)[indx[1]]:
            matchscores[i] = int(indx[0])
    return matchscores
    
def match_twosided(desc1, desc2):
    """雙向對稱版本的match()"""
    matches_12 = match(desc1, desc2)
    matches_21 = match(desc2, desc1)
    ndx_12 = matches_12.nonzero()[0]
    # 去除不對稱的匹配
    for n in ndx_12:
        if matches_21[int(matches_12[n])] != n:
            matches_12[n] = 0
    return matches_12
    
def appendimages(im1, im2):
    """返回將兩幅圖像並排拼接成的一幅新圖像"""
    #選取具有最少行數的圖像，然后填充足夠的空行
    rows1 = im1.shape[0]
    rows2 = im2.shape[0]
    if rows1 < rows2:
        im1 = concatenate((im1, zeros((rows2-rows1,im1.shape[1]))),axis=0)
    elif rows1 >rows2:
        im2 = concatenate((im2, zeros((rows1-rows2,im2.shape[1]))),axis=0)
    return concatenate((im1,im2), axis=1)
    
def plot_matches(im1,im2,locs1,locs2,matchscores,show_below=True):
    """ 顯示一幅帶有連接匹配之間連線的圖片
        輸入：im1, im2(數組圖像), locs1,locs2（特征位置）,matchscores(match()的輸出)，
        show_below（如果圖像應該顯示在匹配的下方）
    """
    im3=appendimages(im1, im2)
    if show_below:
        im3=vstack((im3, im3))
    imshow(im3)
    cols1 = im1.shape[1]
    for i in range(len(matchscores)):
        if matchscores[i]>0:
            plot([locs1[i,0],locs2[matchscores[i,0],0]+cols1], [locs1[i,1],locs2[matchscores[i,0],1]],'c')
    axis('off')
    
im1f = 'siftt/25.jpg'
im2f = 'siftt/26.jpg'

im1 = array(Image.open(im1f))
im2 = array(Image.open(im2f))

process_image(im1f, 'out_sift_1.txt')
l1,d1 = read_features_from_file('out_sift_1.txt')
figure()
gray()
subplot(121)
plot_features(im1, l1, circle=False)

process_image(im2f, 'out_sift_2.txt')
l2,d2 = read_features_from_file('out_sift_2.txt')
subplot(122)
plot_features(im2, l2, circle=False)

matches = match_twosided(d1, d2)
print '{} matches'.format(len(matches.nonzero()[0]))

figure()
gray()
plot_matches(im1, im2, l1, l2, matches, show_below=True)
show()

 

結果截圖：

 

 

 

 

 

 

 小結：用siftt算法提取兩張圖的特征點，然后雙向匹配兩張圖片的描述子，用線將兩幅圖相匹配的描述子相連，連的線越多，說明這兩幅圖的匹配度越高，兩幅圖越相似。

 4、給定一張圖片，輸出匹配度最高的三張圖片

代碼：

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from numpy import *
import os
from PCV.tools.imtools import get_imlist # 導入原書的PCV模塊
import matplotlib.pyplot as plt # plt 用於顯示圖片
import matplotlib.image as mpimg # mpimg 用於讀取圖片

def process_image(imagename, resultname, params="--edge-thresh 10 --peak-thresh 5"):
    """ 處理一幅圖像，然后將結果保存在文件中"""
    if imagename[-3:] != 'pgm':
        #創建一個pgm文件
        im = Image.open(imagename).convert('L')
        im.save('tmp.pgm')
        imagename ='tmp.pgm'
    cmmd = str("sift "+imagename+" --output="+resultname+" "+params)
    os.system(cmmd)
    print 'processed', imagename, 'to', resultname
    
def read_features_from_file(filename):
    """讀取特征屬性值，然后將其以矩陣的形式返回"""
    f = loadtxt(filename)
    return f[:,:4], f[:,4:] #特征位置，描述子
    
def write_featrues_to_file(filename, locs, desc):
    """將特征位置和描述子保存到文件中"""
    savetxt(filename, hstack((locs,desc)))
    
def plot_features(im, locs, circle=False):
    """顯示帶有特征的圖像
       輸入：im（數組圖像），locs（每個特征的行、列、尺度和朝向）"""
       
    def draw_circle(c,r):
        t = arange(0,1.01,.01)*2*pi
        x = r*cos(t) + c[0]
        y = r*sin(t) + c[1]
        plot(x, y, 'b', linewidth=2)
        
    imshow(im)
    if circle:
        for p in locs:
            draw_circle(p[:2], p[2])
    else:
        plot(locs[:,0], locs[:,1], 'ob')
    axis('off')
    
def match(desc1, desc2):
    """對於第一幅圖像中的每個描述子，選取其在第二幅圖像中的匹配
    輸入：desc1(第一幅圖像中的描述子)，desc2(第二幅圖像中的描述子)"""
    desc1 = array([d/linalg.norm(d) for d in desc1])
    desc2 = array([d/linalg.norm(d) for d in desc2])
    dist_ratio = 0.6
    desc1_size = desc1.shape
    matchscores = zeros((desc1_size[0],1),'int')
    desc2t = desc2.T #預先計算矩陣轉置
    for i in range(desc1_size[0]):
        dotprods = dot(desc1[i,:],desc2t) #向量點乘
        dotprods = 0.9999*dotprods
        # 反余弦和反排序，返回第二幅圖像中特征的索引
        indx = argsort(arccos(dotprods))
        #檢查最近鄰的角度是否小於dist_ratio乘以第二近鄰的角度
        if arccos(dotprods)[indx[0]] < dist_ratio * arccos(dotprods)[indx[1]]:
            matchscores[i] = int(indx[0])
    return matchscores
    
def match_twosided(desc1, desc2):
    """雙向對稱版本的match()"""
    matches_12 = match(desc1, desc2)
    matches_21 = match(desc2, desc1)
    ndx_12 = matches_12.nonzero()[0]
    # 去除不對稱的匹配
    for n in ndx_12:
        if matches_21[int(matches_12[n])] != n:
            matches_12[n] = 0
    return matches_12
    
def appendimages(im1, im2):
    """返回將兩幅圖像並排拼接成的一幅新圖像"""
    #選取具有最少行數的圖像，然后填充足夠的空行
    rows1 = im1.shape[0]
    rows2 = im2.shape[0]
    if rows1 < rows2:
        im1 = concatenate((im1, zeros((rows2-rows1,im1.shape[1]))),axis=0)
    elif rows1 >rows2:
        im2 = concatenate((im2, zeros((rows1-rows2,im2.shape[1]))),axis=0)
    return concatenate((im1,im2), axis=1)
    
def plot_matches(im1,im2,locs1,locs2,matchscores,show_below=True):
    """ 顯示一幅帶有連接匹配之間連線的圖片
        輸入：im1, im2(數組圖像), locs1,locs2（特征位置）,matchscores(match()的輸出)，
        show_below（如果圖像應該顯示在匹配的下方）
    """
    im3=appendimages(im1, im2)
    if show_below:
        im3=vstack((im3, im3))
    imshow(im3)
    cols1 = im1.shape[1]
    for i in range(len(matchscores)):
        if matchscores[i]>0:
            plot([locs1[i,0],locs2[matchscores[i,0],0]+cols1], [locs1[i,1],locs2[matchscores[i,0],1]],'c')
    axis('off')
    
# 獲取project2_data文件夾下的圖片文件名(包括后綴名)
filelist = get_imlist('project2_data/')

# 輸入的圖片
im1f = '23.jpg'
im1 = array(Image.open(im1f))
process_image(im1f, 'out_sift_1.txt')
l1, d1 = read_features_from_file('out_sift_1.txt')

i=0
num = [0]*30    #存放匹配值
for infile in filelist: # 對文件夾下的每張圖片進行如下操作
    im2 = array(Image.open(infile))
    process_image(infile, 'out_sift_2.txt')
    l2, d2 = read_features_from_file('out_sift_2.txt')
    matches = match_twosided(d1, d2)
    num[i] = len(matches.nonzero()[0])
    i=i+1
    print '{} matches'.format(num[i-1])  #輸出匹配值
    
i=1
figure()
while i<4: #循環三次，輸出匹配最多的三張圖片
    index=num.index(max(num))
    print index, filelist[index]
    lena = mpimg.imread(filelist[index])  # 讀取當前匹配最大值的圖片
    # 此時 lena 就已經是一個 np.array 了，可以對它進行任意處理
    # lena.shape  # (512, 512, 3)
    subplot(1,3,i)
    plt.imshow(lena)  # 顯示圖片
    plt.axis('off')  # 不顯示坐標軸
    num[index] = 0  #將當前最大值清零
    i=i+1
show()

 

結果截圖：

給定的圖片

 

 

輸出的圖片

 

小結：通過用給定的圖匹配圖像集中的每張圖片的描述子，然后用線與圖像集中的圖片的描述子相連，匹配度最高的圖片就會被輸出。

 七、圖像全景拼接RANSAC

7.1 RANSAC算法原理

OpenCV中濾除誤匹配對采用RANSAC算法尋找一個最佳單應性矩陣H，矩陣大小為3×3。RANSAC目的是找到最優的參數矩陣使得滿足該矩陣的數據點個數最多，通常令h33=1來歸一化矩陣。由於單應性矩陣有8個未知參數，至少需要8個線性方程求解，對應到點位置信息上，一組點對可以列出兩個方程，則至少包含4組匹配點對。

                    

 

 

 RANSAC算法從匹配數據集中隨機抽出4個樣本並保證這4個樣本之間不共線，計算出單應性矩陣，然后利用這個模型測試 

                    

所有數據，並計算滿足這個模型數據點的個數與投影誤差(即代價函數)，若此模型為最優模型，則對應的代價函數最小。

7.2 RANSAC算法步驟 

  1. 隨機從數據集中隨機抽出4個樣本數據 (此4個樣本之間不能共線)，計算出變換矩陣H，記為模型M；

  2. 計算數據集中所有數據與模型M的投影誤差，若誤差小於閾值，加入內點集 I ；

  3. 如果當前內點集 I 元素個數大於最優內點集 I_best , 則更新 I_best = I，同時更新迭代次數k ;

  4. 如果迭代次數大於k,則退出 ; 否則迭代次數加1，並重復上述步驟；

  注：迭代次數k在不大於最大迭代次數的情況下，是在不斷更新而不是固定的；p為置信度，一般取0.995；w為"內點"的比例 ; m為計算模型所需要的最少樣本數=4；

7.3 RANSAC 基本假設

測試的數據都是由"局外點"組成的，建立模型，局外點是不能適應該模型的數據，也就是不合適該模型的局外點就是噪聲。

7.4  RANSAC 局外點產生的原因

A、噪聲的極值

B、錯誤的測量方法

C、對數據的錯誤假設

7.5實驗代碼

 

from pylab import *
from PIL import Image
import warp
import homography
import sift
 
# set paths to data folder
featname = ['D:/new/jia/' + str(i + 1) + '.sift' for i in range(3)]
imname = ['D:/new/jia/' + str(i + 1) + '.jpg' for i in range(3)]
 
# extract features and match
l = {}
d = {}
for i in range(3):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])
 
matches = {}
for i in range(2):
    matches[i] = sift.match(d[i + 1], d[i])
 
# visualize the matches (Figure 3-11 in the book)
for i in range(2):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)
 
 
# function to convert the matches to hom. points
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)
 
    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp
 
 
# estimate the homographies
model = homography.RansacModel()
 
fp,tp = convert_points(1)
H_12 = homography.H_from_ransac(fp,tp,model)[0] #im 1 to 2
 
fp,tp = convert_points(0)
H_01 = homography.H_from_ransac(fp,tp,model)[0] #im 0 to 1
 
 
# warp the images
delta = 1000 # for padding and translation
 
im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12,im1,im2,delta,delta)
 
im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12,H_01),im1,im_12,delta,delta)
 
figure()
imshow(array(im_02, "uint8"))
axis('off')
show()

7.6結果截圖

單一的環境圖片

 

分析：我拍攝的是四張圖片，環境很單一，同一個場景，不同的角度，由結果截圖看出前面一張圖片的拼接點較多，從第二張看出刪除點較為明顯，一看就可以看出來那些點被刪除了，刪除后覺得看到的連線比較清晰，連接的線條變少。

 

 

 

 

分析：這組圖片是同一個地點拍的，環境比較豐富，從不同的角度拍攝，第一張圖片跟第二張的不同點相當的明顯，第一張的連線很多，拼接的效果很成功，連線很多，看出有重復點，覆蓋匹配點，第二張的圖片相似點較少，連線也不多，說明了，相似度高的匹配程度就高，拼接效果也好，相似度低的就相反。

 

 

7.7遇到的問題

因為運行之前沒有導入包，就產生了錯誤，然后我就導入了warp包

 報錯

 Arrays cannot be empty 

矩陣為空，我就重新改了圖像的像素，提取sift特征

然后由報錯

 did not meet fit acceptance criteria 

這是因為圖片的水平落差比較大，我們得再拍一組照片。改了圖片的下高速，圖片的像素都改成一樣，不能太大也不能太小，我改成的是600*600.

 

八、SIFT實驗總結

1、sift算法提取特征點穩定，不會因為光照、旋轉、尺度等因素而改變圖像的特征點。

2、圖像的尺度越大，圖像就會越模糊。

3、sift算法可以對多張圖像進行快速的、准確的關鍵點匹配，產生大量的特征點，可以適用於生活中的很多運用。

4、sift算法提取的特征點會有重疊。

5、在用sift算法提取特征時，應該降低圖片的像素，像素過高會導致運行時間過長或失敗。

 

九、實驗遇到的問題

出現的問題：1、運行代碼時出現這樣的錯誤：

在D:\Anaconda2\Lib\site-packages目錄中找到pydot.py ，用記事本打開，把self.prog = 'dot‘改成self.prog = r'C:\Program Files (x86)\Graphviz2.38\bin\dot.exe'，保存，關掉運行軟件再打開就可以了。

 2、運行代碼出現這樣的結果

 

 我用的項目的路徑，出現以上報錯，把路徑改成了圖片的路徑，圖片的后綴改成.jpg就可以了。

 3、因為圖片像素過高，運行時間會過長，結果一直出不來，還以為是代碼出來了錯誤，但是不報錯，想着可能是照片是自己拍的，像素過高了，就去降低了圖片的像素，運行速率變快，結果就出來了。