室內定位系列（三）——位置指紋法的實現（KNN）

位置指紋法中最常用的算法是k最近鄰（kNN）：選取與當前RSS最鄰近的k個指紋的位置估計當前位置，簡單直觀有效。本文介紹kNN用於定位的基本原理與具體實現（matlab、python）。

基本原理

位置指紋法可以看作是分類或回歸問題（特征是RSS向量，標簽是位置），監督式機器學習方法可以從數據中訓練出一個從特征到標簽的映射關系模型。kNN是一種很簡單的監督式機器學習算法，可以用來做分類或回歸。

對於在線RSS向量\(s\)，分別計算它與指紋庫中各個RSS向量{\(s_1, s_2, ..., s_M\)}的距離（比如歐氏距離），選取最近的\(k\)個位置指紋（一個指紋是一個RSS向量與一個位置的對應）。

• 對於knn回歸，標簽是坐標x和坐標y，可以進行數值計算，使用這k個指紋的位置坐標取平均，得到作為定位結果。

• 對於knn分類，將定位區域划分為1m$\times$1m的網格，每個網格是看作一個類別，用網格標號代替，對k個網格標號計數投票，選擇票數做多的網格作為定位結果。

kNN是一種lazy式的學習方法，在上面的過程中不需要使用訓練數據進行“學習”，在定位的時候直接在訓練數據中搜索就可以。一些工具包中的kNN算法的訓練過程中會建立一個kd樹（一種數據結構），有利於在線預測時的搜索。

---

具體實現

Github地址，包括matlab版本和python版本
數據來源說明：http://www.cnblogs.com/rubbninja/p/6118430.html

導入數據

# 導入數據
import numpy as np
import scipy.io as scio
offline_data = scio.loadmat('offline_data_random.mat')
online_data = scio.loadmat('online_data.mat')
offline_location, offline_rss = offline_data['offline_location'], offline_data['offline_rss']
trace, rss = online_data['trace'][0:1000, :], online_data['rss'][0:1000, :]
del offline_data
del online_data

# 定位准確度
def accuracy(predictions, labels):
    return np.mean(np.sqrt(np.sum((predictions - labels)**2, 1)))

knn回歸

# knn回歸
from sklearn import neighbors
knn_reg = neighbors.KNeighborsRegressor(40, weights='uniform', metric='euclidean')
predictions = knn_reg.fit(offline_rss, offline_location).predict(rss)
acc = accuracy(predictions, trace)
print "accuracy: ", acc/100, "m"

accuracy:  2.24421479398 m

knn分類

# knn分類，需要把坐標轉換成網格標號，預測后將網格標號轉換為坐標
labels = np.round(offline_location[:, 0]/100.0) * 100 + np.round(offline_location[:, 1]/100.0)
from sklearn import neighbors
knn_cls = neighbors.KNeighborsClassifier(n_neighbors=40, weights='uniform', metric='euclidean')
predict_labels = knn_cls.fit(offline_rss, labels).predict(rss)
x = np.floor(predict_labels/100.0)
y = predict_labels - x * 100
predictions = np.column_stack((x, y)) * 100
acc = accuracy(predictions, trace)
print "accuracy: ", acc/100, 'm'

accuracy:  2.73213398632 m

定位算法分析

加入數據預處理和交叉驗證

# 預處理，標准化數據(其實RSS數據還算正常，不預處理應該也無所謂，特征選擇什么的也都不需要)
from sklearn.preprocessing import StandardScaler
standard_scaler = StandardScaler().fit(offline_rss)
X_train = standard_scaler.transform(offline_rss)
Y_train = offline_location
X_test = standard_scaler.transform(rss)
Y_test = trace

# 交叉驗證，在knn里用來選擇最優的超參數k
from sklearn.model_selection import GridSearchCV
from sklearn import neighbors
parameters = {'n_neighbors':range(1, 50)}
knn_reg = neighbors.KNeighborsRegressor(weights='uniform', metric='euclidean')
clf = GridSearchCV(knn_reg, parameters)
clf.fit(offline_rss, offline_location)
scores = clf.cv_results_['mean_test_score']
k = np.argmax(scores) #選擇score最大的k

# 繪制超參數k與score的關系曲線
import matplotlib.pyplot as plt
%matplotlib inline
plt.plot(range(1, scores.shape[0] + 1), scores, '-o', linewidth=2.0)
plt.xlabel("k")
plt.ylabel("score")
plt.grid(True)
plt.show()

# 使用最優的k做knn回歸
knn_reg = neighbors.KNeighborsRegressor(n_neighbors=k, weights='uniform', metric='euclidean')
predictions = knn_reg.fit(offline_rss, offline_location).predict(rss)
acc = accuracy(predictions, trace)
print "accuracy: ", acc/100, "m"

accuracy:  2.22455511073 m

# 訓練數據量與accuracy
k = 29
data_num = range(100, 30000, 300)
acc = []
for i in data_num:
    knn_reg = neighbors.KNeighborsRegressor(n_neighbors=k, weights='uniform', metric='euclidean')
    predictions = knn_reg.fit(offline_rss[:i, :], offline_location[:i, :]).predict(rss)
    acc.append(accuracy(predictions, trace) / 100)

# 繪制訓練數據量與accuracy的曲線
import matplotlib.pyplot as plt
%matplotlib inline
plt.plot(data_num, acc, '-o', linewidth=2.0)
plt.xlabel("data number")
plt.ylabel("accuracy (m)")
plt.grid(True)
plt.show()

作者：[rubbninja](http://www.cnblogs.com/rubbninja/) 出處：[http://www.cnblogs.com/rubbninja/](http://www.cnblogs.com/rubbninja/) 關於作者：目前主要研究領域為機器學習與無線定位技術，歡迎討論與指正！ 版權聲明：本文版權歸作者和博客園共有，轉載請注明出處。