超平面
常見的平面概念是在三維空間中定義的:$Ax+By+Cz+D=0$,
而d維空間中的超平面由下面的方程確定:$w^Tx+b=0$,其中,w與x都是d維列向量$,x=(x_1,x_2,…,x_d) $為平面上的點, $w(w_1,w_,\dots,w_d)$為平面的法向量。$b$是一個實數, 代表平面與原點之間的距離.
點到超平面的距離:
假設點x′為超平面$A:w^Tx+b=0$上的任意一點, 則點$x$到$A$的距離為$x−x'$在超平面法向量$w$上的投影長度:
$$d=\frac{|w^T(x-x')|}{||w||}=\frac{|w^Tx+b|}{||w||}$$
超平面的正面與反面:
一個超平面可以將它所在的空間分為兩半, 它的法向量指向的那一半對應的一面是它的正面, 另一面則是它的反面。
若將距離公式中分子的絕對值去掉, 讓它可以為正為負. 那么, 它的值正得越大, 代表點在平面的正向且與平面的距離越遠. 反之, 它的值負得越大, 代表點在平面的反向且與平面的距離越遠。
法向量的意義
在空間里,向量可以看做是一個點(以原點為起始點的向量),對於分離超平面方程里的向量$x$,就可以看做由坐標原點到超平面任意“點”的向量,法向量的大小是坐標原點到分離超平面的距離,垂直於分離超平面,方向有分離超平面決定。
支持向量機的一些理解
首先如果超平面的形式為:$w_1x_1+w_2x_2+\cdots+w_Nx_N+b=0$,向量化表示為:$w^Tx+b=0$
Notes:
統一超平面的形式:即在$w$,$b$同時擴大或縮小相同倍數后得到不同的超平面形式,但其實代表同一超平面。此時可以通過找到離這條直線最近的點$x_0$,方程兩邊同時除以$w^Tx+b$,注意離超平面最近的點使得$w^Tx+b=1$,其他的點都是$w^Tx+b\geqslant 1$,再利用樣本的標簽+1,−1使得到的超平面方程統一化。此時數據集到求出的超平面的最短距離是$\frac{1}{||w||}$