對於一般的回歸問題，給定訓練樣本D={(x1,y1),(x2,y2),...,(xn,yn)},yi€R,我們希望學習到一個f（x）使得，其與y盡可能的接近，w，b是待確定的參數。在這個模型中，只有當發f(x)與y完全相同時，損失才為零，而支持向量回歸假設我們能容忍的f(x)與之間最多有ε的偏差，當且僅當f(x)與y的差別絕對值大於ε時，才計算損失，此時相當於以f(x)為中心，構建一個寬度為2ε的間隔帶，若訓練樣本落入此間隔帶，則認為是被預測正確的。
因此SVR問題可轉化為：
lt 為損失函數
因此引入了松弛因子，從寫第一個式子為：
最后引入拉格朗日乘子，可得拉格朗日函數：
對第四個遍歷求偏導，令偏導數為零，可得
吧上邊的式子帶入，即可求得SVR的對偶問題
上邊的過程需要滿足KKT條件，即
最后，可得SVR的解為
其中b為
