回歸分析定義
利用數據統計原理，對大量統計數據進行數學處理，並確定因變量與某些自變量的相關關系，建立一個相關性較好的回歸方程（函數表達式），並加以外推，用於預測今后的因變量的變化的分析方法
回歸分析分類
根據因變量和自變量的個數來分類：一元回歸分析，多元回歸分析
根據因變量和自變量的函數表達式來分類：線性回歸分析，非線性回歸分析
幾點說明
- 通常情況下，線性回歸分析是回歸分析法中最基本的方法，當遇到非線性回歸分析時，可以借助數學手段將其化為線性回歸；因此，主要研究線性回歸問題，一點線性回歸問題得到解決，非線性回歸也就迎刃而解了
- 在社會經濟現象中，很難確定因變量和自變量之間的關系，它們大多是隨機性的，只有通過大量統計觀察才能找出其中的規律。隨機分析是利用統計學原理來描述隨機變量相關關系的一種方法
- 由回歸分析法的定義知道，回歸分析可以簡單的理解為信息分析與預測。信息即統計數據，分析即對信息進行數學處理，預測就是加以外推，也就是適當擴大已有自變量取值范圍，並承認該回歸方程在該擴大的定義域內成立，然后就可以在該定義域上取值進行“未來預測”。當然，還可以對回歸方程進行有效控制
- 相關關系：可以分為確定關系和不確定關系。但是不論是確定關系或者不確定關系，只要有相關關系，都可以選擇一適當的數學關系式，用以說明一個或幾個變量變動時，另一個變量或幾個變量平均變動的情況
回歸分析主要解決的問題
回歸分析主要解決方面的問題
- 確定變量之間是否存在相關關系，若存在，則找出數學表達式
- 根據一個或幾個變量的值，預測或控制另一個或幾個變量的值，且估計這種控制或預測可以達到何種精確度
回歸分析步驟
- 根據自變量與因變量的現有數據以及關系，初步設定回歸方程
- 求出合理的回歸系數
- 進行相關性檢驗，確定相關系數
- 在符合相關性要求后，即可根據已得的回歸方程與具體條件相結合，來確定事物的未來狀況，並計算預測值的置信區間
回歸分析的有效性和注意事項
有效性
- 用回歸分析法進行預測首先要對各個自變量做出預測。若各個自變量可以由人工控制或易於預測，而且回歸方程也較為符合實際，則應用回歸預測是有效的，否則就很難應用
注意事項
- 為使回歸方程較能符合實際，首先應盡可能定性判斷自變量的可能種類和個數，並在觀察事物發展規律的基礎上定性判斷回歸方程的可能類型；其次，力求掌握較充分的高質量統計數據，再運用統計方法，利用數學工具和相關軟件從定量方面計算或改進性判斷
常用概念
實際值
- 實際觀測到的研究對象特征數據值
理論值
- 根據實際值我們可以得到一條傾向線，用數學方法擬合這條曲線，可以得到數學模型，根據這個數學模型計算出來的、與實際值相對應的值，稱為理論值
表示符號
一元線性回歸
一元線性回歸，就是只涉及一個自變量的回歸；自變量和因變量之間的關系是線性關系的回歸；因變量與自變量之間的關系用一條線性方程來表示的回歸
方法步驟
回歸問題分析的方法
- 收集數據
- 建立一個適合相關問題的回歸函數
- 通過學習已有的數據，對函數的未知參數進行估計
- 回歸方程及回歸系數的顯著性檢驗
- 利用這個模型去預測/分類新的數據
回歸分析的原理
目的是為了找出一個最能夠代表所有觀測資料的函數，用這個函數來表示因變量與自變量的關系。回歸的基本模型一般可以表示為：Y=f(X ,u)，其中Y為因變量，X為自變量，u為未知參數
回歸分析方法分類
根據用途可以有多種分類，單變量的線性回歸模型，多變量的線性回歸模型，廣義線性回歸模型，概率單位回歸模型，邏輯回歸模型，曲線回歸模型，嶺回歸模型，主成分回歸模型等