自適應線性元件20世紀50年代末由Widrow和Hoff提出，主要用於線性逼近一個函數式而進行模式聯想以及信號濾波、預測、模型識別和控制等。
線性神經網絡和感知器的區別是，感知器只能輸出兩種可能的值，而線性神經網絡的輸出可以取任意值。線性神經網絡采用Widrow-Hoff學習規則，即LMS（Least Mean Square）算法來調整網絡的權值和偏置。
只能解決線性可分的問題。
與感知器類似，神經元傳輸函數不同。
二、LMS學習算法
Widrow和Hoff在1960年提出自適應濾波LMS算法，也稱為Δ規則（Delta Rule）。LMS算法只能訓練單層網絡，
定義某次迭代時的信號為 e(n)=d(n)-xT(n)w(n)
其中n表示迭代次數，d表示期望輸出。這里采用均方誤差作為評價指標：
Q是輸入訓練樣本的個數。線性神經網絡學習的目標是找到適當的w，使得均方差mse最小。mse對w求偏導，令偏導等於0求得mse極值，因為mse 必為正，二次函數凹向上，求得的極值必為極小值。
實際運算中，為了解決權值w維數過高，給計算帶來困難，往往調節權值，使mse從空間中的某一點開始，沿着斜面向下滑行，最終達到最小值。滑行的方向使該店最陡下降的方向，即負梯度方向。
實際計算中，代價函數常定義為
推導，梯度下降法。（推導有些復雜，可查閱書籍文獻）
LMS算法步驟：與上節感知器類似。
（1）定義參數和變量。
（2）初始化
（3）輸入樣本，計算實際輸出和誤差。
（4）調整權值向量
（5）判斷是否收斂
學習率的選擇：
1996年Hayjin證明，只要學習率η滿足 
LMS算法就是按方差收斂的。
其中，λmax是輸入向量x（n）組成的自相關矩陣R的最大特征值。往往使用R的跡（trace）來代替。矩陣的跡是矩陣主對角線元素之和。
可改寫成 0<η<2/向量均方值之和。
學習率逐漸下降：
學習初期，用比較大的學習率保證收斂速度，隨着迭代次數增加，減小學習率保證精度，確保收斂。
五、線性神經網絡相關函數
newlind--設計一個線性層
net=newlind(P,T,Pi)
相當於生成了神經網絡和訓練了神經網絡，不用再訓練。
newlin--構造一個線性層
相當於生成神經網絡，再更高的版本中廢棄，推薦使用的新函數是linearlayer.
minmax（P） 求最大最小值。
maxlinlr（P）求最大學習率。見上節。
之后再用train訓練。
purelin--線性傳輸函數。 輸出等於輸入。
learnwh--LMS學習函數