定義：學習系統能不斷從新樣本中學習新的知識，並能保存大部分之前已經學習到的知識。
增量學習的重要性主要體現在以下兩個方面：
（1）在實際的感知數據中，數據量往往是逐漸增加的，因此，在面臨新的數據時，學習方法應能對訓練好的系統進行某些改的，以對新數據中蘊含的知識進行學習。
（2）對一個訓練好的系統進行修改的時間代價通常低於重新訓練一個系統所需的代價。
增量學習思想可以描述為：每當新增數據時，並不需要重建所有的知識庫，而是在原有的知識庫的基礎上，僅對新增數據所引起的變化進行更新。增量學習的框架有很多，各框架的最核心的內容時處理新數據與已經儲存知識相似性評價方法。因此該方法決定察覺新知識並增加知識庫的方式，它影響着知識的增長。新知識的判斷機制才是增量學習的核心部件。
特點和意義：
傳統機器學習算法大多屬於批量學習（batch learning）模式，即假設在訓練之前所有訓練樣本一次都可以得到，學習這些樣本后，學習過程就終止了，不再學習新的知識。然而在實際應用中，訓練樣本通常不可能一次性全部得到，而是隨着時間逐步得到的，並且樣本反應的信息也可能隨着時間產生了變化。如果新樣本到達后要重新學習全部數據，需要消耗大量的時間和空間，因此批量學習算法不滿足這種需求。只有增量學習可以漸進的進行知識的更新，且能修正和增強之前的知識，使得更新后的知識能夠適應到達的數據，而不必重新對全部數據進行學習。增量學習降低了對時間和空間的需求，更能滿足實際要求。
Robipolokar對於增量學習所應具有的特點進行了以下總結：
1）可以從新數據中學習到知識；
2）以前已經處理的數據不需要重復處理；
3）每次只有一個訓練觀測樣本被看到和學習；
4）學習新知識的同時能夠保存之前學習到的大部分知識；
5）一旦學習完成訓練后訓練觀測樣本被丟棄；
6）學習系統沒有關於完整訓練樣本的先驗知識；
常見的增量學習框架：
1. 自組織增量學習神經網絡
SOINN是一種基於競爭學習的兩層神經網絡。SOINN的增量學習能使得它發現數據流中出現的新模式進行學習，同時不影響之前學習的結果。因此SOINN能夠作為一種通用的學習算法應用於各類非監督學習問題中。
2. 情景記憶馬爾可夫決策過程
情景記憶馬爾可夫決策過程EM-MDP准確來說是一套完整的人工智能方案（簡化版），這個框架中包括對情景的認知、增量學習、短期與長期記憶模型。我們將焦點放在框架中的增量學習部分。該框架基於自適應共振理論（ART）與稀疏分布記憶（SDM）的思想實現對情景記憶序列的增量式學習。SDM是計算機科學家彭蒂.卡內爾瓦於1974年提出的能夠將思維所擁有的任何感知存入有限記憶機制的方法。這樣，在學習過程中，每次可有多個狀態神經元同時被告激活，每個神經元均可看成一類相近感知的代表。相比SOINN網絡每次最多只能有一個輸出節點，該方法具有環境適應性好的優點。