多類分類（Multiclass Classification）
一個樣本屬於且只屬於多個類中的一個，一個樣本只能屬於一個類，不同類之間是互斥的。
典型方法：
One-vs-All or One-vs.-rest：
將多類問題分成N個二類分類問題，訓練N個二類分類器，對第i個類來說，所有屬於第i個類的樣本為正（positive）樣本，其他樣本為負（negative）樣本，每個二類分類器將屬於i類的樣本從其他類中分離出來。
one-vs-one or All-vs-All：
訓練出N(N-1)個二類分類器，每個分類器區分一對類(i,j)。
多標簽分類(multilabel classification)
又稱，多標簽學習、多標記學習，不同於多類分類，一個樣本可以屬於多個類別（或標簽），不同類之間是有關聯的。
典型方法
問題轉換方法
問題轉換方法的核心是“改造樣本數據使其適應現有學習算法”。該類方法的思路是通過處理多標記訓練樣本，使其適應現有的學習算法，也就是將多標記學習問題轉換為現有的學習問題進行求解。
代 表性學習算法有一階方法Binary Relevance，該方法將多標記學習問題轉化為“二類分類( binary classification )”問題求解；二階方法Calibrated Label Ranking，該方法將多標記學習問題轉化為“標記排序( labelranking )問題求解；高階方法Random k-labelset，該方法將多標記學習問題轉化為“多類分類(Multiclass classification)”問題求解。
算法適應方法
算法適應方法的核心是“改造現有的單標記學習算法使其適應多標記數據”。該類方法的基本思想是通過對傳統的機器學習方法的改進，使其能夠解決多標記問題。
代 表性學習算法有一階方法ML-kNN}，該方法將“惰性學習(lazy learning )”算法k近鄰進行改造以適應多標記數據；二階方法Rank-SVM，該方法將“核學習(kernel learning )”算法SVM進行改造以適應多標記數據；高階方法LEAD，該方法將“貝葉斯學習(Bayes learning)算法”Bayes網絡進行改造以適應多標記數據。
多示例學習（multi-instance learning）
在 此類學習中，訓練集由若干個具有概念標記的包（bag）組成，每個包包含若干沒有概念標記的示例。若一個包中至少有一個正例，則該包被標記為正 （positive），若一個包中所有示例都是反例，則該包被標記為反（negative）。通過對訓練包的學習，希望學習系統盡可能正確地對訓練集之外 的包的概念標記進行預測。
多任務學習（Multi-task learning）
多任務學習（Multi-task learning）是和單任務學習（single-task learning）相對的一種機器學習方法。在機器學習領域，標准的算法理論是一次學習一個任務，也就是系統的輸出為實數的情況。復雜的學習問題先被分解 成理論上獨立的子問題，然后分別對每個子問題進行學習，最后通過對子問題學習結果的組合建立復雜問題的數學模型。多任務學習是一種聯合學習，多個任務並行 學習，結果相互影響。
拿大家經常使用的school data做個簡單的對比，school data是用來預測學生成績的回歸問題的數據集，總共有139個中學的15362個學生，其中每一個中學都可以看作是一個預測任務。單任務學習就是忽略任 務之間可能存在的關系分別學習139個回歸函數進行分數的預測，或者直接將139個學校的所有數據放到一起學習一個回歸函數進行預測。而多任務學習則看重 任務之間的聯系，通過聯合學習，同時對139個任務學習不同的回歸函數，既考慮到了任務之間的差別，又考慮到任務之間的聯系，這也是多任務學習最重要的思 想之一。
多任務學習早期的研究工作源於對機器學習中的一個重要問題，即“歸納偏置(inductive bias)”問題的研究。機器學習 的過程可以看作是對與問題相關的經驗數據進行分析，從中歸納出反映問題本質的模型的過程。歸納偏置的作用就是用於指導學習算法如何在模型空間中進行搜索， 搜索所得模型的性能優劣將直接受到歸納偏置的影響，而任何一個缺乏歸納偏置的學習系統都不可能進行有效的學習。不同的學習算法(如決策樹，神經網絡，支持 向量機等)具有不同的歸納偏置，人們在解決實際問題時需要人工地確定采用何種學習算法，實際上也就是主觀地選擇了不同的歸納偏置策略。一個很直觀的想法就 是，是否可以將歸納偏置的確定過程也通過學習過程來自動地完成，也就是采用“學習如何去學(learning to learn)”的思想。多任務學習恰 恰為上述思想的實現提供了一條可行途徑，即利用相關任務中所包含的有用信息，為所關注任務的學習提供更強的歸納偏置。
典型方法
目前多任務學習方法大致可以總結為兩類，一是不同任務之間共享相同的參數（common parameter），二是挖掘不同任務之間隱藏的共有數據特征（latent feature）。