機器學習個人總結

除了一開始做的筆記后面都沒了，公式好難推

人工智能主要包括感知智能（比如圖像識別、語言識別和手勢識別等）和認知智能（主要是語言理解知識和推理）。它的核心是數據驅動來提升生產力、提升生產效率。

機器學習相關技術屬於人工智能的一個分支。其理論主要分為如下三個方面：

1. 傳統的機器學習：包括線性回歸、邏輯回歸、決策樹、SVM、貝葉斯模型、神經網絡等等。

2. 深度學習（Deep Learning）：基於對數據進行表征學習的算法。好處是用非監督式或半監督式的特征學習和分層特征提取高效算法來替代手工獲取特征。

3. 強化學習（Reinforcement Learning）：強調如何基於環境而行動，以取得最大化的預期利益。其靈感來源於心理學中的行為主義理論，即有機體如何在環境給予的獎勵或懲罰的刺激下，逐步形成對刺激的預期，產生能獲得最大利益的習慣性行為。和標准的監督式學習之間的區別在於，它並不需要出現正確的輸入/輸出對，也不需要精確校正次優化的行為。強化學習更加專注於在線規划，需要在探索（在未知的領域）和遵從（現有知識）之間找到平衡。

監督學習：訓練數據中有我們想要預測的屬性，也就是說對每一組 輸入 數據，都有對應的 輸出。問題可以分為兩類：

• 分類問題：數據屬於有限多個類別，希望從已標記數據中學習如何預測未標記數據的類別。
  例子：手寫數字、字母的識別
• 回歸問題：每組數據對應的輸出是一個或多個連續變量。
  例子：是根據鮭魚長度作為其年齡和體重。

無監督學習：訓練數據無對應的輸出值。例子：數據聚類、降維。

半個課程下來，目前還停留在理論階段，概率論倒是還記得，高數和線代半斤八兩，機器學習是門實踐和理論結合密切的學科，網上查閱資料文獻的時候，看到

對於此前不是機器學習/深度學習這個領域的朋友，不管此前在其他領域有多深的積累，還請以一個敬畏之心來對待。
持續的投入：三天打魚兩天曬網的故事，我們從小便知，不多說了；
系統的學習：一個學科，知識是一個體系，系統的學習才可以避免死角，或者黑洞；
大量的練習：畢竟機器學習/深度學習屬於Engineering & Science的范疇，是用來解決實際的問題的。單純的理論研究，如果沒有實際的項目（包括研究項目）經驗做支撐，理論可能不會有很大突破。

檢索一些文獻或者網頁資訊，記錄機器學習等人工智能領域的前沿技術介紹、展望、應用，了解我們國家的先進或不足，存在的卡脖子技術等（選取一種技術方向即可）

摘自對谷歌AI負責人Jeff Dean的采訪

在加拿大溫哥華舉行的NeurIPS 2019會議上，機器學習成為最大的焦點。來自全世界各地的13000名研究人員探索了諸如神經科學、如何解釋神經網絡輸出，以及AI如何幫助解決現實世界中的重大問題等。

其中Google AI負責人Jeff Dean在研討會上進行演講，討論機器學習如何幫助應對氣候變化帶來的威脅以及機器學習如何重塑系統和半導體。

相信很多人對Google在使用ML創建機器學習半導體方面的早期工作、Google的BERT（NLP模型）對會話式AI的影響以及2020年值得關注的機器學習趨勢非常感興趣。VentureBeat就上述問題采訪了Jeff Dean，具體采訪內容篇幅過長，以自己的理解簡要說一下。

• 提到已經證明非常有效的一件事情，是芯片的專門化（相對例如通用CPU而言）用以執行一些並非完全通用的、某些特定類型的計算。Google已經從更嚴格的計算模型（例如GPU甚至TPU）中受益匪淺。這些模型更為嚴格，但實際上是根據機器學習計算需要做的事情而專門設計的。相對於通用CPU，這實際上帶來了相當多的性能優勢。

• 對於BERT來說，這是重要的一年。到處都是BERT，以及各種BERT。BERT之所以有趣，是因為它建立在其他研究成果不斷發展的基礎上，BERT的種類取決於一年前完成的Transformer工作。Transformer工作確實是在解決與基於LSTM的早期序列模型相同的問題。對在一堆文本（任意文本）上進行預訓練的BERT的微調，然后對關心的特定NLP任務進行微調，對於許多希望能夠解決的NLP問題來說，是一個很好的范例。

• 像現在這樣，BERT和其他模型可以很好地處理數百個作為上下文的單詞，但10000個單詞就處理不了。因此，這是一個有趣的方向。Jeff Dean認為多模態模型非常有趣，例如我們可以通過有趣的方式將文本與圖像，音頻或視頻相結合。Google已經做了一些工作，社區的其他成員也做了一些工作，這在將來將變得越來越重要。

• Dean認為與人工智能相關的工作將是重要的。總的來說，世界將不斷提高技術水平，進行基礎研究，以提高我們在許多重要領域的能力，比如NLP或語言模型、視覺或多式化的東西。機器人是一個很難解決的問題--讓機器人在任意的環境中工作，就像一個大會議室里有椅子之類的東西，在過去的幾年里，Google在這方面取得了相當大的進步。