課程主頁是：http://bigeye.au.tsinghua.edu.cn/DragonStar2012/index.html
大家可以在上面看到課程的介紹，教師的信息，現在也可以下載到課件了。
今年的《機器學習》課程有一些變化。
首先，與之前純粹來自美國著名大學的教師不同，今年講課的老師與業界關系更加密切， 主講余凱和張潼二位老師都是在業界從事科研多年的資深專家；湊巧的是他們現在又同時在百度工作，張潼現在是在百度做訪問科學家吧，余凱現在更是百度的研發 副總裁了。其中一個小插曲就是余凱老師周五穿了百度的文化衫過來，雖然他一再解釋穿衣的來由，但越解釋卻越感覺他這是在植入廣告，呵呵...
估計吧，這次聽課套磁留學的是沒有了，套磁去百度估計不少，呵呵...
其實，雖然此次授課的主要是上面兩位老師，但是參與授課答疑的應該說是一個教師團隊，有清華的，計算所的，甚至微軟的劉鉄岩都來了。 由於此次課程安排得很緊湊，基本就是每天上午的9點到下午2點，課間課后都沒有答疑，明確的答疑時間是下午2點上完課以后，我估計大部分人也和我一樣2點 聽完就直接回去了。在最后一天的最后一節課，本來是安排summary和road ahead的，后來老師們臨時改成了交流與答疑，雖然還是有些小缺陷(比如所有問題都是大家提前發到老師郵箱的，沒有現場提問的環節)，但我依舊覺得交流 是這課程的最亮點了。
然后呢，我自己也有的一些變化。10年的那次純粹是打醬油，每天上下課都要坐很久的地鐵，再加上下里巴人第一次去如此花花世界的大上海，雖然安奈住了浮躁的內心，但是現實社會的沖擊依舊巨大。
10年的時候上課什么的，雖然事情准備了很多，比如課件基本都提前打印好了，PRML也看了一些，但是Eric和Feifei老師講的很多還是不懂，這個估計也與自己上課老瞌睡有關
相相反，今年的課程就沒怎么准備了，首先課件事先也沒公布同事也沒有參考書，就大概列了一下課程綱要；然后就是現在畢竟還在上班，能翹班一星期(照樣有薪水哦，呵呵
)來上課就很感激經理們了，預習不光時間上做不到，就是心思上也做不到。雖然沒准備吧，但是確實感覺能聽懂比10年更多些內容了，一是估計這兩年自己也進步了一點點吧，然后就是此次講的更多的是與業界相關的東西，理論部分大都簡要帶過了。
第一天介紹了Introduction to Machine Learning, Linear Model, Overfitting and Regularization 和 Linear Classification四部分內容。大部分內容都屬於入門級的，如果看過PRML效果可能會更好。課上余凱老師提到人工智能核心部分“控制”和“感知”其實都是需要機器學習的。在提到機器學習 三要素Data, Model和Algorithm的時候，其實余凱老師說到他倒認為最重要的是需求，這可能與其在業界工作有關吧。線性模型本來說應該不是非常難理解，但是 張潼老師從統計的角度分析，說實話真沒太聽懂，特別是后面講到對各個特征重要進行評估的時候用到了假設檢驗中的z-score和p-value，從這里以 后就沒能跟上老師的步調了。后面的Overfitting and Regularization也是大部分從統計的角度講解的，從訓練集測試集的划分到bias variance之間的trade-off，提到使用regularization去避免overfitting(在我看來實質是避免模型過於復雜)。最 后，余凱老師把perceptron, SVM, Logistic Regression統一放到Linear Classification去講解，這種分類確實不一樣。但是這里的感知器應該只是指那種還不能解決XOR問題的單層神經網絡吧。
第二天講的是Model Selection, Model Combination, Boosting and Bagging和Overview of Learing theory。這里的模型選擇講的是用一種什么標准去評價一個模型的好壞，我們用的標准基本還是經驗風險和結構風險，所以課中重點介紹了Structural Risk Minimization。老師課件上還提到AIC,BIC,MDL等評價標准，以后再去看吧。模型的combination除了boosting還有加權結合啦，voting，stacking等，但研 究熱點明顯是boosting，ACL最新的文章都有好幾篇。最后一節課是學習理論，這基本是我最不懂的地方了，記得研二開始看《機器學習》的時候就沒 懂，到10年的機器學習還是沒太弄懂，主要糾結的地方還是關於模型復雜度證明中用到了很多不等式。其實這部分對於做機器學習理論部分的是還真的是非常重要 的，比如SVM中的VC dimension理論。
第三天就講到Optimitization on Machine Learning, Online Learning, Sparisity Models和Basic Expansion and kernel method。優化算法是求解機器學習方法的重要算法，比如常用的梯度下降等，現在用的較多的是BFGS和LBFGS(我現在才知道BFGS原來是四個人名組成的)。講到核函數的時候，余凱老師提到其實核函數就是一個平滑算子。其他幾部分內容印象不是很深了。
第四天的內容分別是Introduction to Graphical Models, Structural Learning, Learing on the web和Deep Learing and Feature learning models for vision。這次的圖模型入門，老師介紹的都是比較淺顯易懂內容，所以我大概都算是聽懂了。老師說到圖模型其實是一種表達問題的語言，不是一種具體的模型，其實我自己老是 把圖模型與topic model特別是LDA聯系在一起，今后還是要繼續深入學習。Structural learing是由清華的朱軍老師代上的，朱軍老師基本總結了HMM，MEMM和CRF，並比較分析了CRF和H3N。MEMM的標注偏置還是一個很嚴重 的問題，但是我真沒有理解。老師推薦一個資源Alchemy, Alchemy is a software package providing a series of algorithms for statistical relational learning and probabilistic logic inference, based on the Markov logic representation。 后面張潼老師介紹的learing on the web主要是ranking 和 classification，其他我更感興趣的方面倒沒有深入探討，比如用於行為建模，社區分析等。最后是余凱老師介紹的最近非常非常火的deep learing，並介紹其在CV上的應用。deep learing 應用的比較成功的領域還是語音和圖像，我感覺deep learing主要就是對特征空間按照層次分層建模，進行深入挖掘圖像和語音特征的意義。余凱老師說到目前最好的語言識別系統是微軟用了9層特征空間，最好的圖像識別系統是google做出來的，據說效果都提高了十多個百分點。
最后一天就三節課，分別是Transfer Learing and Semi-supervised learning， Recommendation system和簡單介紹了下CV的learning。遷移學習倒是可以多講一下，畢竟我們都認為人類對事物的知識是有遷移性的，但是實現起來又確實很難，所以目前大部分的系統都是通過share一些feature來實現transfer learning的。推薦系統倒是我和經理都很敢興趣的領域，這里也算是入了下門吧。其實現在網絡上有很多現成數據，做起來也很方便，我就試圖跟着學習了一段時間mahout。最后一節余凱老師基本上掃過了下CV全部內容，沒有太多理論沒有太多公式，這對於最后一節課確實也挺合適。
主要的課程及內容就上面那么多，下面說幾件小事吧。
1. 有同學問到如何學習機器學習，張潼給的建議是去解決一個問題。找一個喜歡的感興趣的問題，自己動手去解決，從采集數據，預處理，選擇解決方法(模型)，編寫程序等，我也相信這樣一套流程下來，大概會對機器學習方法有個更感性的認識。余凱老師補充到，入門的書籍其實也很重要，他自己推薦的是Duda1973年寫的那本《Pattern Classfication and Scene Analysis》，該書第二版就是大家常推薦的《模式分類》。最后一堂課每位老師也都推薦了一本書，其實這幾本書我大概都掃過，班上有同學還下載了整理在新浪微博上，你可以在這里進行下載。
2. 這次能去聽課真的要非常感謝國內美國的兩位經理，真的非常感謝他們能這么信任我(其實,我這一年來的工作確實做得很差，我自己都不滿意，更別說他們了)。不然要我請假不拿工資去聽課，我真不一定能下得了這樣的狠心，畢竟我現在真的非常需要這些錢。要知道以后讀書的工資只能解決生存問題，可是我還是想要生活的呀。
3. 其實不想說會議組織的，但是還是要強調下，清華的老師和同學真的做了非常多的工作，非常感謝他們。雖然張長水教授一再說到清華的條件有限等等，其實是人都知道這是謙虛啦。不管其他人(特別是文科生)是怎樣的觀點(不明白我說的話可以看看許知遠的書《那些憂傷的年輕人》應該就明白了，呵呵
)，對我這位呆頭呆腦的理工科學生，清華之於我，就像陽光之於植物，奧運之於運動員，都只有敬仰之情。
4. 實驗室很多師兄師姐說到他們把Eric Xing當做偶像，哈哈，我乘機得瑟了一番，因為我不僅見過他還有他的照片。其實吧，他更是我的偶像，沖着不是他的天才，而是他的努力。
5. 談論機器學習，談論統計學習，就難免談論兩種哲學觀點。
總的來說，龍星計划機器學習課程，上次(10年上海)是純粹打醬油，這次(12年北京)除了打醬油，還買了點鹽