課程三(Structuring Machine Learning Projects)，第一周（ML strategy（1）） —— 1.Machine learning Flight simulator:Bird recognition in the city of Peacetopia (case study)

[]To help you practice strategies for machine learning, the following exercise will present an in-depth scenario and ask how you would act. Consider airplane pilots who’s training involves time spent in flight simulators. These flight simulators accelerate the pilots’ learning by allowing them to experience a volume and variety of scenarios that they otherwise may have needed a much longer time to acquire.

The following exercise is a “flight simulator” for machine learning. Rather than you needing to spend years working on a machine learning project before you get to experience certain scenarios, you’ll get to experience them right here.

Personal note from Andrew: I’ve found practicing with scenarios like these to be useful for training PhD students and advanced Deep Learning researchers. This is the first time this type of “airplane simulator” for machine learning strategy has ever been made broadly available. I hope this helps you gain “real experience” with machine learning much faster than even full-time machine learning researchers typically do from work experience.

【中文翻譯】

為了幫助您練習機器學習的策略, 下面的練習將呈現一個 in-depth 的場景, 並詢問您將如何行動。考慮飛機駕駛員的訓練需要花費時間在飛行模擬器上。這些飛行模擬器加速了飛行員的學習, 使他們能夠體驗到他們可能需要更長時間才能獲得的大量和不同的場景。

下面的練習是機器學習的 "飛行模擬器"。你需要花費數年的時間在一個機器學習項目,你才能體驗到的，在這里你會體驗到他們。

Andrew的個人筆記: 我發現練習這種情景對培養博士生和高級深度學習研究人員是有用的。這是第一次這種類型的 "飛機模擬器" 的機器學習策略廣泛提供。我希望這能幫助你獲得 "真正的機器學習經驗" ，甚至比全日制機器學習的研究人員從通常做的工作中獲得經驗快得多。

------------------------------------------------------------------------------------------------

Bird recognition in the city of Peacetopia (case study)

 

 

 

 

 

 

 【中文翻譯】

1、問題陳述

這個例子是從一個真正的生產應用, 但細節偽裝, 以保護機密。

你是 Peacetopia 市的著名研究員。Peacetopia 的人有一個共同的特點: 他們害怕鳥。為了救他們, 你必須建立一個算法, 將檢測任何鳥飛越 Peacetopia 並向人們警報。

市議會給你一個數據集, 上面有1000萬張 Peacetopia 上空的天空圖像, 取自城市的安全攝像頭。它們被貼上標簽:

　　y = 0: 在圖象中沒有鳥

　　y = 1: 在圖象中有一只鳥

你的目標是建立一個算法, 能夠分類安全攝像頭從 Peacetopia 拍攝的新的圖像。

有很多決定要做:

　　評估指標是什么？

　　如何將數據分為訓練/開發/測試集？

 

成功指標

市議會告訴你以下, 他們想要一個算法,

　　具有高精度

　　快速運行, 只需很短的時間就可以對新圖像進行分類。

　　可以容納進少量的內存, 以便它可以運行在一個小的處理器, 城市將它們附加到許多不同的安全攝像頭。

 

 題目: 有三評估指標使您很難在兩種不同的算法之間快速選擇, 並且會減慢團隊迭代的速度。真/假？ (A)

（A）真

（B）假

 【中文翻譯】

根據城市的要求, 你認為下面哪一個是真的？（A）

　A、精度是一種優化指標;運行時間和內存大小是一個滿足的指標。

　B、准確度是滿足的指標;運行時間和內存大小是一個優化指標。

　C、准確性、運行時間和內存大小都是最優化的指標, 因為您希望在所有三中都做得很好。

　D、准確性、運行時間和內存大小都是滿足的指標, 因為您必須在所有三中做得足夠好, 您的系統才能被接受。

 

 

【中文翻譯】

在設置好你的訓練/開發/測試集之后, 市議會會遇到另外100萬個被稱為 "公民數據" 的圖片。顯然, Peacetopia 的公民們非常害怕鳥類, 他們自告奮勇地拍下天空的照片並給它們貼上標簽, 從而為這些額外的100萬圖像提供了幫助。這些圖像不同於城市議會最初給你的圖像的分布, 但你認為它可以幫助你的算法。

 

您不應將公民的數據添加到訓練集, 因為這將導致訓練和開發/測試集分布變得不同, 從而損害開發和測試集的性能。真/假？(B)

A、真

B、假

 

 

【中文翻譯】

市議會的一位成員對機器學習知之甚少, 並認為應該將100萬公民的數據圖像添加到測試組中。您的意見是：（B、C）

A、一個更大的測試集將減慢迭代的速度, 因為在測試集上評估模型的計算費用。

B、這將導致開發和測試集分布變得不同。這是一個壞主意, 因為你沒有瞄准你想要擊中的地方。

C、測試集不再反映您最關心的數據 (安全攝像機拍的) 的分布。

D、與其余的數據相比，100萬公民的數據圖像沒有一個一致的 x->> y 映射 (類似於紐約市/底特律住房價格的例子, 從講座)。

 

 

 

 

 

 

 

【中文翻譯】

在這個項目工作了一年后, 你終於實現了:

 

人類的表現：0.10%

訓練集誤差：0.05%

開發集誤差：0.05%

你能得出什么結論？(檢查所有適用的) （A、C）

 

A、現在很難測量可避免的偏差, 因此進展將會緩慢。

B、這是一個統計異常 (或必須是統計噪聲的結果), 因為它不應該是可能超越人類的水平的表現。

C、如果測試集足夠大, 足以使0.05% 錯誤估計准確, 這意味着貝葉斯錯誤率是≤0.05

D、只要有0.09% 的進一步進展, 你應該能夠迅速減少剩余的差距到0%

 

【中文翻譯】

事實證明, Peacetopia 已經聘請了你的競爭對手建立一個系統。您的系統和競爭對手都提供與運行時間和內存大小相同的系統。但是, 您的系統有更高的精確度!然而, 當 Peacetopia 嘗試你和你的競爭對手的系統, 他們的結論, 他們實際上喜歡你的競爭對手的系統並認為更好, 因為即使你有更高的整體精度, 你有更多的假陰性 (鳥在空氣時，沒有發出警報)。你該怎么辦？ （C）

 

A、看看您在開發過程中開發的所有模型, 並找到一個具有最低錯誤負錯誤率的模型。

B、請您的團隊在開發過程中考慮准確性和假負率。

C、重新考慮此任務的適當度量, 並要求您的團隊調整到新的度量標准。

D、選擇假負率作為新的度量, 並使用這個新的度量來推動所有的進一步發展。

 

【中文翻譯】

你已經輕而易舉地擊敗了你的競爭者, 你的系統現在部署在 Peacetopia, 保護公民免受鳥類的打擊!但是在過去的幾個月里, 一種新的鳥類已經慢慢地遷移到了這個區域, 所以你的系統的性能會慢慢降低, 因為你的數據正在測試一種新的數據類型。

你只有1000種新鳥類的圖像。在未來的3月內, 城市期望有一個更好的系統。你應該先做哪個？（A）

 

A、使用您所需要的數據來定義新的評估指標 (使用新的開發/測試集), 並考慮到新的物種, 並使用它來推動您的團隊取得進一步的進展。

B、把這1000張圖片放到訓練組里, 以便更好地處理這些鳥。

C、嘗試數據擴充/數據合成, 以獲得更多的新類型的鳥圖像。

D、將1000圖像添加到數據集中, 重新調整為新的火車/開發/測試剝離。

 

【中文翻譯】

市議會認為, 有更多的貓在城市將有助於嚇跑鳥類。他們是如此高興與你的工作, 鳥類探測器, 他們也聘請你建立一個貓探測器。(哇, Cat 探測器是非常有用的, 不是嗎？由於多年來工作與cat 探測有關, 你有這樣一個巨大的數據集——1億貓的圖像, 訓練這個數據大約需要兩個星期。你同意哪些陳述？(檢查所有同意）（B、C、D）

A、建立了一個好的鳥探測器, 你應該能夠采取相同的模型和參數, 只是將它應用到 Cat 數據集, 所以沒有必要迭代。

B、需要兩個星期的訓練將限制你可以循環的速度。

C、購買更快的計算機可以加快團隊的迭代速度, 從而提高團隊的工作效率。

D、如果1億的例子足以建立一個足夠好的 Cat 檢測器, 用1000萬個例子, 你可能會更好的訓練, 在快速運行實驗方面，獲得一個a≈10x 的改進,即使每個模型表現得有點差, 因為它的訓練較少數據.