[英]Mark S.Nixon ·電子工業·2010·2版
12345678
第一章 緒論
橫截面圖 cross-section 合成 synthesized 光感元分兩類：視桿細胞(rod )用於黑白視覺(暗視覺).另一類是視錐細胞，用於色彩視覺(明視覺). 視錐細胞一千萬，分布在中央槽五度以內。一億視桿細胞分布在中央槽二十到五度內。 視桿細胞就一種，視錐細胞有三種：s波長m波長l波長 聯合圖像專家組 Joint Photographic Expert Group 運動圖像專家組 Moving Picture Expert Group
圖像處理的軟件網站：大概最好的是General Site
| General Site | Carnegie Mellon | http://www.cs.cmu.edu/afs/cs/project/cl/ftp/html/v-source.html 包括研究源碼，圖像處理工具箱和顯示工具 |
| Visiquest | Accusoft | http://www.accusoft.com/ |
| (Khoros) | Hannover University | http://www.tnt.uni-hannover.de/soft/imgproc/khoros/ |
| AdOculos*(含教材) | The Imaging Source | http://theimageingsource.com/ |
| CVIPtool | Southern Illinois University | http://www.ee.siue.edu/CVIPtools/ |
| LabolImage | Geneva University | http://cuiwww.unige.ch/~vision/LaboImage/labo.html |
| TN-Image | Thomas J. Nelson | http://brneurosci.org/tnimage.html(科學圖像分析) |
| OpenCV | Intel | http://www.intel.com/technology/computing/opencv/index.htm |
| VXL | 國際貢獻者 | http://vxl.sourceforge.net/ |
| GIL | Adobe | http://opensource.adobe.com/gil/ |
數學軟件工具包
| 可用數學軟件介紹 | NIST | http://gams.nist.gov/ |
| Mathcad | MathSoft | http://www.mathcad.com/ |
| Mathematica | Wolfram Research | http://www.wolfram.com/ |
期刊雜志
| IEEE Transaction s on:Pattern Analysis and Machine Intelligence | http://www.computer.org/portal/web/tpami |
| Image Processing(IP) | http://www.ieeeicip.org/ |
網絡教材
| CVOnline : 網絡教材簡要 | Edinburgh University | http://homepages.inf.ed.ac.uk/rbf/CVonline/books.htm |
網站
| 名稱/范圍 | 主辦機構 | 地址 |
| The computer Vision Homepage | Carnegie Mellon Universit | http://www.cs.cmu.edu/afs/cs/project/cil/ftp/html/vision.html |
| Computer Vision Online | Ediburgh University | http://www.dai.ed.ac.uk/CVonline/ |
| Hpermedia Image Processing Reference 2 | Edinburgh University | http://www.dai.ed.ac.uk/HIPR2 |
| Image Prcessing Archive | PEIPA | http://peipa.essex.ac.uk/ |
| 3D Reconstruction | Stanford University | http://biocomp.stanford.edu/3dreconstruction/index.html |
| Face Recognitoin | Zagreb University | http://www.face-ree.org/ |
| 會議 | ||
| 計算機視覺和圖像處理 | Keith Price,USC | http://iris.usc.edu/Information/Iris-Conferences.html |
| 論壇 | ||
| 計算機視覺 | Vision List | comp.ai.vision(http://www.vislist.com/) |
| 圖像處理 | sci.image.processing | |
第二章 圖像、采樣和頻域處理
| 主要內容 | 子話題 | 要點 |
| 圖像 | 不同點數及其數值范圍的效果 | 灰度、顏色、分辨率，動態范圍，存儲 |
| 傅里葉變換理論 | 頻域及離散圖像，圖像和采樣分辨率 | 連續傅里葉變換及特性，采樣標准，離散傅里葉變換，圖像變換，變換對偶，逆傅里葉變換 |
| 變換方法和結果 | 傅里葉變換及其它變換，頻域處理 | 平衡，旋轉，尺度變化，疊加和線性理論。Walsh,Hartley,離散余弦，小波。 |
CMYK顏色模型分為青縁、品紅、黃色和黑色。
傅里葉變換是將信號映射到分量頻率的一種做法。
傅里葉變換表明時域信號是由什么頻率組成的。
為了從頻域信號恢復時域信號，需要進行逆傅里葉變換。
卷積運算用*標記一個信號 p1(t) 與另個信號 p2(t) 的卷積過程為：將函數p2反折，向右移動距離t ，計算p1 和反折后的p2在各點的積，並積分，得到在t處輸出值。
信號系統中，輸出激勵p1和系統響應p2的卷積，通過反轉系統響應時間軸得到p2(t-x ),從而得到記憶函數.卷積過程對激勵與記憶函數相乘后的積求和,系統當前輸出是對激勵的累加響應。
卷積積分可以通過對兩個信號變換的乘積進行逆傅里葉變換來實現。
低頻帶有較多信息，高頻信息破壞不那么重要。
在成像系統中，景深是有限的（減少了高頻成份）。
高頻分量反映亮度上的變化。
離散傅里葉變換DFT
FFT只能用於圖像大小為2的整數次冪的正方形圖像。FFT計算成本 Ο(N2log(N)). 二維DFT計算成本 Ο(N3).
圖像的傅里葉變換計算的是頻率分量，每個分量的位置表示其頻率：低頻率分量離原點距離較近，高頻率分量離原點距離較遠。
二維傅里葉變換的布局是低頻率分量位於變換的邊角上。
如果直流位於圖像中心，頻率向圖像邊緣遞增，這樣空間變換比較容易可視化。通過將傅里葉變換的四個象限分別旋轉180°來實現。只需要將每個圖像點Px,y 與-1(x+y)相乘即可實現。
傅里葉變換性質
位移不變性 圖像分解為空間頻率與圖像中特征的位置無關。假設將所有特征移動一定距離，或者從不同位置采集圖像，其傅里葉變換的幅度不會發生變化。但相位發生變化。
旋轉 傅里葉變換處理具有朝向依賴性。
頻率尺度變化 時間是頻率倒數。圖像被壓縮相當於時間縮短，而頻率相應增大，其頻率分量會擴展。
疊加性 判斷一個系統是線性的，只要該系統對兩個組合信號的反應與單個信號的反應之和相等。這個性質表明可以利用頻域來分離圖像。
傅里葉以外的變換
離散余弦 最優圖像編碼 在能量集中性方面有很大優勢。
離散Hartley變換 不需要復數計算，正變換和逆變換是相同操作。
小波 可進行多分辨率分析（即不同尺度或分辨率上的分析）。可同時進行空間和頻率上的削減。可進行局部空間頻率分析。
閱讀資料：The Fourier Transform and Its Applications (Ronald N. Bracewell)
第三章 基本圖像處理運算
| 主要話題 | 子話題 | 內容要點 |
| 圖像描述 | 圖/直方圖的亮度分量 | 圖像對比 |
| 點運算 | 計算新的圖像點作原圖像同位置的點函數。閾值處理將灰度圖像變二值表達。 | 直方圖處理，亮度映射，加法，反轉，尺度變化，對數，指數，亮度正則化，直方圖均衡化，閥值處理。 |
| 群運算 | 計算新圖像點作為原圖像同位置點的近鄰點的函數。該函數是統計函數， 包括：平均值，中值和模式。高級濾波技術包括特征保存。 形態學算子由二值運算到灰度運算，根據形狀處理圖像。 |
模板卷積（包括頻域實現）。 統計算子：直接平均，中值濾波，模式濾波。圖像平衡的異性擴散。 數學動態學：擊中和未擊中變換，腐蝕，膨脹（包括灰度算子）和Minkowski算子。 |
點算子
亮度值設置255為白色。
對數函數 降低亮度級范圍，指數函數 擴大亮度級范圍。
常用擴展亮度級范圍的方法包括直方圖（亮度）正規化。這里是指將原直方圖進行擴展有位移，使直方圖涵蓋所有256個亮度級。matlab命令是imagesc函數。
直方圖均衡化 是一個非線性處理過程，適合人類視覺分析的方法來增強圖像亮度。
圖像直方圖處理常用的是正規化。均衡化的缺點一是受噪聲影響，二是非線性不可逆。
閥值處理
閥值處理有兩種形式：均一閥值和自適應閥值。
均一閥值需要灰度級知識，否則目標特征在閥值處理過程中可能無法提取。
最優閥值處理：選擇一個將目標與背景分離的閥值。
Otsu方法 是將圖像分割成目標和背景的閥值被選擇出來的可能性最大。它只選擇一個閥值，從而使圖像中所有像素分離成最合適的不同類。
基本原理是利用正規化直方圖，其中每個亮度級的值為該亮度級的點數除以圖像總點數。
最優閥值就是類分離方差最大時的亮度級，
Otsu是自動的，不是手動的。
到目前為止我們關注的是全局方法，即對整幀圖像進行處理的方法。
局部適應的方法，通常用於字符識別前的文件二值化。
圖像解釋的場景中存在多個目標，目標通常被遮擋的，許多目標具有相似的像素亮度范圍。因此利用均一閥值處理圖像，需要更精細的度量來分離目標。
群運算 是利用分組處理，根據一個像素的近鄰來計算新像素值。群運算通常用模板卷積表示。
模板是一組加權系數，方形，大小是奇數，可以恰當定位。
卷積處理 NewImage = Weight*OriginImage. matlab模板卷積算子: convolve
平均算子 平均處理的是降低噪聲，這是其優勢，與之相關的缺點 是平均處理引起圖像的模糊，從而是減少圖像中的細節。
高斯平均算子 圖像平滑處理最優，比直接平均保留更多特征。
中值濾波 去除椒鹽噪聲。找出圖像背景是統計算子的應用。
模式濾波 減少噪聲同時保留特征邊界，這是中值濾波顯著特性之一。
各向異性擴散 平滑處理的最高級形式是處理過程保留圖像特征的邊界。這是中值算子優勢之一，也是高斯平滑算子缺陷。其原理被稱為各向異性擴散。濾波是在特征范圍而不是邊界進行。
尺度空間 基本思想是圖像具有從低分辨率（粗糙取樣圖像）到高分辨率（細致取樣圖像）的多尺度表達。
熱方程 即為各向異性擴散方程。（各向同性－－高斯濾波）。擴散系數：局部變化量保留多少。參考：各向異性 perona&malik
力場變換 圖像濾波算子.
反平方定律 E=I/d2；照度與距離平方成反比而與光度成正比.又稱平方反比定律、逆平方律、反平方律；
如果任何一個物理定律中，某種物理量的分布或強度，會按照距離源的遠近的平方反比而下降，那么這個定律就可以稱為是一個反平方定律。
邊界是低層特征，形狀是高層特征。
數學形態學 利用集合論發展而來的算子分析圖像。將圖像和形狀看做是點集，根據形狀利用數學形態學處理圖像。
形態學算子定義的是局部變換，把要表達的像素值看做集合。這種改變像素值的方式是通過定義擊中或示擊中變換進行形式變化的。
腐蝕算子最常見的應用之一是對閥值處理后的圖像去噪。
開算子、先腐蝕再膨脹，關算子、先膨脹再腐蝕。
灰度形態學
函數集合形式有兩種表達：橫截面和暗影。
Minkowski算子，將集合去處變成求和以及求差運算。
第四章 低層次特征提取（邊緣檢測）
低層次特征是不需要任何形狀信息（空間關系）就可以從圖像中自動提取的基本特征。邊緣檢測和角點檢測。
| 主要話題 | 子話題 | 內容要點 |
| 一階邊緣檢測 | 邊緣是什么，如何檢測。一階微分等價算子。濾波以及復雜一階算子 | 差分運算；Roberts，平滑處理，Prewitt,Sobel,Canny 頻域分析 |
| 二階邊緣檢測 | 一階和二階微分的關系，二階算子基礎，濾波及其它運算。 | 二階微分，Laplacian,過零點檢測，MarrHildreth,Log,高斯差分，尺度空間。 |
| 其它邊緣算子 | 比較 | 其它噪聲，Spacek。其它邊緣模型，Petrou |
| 相位一致性 | 逆傅里葉變換，特征提取相位。邊緣和特征檢測的其它形式 | 頻域分析，檢測特征區域，光度不變性，小波 |
| 局部特征檢測 | 局部低層次特征，曲率擴展到圖像塊。邊緣信息，亮度變化，相關性。圖像塊檢測 | 平面曲率，角點，曲率推測，邊緣方向變化，亮度變化，harris角點檢測子，sift和顯著性算子 |
| 光流估計 | 運動和光流特征，微分方法推測光流，其它方法（移動區域法 | 微分檢測，光流，孔徑問題，平滑約束，微分方法，Horn and Schunk，相關性 |
一階邊緣檢測算子
檢測邊緣位置，一階微分可以使變化增強。水平邊緣檢測算子，對水平方向上的相鄰點進行差分處理，可以檢測垂直方向的亮度變化。由於差分值為0，水平算子不會顯示水平方向上的亮度變化，可以檢測出垂直邊緣。
- Roberts交叉算子 基礎的一階邊緣檢測，利用兩個模板，對角線上而不是沿坐標軸方向的兩個像素計算它們的差值。
- Prewitt邊緣檢測算子 沿每個坐標軸亮度變化率。邊緣強度M是微量的長度，邊緣方向Θ是向量的角度。
- Sobel邊緣檢測算子 使兩個Prewitt模板中心像素的權重取2倍的值。
- Canny邊緣檢測算子 三個主要目標：無附加響應（減少噪聲響應）、距離最小的正確定位（正確性）、單響應（單個邊緣點定位）。
第一個目標：canny認為 高斯算子對圖像平滑處理（邊緣檢測）是最優的。
第二個目標：非極大值抑制返回的只是邊緣數據頂脊處的那些點，而抑制其它所有點。使結果細化處理，非極大值抑制的輸出是正確位置上邊緣點連成的細線。
第三個目標：限制單個邊緣點對於亮度變化的定位。這是因為 並非只有一條邊緣表示為當前檢測到的邊緣。
- canny 步驟：
- 應用高斯平滑處理
- 應用sobel算子
- 應用非極大值抑制
- 連接邊緣點的滯后閥值處理
- 前兩步可以由高斯模板，把一階微分和高斯平滑結合一起進行處理。圖像平滑處理后，邊緣就成數據嶺（邊緣強度）。
- 非極大值抑制實際上是找到邊緣強度數據中的最高點。利用邊緣方向信息來處理驗證是否有峰值。
- 滯后閥值 點的亮度值大於閥值時設為白色，達到下限閥值時設為黑色。亮度變化是單一方向的
- 非極大值抑制 作用是沿頂脊（iwe)選取特征點。假設頂脊點大於上限閥值，把閥值處理輸出設為白色直到峰值直到小於下限閥值。然后把閥值處理輸出設為黑色直到峰值直到大於上限閥值。
- 滯后閥值處理是遞歸的。先找到初始種子設為白色，然后查找其相鄰點。
二階邊緣檢測算子
Laplacian基礎算子 是一個實現二階微分的模板。 水平二階算子和垂直二階微分結合可得全Laplacian模板。計算的是一個點與四個直接近鄰點的平均值之間的差。
中心權可正可負，可四相鄰或八相鄰，但要保證模板系數總和0，從而在亮度均勻區域不會檢測到邊緣。
優點：各向同性（同高斯算子）缺點：不包含平滑，會對噪聲產生響應，所以基本不用Laplacian基本式。
Marr-Hildreth 算子 也是利用高斯濾波。把高斯平滑和Laplacian結合起來，得到LoG算子。LoG計算可以用高斯差分來近似。模板系數總和1.
怎樣決定過零點的點？
優點：能夠給出封閉的邊緣邊界，能夠避免滯后閥值的遞歸計算,具有多分辨率分析能力（可在不同的尺度上檢測邊緣）。
變換是中心對稱的，LoG忽視了低頻和高頻成分，相當於一個帶通濾波。σ 的取值可以調節算子在空域的張開度和頻域的帶寬：σ 大得低通濾波。（一階邊緣檢測是沿一條軸起高通/微分，另條軸起低通/平滑作用）。
所有邊緣檢測算子都是用滯后閥值處理來實現的。
相位一致性 是一個特征檢測算子，它有兩個優點：可以檢測大范圍的特征，對局部（和平滑）光照變化具有不變性。
一致性檢測具有局部對比度不變性：即使階梯邊緣強度變小，正弦波不斷疊加，其變化位置並不改變。
傅里葉分量相位最大的點確定特征 缺點： 噪聲敏感 不好定位。
相位一致性關鍵詞 頻域 小波 卷積
定位特征提取
傳統方法 檢測圖像曲率（角點提取） 局部曲率的峰值是角點。
點v(t)處曲率描述的是沿方向 φ(t)對弧長的變化。
曲率函數的計算方法
對於曲線上的每個點，都有一對正交向量v(t),n(t),它們的模數通過曲率成正比關系。n(t)垂直於v(t),曲率k(t)表示它的模數。
數字圖像中的曲線 曲率計算有三種方法
-
- 計算邊緣方向的差值
- 亮度變化計算曲率（微分）
- 通過相關性
-
- 亮度變化的方法 如果沿法線方向進行微分，可以使總曲率達到最大。作為蛇形模型（自主輪廓）的特征提取方法一部分。
- Moravec & Harris 考慮圖像P自身在特定方向上的變化來計算曲率。
現代方法 區域/圖像塊分析
尺度不變特性變換 SIFT 的目標是解決低層次特征提取及其在圖像匹配應用中的許多實際問題。SIFT包括兩個步驟：特征提取和描述。
-
- 首先，高斯算子的差值應用於圖像以確定 一些可能的興趣特征。該方法的上的是保證特征選取不依賴於特征大小（尺度）或特征朝向。
- 其實，對這些特征進行分析，利用局部梯度方向確定特征朝向之前確定特征的位置和尺度。
- 最后，把這些特征轉換成一和中表達，可以處理光照變化和局部形狀畸變。
顯著性算子 如果一些區域不能同時在特征和尺度空間進行預測的話，該方法把這些區域看成是顯著特征。
與傳統方法相比，它的目標是成為一個尺度和顯著性特征的通用方法，因為這兩者的定義都與特殊的基本形態意義無關，這些基本形態意義不是基於粒子、邊緣和角點等特殊的幾何特征。該方法是通過確定某一尺度上圖像塊內的熵來處理的。顯著性就是這些熵峰值 的加權和。
描述圖像運動
基於區域的方法 運動看作是一組圖像平面上的位移，位移支應的是場景中目標的投射移動，即光流。光流是時間單位上的像素移動，像素/幀。如果特征是像素，可以通過觀察圖像區域（即局部近鄰點）亮度之間的相似度來找到對應點。
簡化假設：
-
- 圖像中點的亮度不變
- 近鄰點以相同速度移動
微分方法 另一個推測運動的方法， 關注像素值的微分變化。光流和空間亮度變化率一起可以描述圖像如何隨時間變化。
第五章 形狀匹配的特征提取（高層次）
| 主要話題 | 子話題 | 要點 |
| 像素運算 | 如何在像素層次檢測特征。移動目標檢測，優點和不足。形狀信息 | 閥值處理。背景差分 |
| 模板匹配 | 通過匹配進行形狀提取。優點和不足。有效實現。 | 直接實現和傅里葉實現。噪聲和遮擋 |
| 霍夫變換 | 通過匹配進行特征提取。霍夫變換檢測二次曲線，檢測任意形狀。不變性公式。速度和效率上的優點 | 證據收集進行特征提取，霍夫變換檢測直線，圓。廣義和不變性 |
閥值處理和差分
直方圖均衡化的結果易受噪聲陰影和光照 變化影響。
模板匹配 將模板的中心放在一個圖像點上，計算模板中有多少點與圖像點匹配。對整幅圖像重復這一過程，那個最佳匹配點，計數最大的，就是形狀（模板）在圖像中的位置。
像素匹配的概率，最大似然估計等效於選擇具有最小化平方差的模板位置，（模板像素點與相應的圖像像素差值 的平方）
二值圖像可以減小計算量。直接數字實現模板匹配的速度很慢。更快的如基於快速變換微積分的傅里葉實現。
模板匹配最主要的優勢就是對噪聲和遮擋的不敏感性。
傅里葉變換實現
卷積和乘法之間的對偶性 空域的乘法相當於頻域的卷積
霍夫變換 HT 是一種在圖像中定位形狀的技術。特別是提取直線、圓和橢圓。
直線 霍夫變換通過對存儲證據或者投票的累加器數組進行簡單的計數，通過對每一個點追蹤所有的雙線完成的。追蹤的每個點增量數組的一個元素，直線提取問題轉化為在累加器空間中定位的最大值問題。
圓的霍夫變換
橢圓檢測
廣義霍夫變換
第六章 彈性形狀提取（蛇模型）
| 主要話題 | 子話題 | 要點 |
| 可變形模板 | 可變形模板的匹配。最佳匹配的分析方法 | 能量最大化。計算方法，最優化處理 |
| 主動輪廓和蛇模型 | 利用輪廓演變出形狀，離散和連續公式。操作方法和新主動輪廓方法 | 曲線演變的能量最小化。貪心算法。完全蛇模型。參數化，初始化。梯度向量場和水平集方法 |
| 形狀骨架化 | 距離，骨架和對稱性的概念及量度。證據收集方法的對稱性檢測應用。 | 距離變換和形狀骨架。離散對稱算子。對稱點分布的證據累加。 |
| 主動形狀模型 | 通過統計方法表達形狀變化。在特征提取范圍內獲取形狀變化。 | 主動形狀模型。主動外觀。主成分。 |
可變形模板
蛇模型 是使一組點（輪廓）進行演變，從而與圖像數據相匹配，而不是使形狀演變。
主動輪廓/蛇模型 是與特征提取完全不同的方法。主動輪廓是將目標特征即等提取特征包圍起來的一組點。類似於利用一個氣球來找出形狀，氣球放在形狀外部，將形狀包圍在內，然后從氣球將空氣放出，使它慢慢變小 ，當氣球停止縮小時即找出了形狀，此時氣球與形狀完全擬合。
在目標特征的外部設置一個初始輪廓，然后對其進行演變並將目標特征包圍在內。主動輪廓可以表示為能量最小化處理。目標特征是經過合理公式化的能量泛函的最小值。
能量泛函 是輪廓內部能量、其約束能量以及圖像能量的相加函數。這三個能量分別標記為EINT,ECON,EIMAGE.它們是組成蛇模型v(s)的一組點，即蛇模型中所有點的x和y坐標。EINT 決定蛇模型的自然變化，從而決定蛇模型所有點的排列。圖像能量EIMAGE引導蛇模型選擇低層次特征（例如邊緣點）。約束能量ECON給出高層次信息以控制蛇模型的演變。內部圖像能量定義為輪廓周圍一階和二階導數的加權和，一階導數dv(s)/ds表示由伸縮而產生的能量，即彈性能量。二階微分d2v(s)/ds2表示因彎曲而產生的能量，即曲率能量。圖像能量引導蛇模型提取低層次特征，比如亮度或邊緣數據，目的是選取具有最小貢獻的特征。線、邊緣和端點。
蛇模型的貪心算法
完全蛇模型KASS
其它蛇模型
幾何主動輪廓 參數化的主動輪廓（蛇模型）很難同時對多個目標進行分割。幾何主動輪廓模型，曲線用水平集函數隱式表達。
水平集方法 實質上是找出形狀，但不對其進行參數化，因此曲線描述是隱式而不是顯式的，把它看做是函數的零水平集。零水平集是圖像中兩個區域之間的接口。水平集函數是帶正負號的，表示與輪廓的距離 ，內部距離設為負，外為正，輪廓本身即目標形狀，其距離為零，即在兩個區域之間的交界處。
參考資料 水平集兩本重要的教材 Sethian,1999;Osher and Paragios ,2003
無邊緣主動輪廓模型
形狀骨架化
-
- 距離變換
- 對稱性 離散對稱算子
彈性形狀模型：主動形狀和主動外觀
前面討論的是可變形的模板或可以演變的形狀，主動輪廓是彈性的，但其演變實質上受局部曲率或邊緣強度等局部特征的限制。
彈性模板 利用從訓練數據樣例形成的整體形狀約束，考慮圖像庫中是否包含該形狀的所有可能變化。其中最主要的方法是主動形狀建模，關注由點組成的形狀模型，點的變化稱為點分布模型，所選地標點在訓練圖像中標記，順序標記很重要。主成分分析將數據壓縮成最重要項。
應用過程（找出被建模形狀的實例）是利用迭代方法，使模型和圖像中匹配點不斷增多。可以通過檢測模型點周圍區域以確定最佳近鄰匹配來實現。對數據的最佳擬合模型計算適當的平移、縮放和旋轉和特征向量。不斷重復以上處理直到模型對數據收斂。
主動形狀模型ASM 由於只改變形狀以更好地擬合數據，並且形狀受所期望的形狀外觀控制，所以這種模型被稱為主動形狀模型ASM
主動外觀模型AAM 包括紋理，通過重復搜索處理對紋理進行匹配來更新模型參數，使地標點向圖像點靠近。
-
- ASM利用的是點附近的紋理信息，AAM利用的是整個區域的紋理信息。
- ASM想要得到模型點與相應圖像點之間的最小距離 ，AAM要合成模型與目標圖像間的最小距離。
- AAM在當前點附近，尤其在垂直於邊界的輪廓上進行搜索，而AAM只考慮當前位置的圖像。
參考資料
-
- 蛇模型在醫學圖像像的彈性提取綜述McInerney and Terzopolous 1996
- 醫學圖像分析的歷史綜述Duncan and Ayache 2000
- Cootes教授的網站：關於彈性形狀建模的詳細資料 http://www.isbe.man.ac.uk/~bim/
- 用於圖像分割的水平集方法Cremers et al.2007
第七章 目標描述
| 主要話題 | 子話題 | 要點 |
| 邊界描述 | 如何確定邊界及所辦公室的區域，如何形成區域描述及必要的特征，用傅里葉方法 | 基本方法：鏈碼。傅里葉描述符：離散近似。累加角函數和橢圓傅里葉描述 |
| 區域描述 | 如何描述形狀區域。基礎形狀量度：啟發法及特征。利用統計矩表述區域：不變性及復雜描述。重構 | 基本形狀度量；面積、周長。緊湊度，離散性。矩：基本矩，中心矩，不變矩。Zernike矩 |
邊界描述
區域描述的是邊界所包圍的內容（內部點）。
邊界被稱為區域輪廓，指它的形狀。如果一個點在區域內，它還有一個鄰像素在區域外，那這個點就是邊界（輪廓）上的點。
區域內部點和邊界點通過四連通或八連通來描述。它們是互補的，如果邊界像素是四連通，那區域像素就是八連通，反之亦然。
鏈碼 只存儲連續像素之間的相關位置。方向數字串
傅里葉描述符 利用表示形狀整體頻率分量的一組數字來描述輪廓特征。首先要定義一個曲線表達。其次，利用傅里葉理論將其展開 。
基本原理 傅里葉分量（直流分量）的第一個成分只是x和y坐標的平均值，它是以復數形式表示的邊界中心點的坐標。第二個成分所給出的是最適合這些點的圓的半徑。因此，圓可以用零階和一階成分（直流分量和第一個諧波）來進行描述。零階分量給出是形狀的位置（圓點）。橢圓可以加入所有空間分量來重構
傅里葉展開式 基底（、拉格朗日、牛頓插值），傅里葉展開的主要特征是定義了一組正交基。
移動不變性 鏈碼要特別關注的是得到起點不變性。主要在於曲線移動時描述符是否會改變。
離散計算 離散化具有兩個作用，首先可以限制展開式中頻率的數量，其次，它對定義傅里葉系數的積分進行數值化近似。
累積角函數 曲線上一點的累積角函數定義為從起始點開始的角度變化量。由於它表示每個點角度變化的總和，被 稱為累積。累積角函數避免了角函數的不連續性。
橢圓傅里葉描述符 累積角函數把曲線的二維描述變換成適合傅里葉分析 一維周期函數。而橢圓傅里葉描述符保持曲線在二維空間的描述。通過考慮圖像空間定義的是復平面來實現。每個像素定義為一個復數。
橢圓傅里葉描述符的不變性
區域描述符 基本區域描述符是對區域的幾何屬性進行特征化，矩所關注的是區域的密度。
基本區域描述符 面積 周長
緊湊度 是周長和面積的比值。
離散性（不規則性） 是最大弦長與面積比。對於不規則形狀，這個比值變大，而緊湊度減小。
矩 矩描述的是形狀的構圖（像素排列）。矩是形狀的全面描述，具有傅里葉描述同樣的優勢，具有選擇性（自帶的識別和過濾噪聲的能力）。
不變矩 中心矩只具有平衡不變性，不對應其他外觀轉換。為得到尺度和旋轉不變性，需要正規化中心矩。
Zernike矩 可以實現不變性，它給出旋轉不變矩的一個正交系。大小保持旋轉不變性，它只對相位有影響。可以通過正規化實現尺度不變性。另個優勢是存在一個重構定理。原形狀f可以通過其矩和Zernike多項式重構。
圖像的傅里葉變換可以通過其矩推導出來。
樣條是用來對不同分區內的特征進行建模的區間函數。有二次和三次形式。蛇模型是一種能量最小化樣條。
第八章 紋理描述、分割和分類基礎
| 主要話題 | 子話題 | 要點 |
| 紋理描述 | 如何確定幾組數值來識別紋理 | 特征提取，傅里葉變換，共生矩陣，區域，特征描述，能量，熵和慣性 |
| 紋理分類 | 如何將所得數值與已知紋理相聯系 | k近鄰法則，支持向量機及其它分類 |
| 紋理分割 | 如何在圖像范圍找出紋理區域 | 卷積計算，平鋪處理，閥值處理。 |
第九章 工作表
第十章 射影幾何
第十一 最小二乘
估計理論的基礎
第十二 主成分分析
pricipal components analysis PCA 也KL變換或者Hotelling變換。它是以線性代數因式分解為基礎，因式分解通常用於將矩陣對角化，它的逆容易求得。數據變換對分類和壓縮尤其有用。
PCA 收集數據並進行變換，使新的數據具有給定的統計特征。選擇統計特性是為了使變換突出數據元素的重要性。PCA技術變換特征向量以定義新向量，新向量定義了具有更好的分類能力的成分。PCA確保我們突出了那些數據根據協方差衡量具有最大變化的數據。
協方差表示兩個隨機變量之間線性相關性。協方差衡量的是線性關系，線性通常是PCA的主要局限。
協方差矩陣
數據變換
逆變換
特征值問題
PCA運算步驟