[Class]數值分析.王兵團.北京交通大學.全128講[48:35:32]_嗶哩嗶哩_bilibili
插值一定是單值函數，就是一個插值的點只會對應一個函數值，但是有時候一個數據點會對應2個（函數）值。
比如測量生產的布料的纖維長度和承受力：
插值就是找自變量和函數之間的函數關系式，可以利用反插值進行做，但是即便是利用反插值的方法，也可能會遇到多值的問題。這樣的話，插值就做不了了，因為插值問題的提出，是需要插值節點互異的。
最重要的是，測量的數據大部分都是含有誤差的，用插值的方法做，插值函數一定是過插值點的，插值出來的函數一定會被誤差污染，一定也是含有誤差的。
插值指的是插值函數一定要過每一個插值點，現在我不要求插值函數過每一個數據點，那么近似函數和被近似函數之間會有一個殘差。
一般我們會要求殘差之和最小。
用殘差之和去評判近似函數的好壞好像不是太好，因為殘差有正有負假如只是簡單的進行求和的話那么正負殘差可能會抵消，而實際上殘差就在那里，並不是0.
所以，現在我們讓殘差加上絕對值最小。
這個最小很難求的，涉及到：
1.絕對值的縮放。
2.不等式問題。
3.有時求導做不到。
4.經常把絕對值的問題變成平方的問題。
注解：
1.4次方也可以，但是平方的話，比較簡單，比較好處理。
注解：
1.這個叫做最小二乘逼近法。
那怎樣根據這個最下二乘的原則去找這個近似函數呢？
p(x)的形式又是怎樣的呢？就是說函數模型是怎樣的呢？或者說以什么樣子的函數模型去對f(x)進行近似呢？
答：找結構特別好的函數有時候不是特別容易。為了簡單方便處理起見還是要找一般的好處理的函數這種函數是什么函數呢？這種函數就是線性函數。
這里的線性函數呀不是指的一般意義上的那種簡單的線性函數:
f(x)=ax+b。
而是指的函數的線性組合的意思.上文提到的線性函數中的線性指的是線性組合意義上的線性。即線性組合的函數。
已知函數的線性組合構成的函數就是我們要找的函數，這個就是一般的線性模型：
注解：
1.它包含的形式更多，可以構成非常多的函數，數也數不完，例如：
3.函數Φ(x)代表一個函數空間（是一個線性空間·），它是由函數的基Ψ(x)所張成的函數空間。
注解：
1.
span
英 [spæn] 美 [spæn]
n.
跨度;范圍;持續時間;包括的種類;(橋或拱的)墩距;跨距;寬度
vt.
跨越;橫跨;持續;貫穿;包括(廣大地區);涵蓋(多項內容)
2.
實際上是代數里面的線性空間得到的。
向量就是特殊的函數。
M看上去很麻煩，實際上就是向量空間推出來的。函數的很多定義其實可以通過向量推出來比如說什么叫做函數線性無關？
首先什么是向量線性無關呢？實際上向量線性無關和線性相關是非常簡單的一件事情。
如果存在一組不全為0的系數使得下式成立的話那么就是線性相關否則就是線性無關。
如果是線性相關的話就意味着其中1個向量可以有其余的向量線性表示出來。一表示出來的話就說明這個向量是多余的了，一般會想把多余的向量拿出去這樣簡單一點。
線性相關的向量剔除多余的基底，就變成線性無關了。
把上式換成函數的線性相關和無關的判斷的式子：
為何是恆等？因為這里面的函數式子列不出來，而向量是可以列出來的。
函數線性相關或者線性無關的判斷就是看看存不存在一組系數k使得上式成立。
第一行的那組基函數是線性無關的還是線性相關的呢？
也就是說是否存在一組系數k可以使得上式恆等於0呢?答案肯定是不存在的因為次多項式有n個根不是無窮多個根是有限個根，什么樣子的多項式有無窮多個根呢？只有0才有無窮多個根，所以不可能存在一組系數k使得上是恆等於0。所以是線性無關的，這樣看來，拉格朗日插值的時候，那組基函數就是線性無關的。牛頓插值的那組基函數也是線性無關的，所以才能表示出任意的插值函數。
拉格朗日插值和牛頓插值的基函數是互相等價的。
多項式中不同的基底（如拉格朗日插值的基底和牛頓插值的基底）就像是向量空間中不同的基底一樣。
那有么有線性相關的函數呢？
答：有。
下面這3個函數就是線性相關的。
存在一組不全為0的系數1，-1，-1使得上式恆等於0，所以這個3個函數是線性相關的。
3.經驗公式，一般是去除了誤差的公式。
1.
一般的話，m<n,且m比n小很多。
m是什么呢？n是什么呢？
答：n是所提供的數據點的個數。m是擬合的多項式的次數，m是擬合的基函數的個數。
要求出來擬合函數的話就是求上面這個式子的系數。
2.
ωk是什么呢？
答：是權。它的意義是突出說明哪個點更加的重要。加上一個權的話描述的東西會更多一點。
假如不考慮權的話，那ωk=1.
3.
可以看成是一個關於a0, a1一直到am的一個多元函數。權是知道的假如沒給的話那么全部取1就行了呀.
讓擬合函數相對原始數據的殘差平方和最小的問題就變成了求這個多元函數的極值問題.
對未知參數求偏導：
注解：
1.關於未知數a0,a1,...am是線性方程組，為何？
答：因為這些系數的次數是1次。
2.法方程的系數矩陣是正定的。
3.關於未知數a0,a1,...am是線性方程組的推導：
注解：
1.最小值為何是存在的呢：
答：找的擬合函數和原函數正好恆等的話，那么誤差平方和的最小值就是0，所以說最小值是存在的。
2.參數的解是關於權的最小二乘解。
3.最小二乘法在解沒有解的線性方程組的時候經常去用它。沒有解的線性方程組就是方程組個數大於未知數的線性方程組的情況。比如說2個未知數，3個方程（線性無關）。
注解：
1.φ可以選擇三角函數、指數函數、對數函數等函數。
2.基函數的個數（次數）不能超過4個（4），一般最多用到3次。
3.往往擬合的點是比較多的，此時函數模型找的是經驗公式。
注解：
1.擬合函數的基函數不一定是正交的，現在為避免病態，寫成正交的。這個正交概念，也是來源於向量空間。
2.向量正交的話，內積是0，這叫正交。
3.
4.怎樣找到基底是正交的基函數組呢？
注解：
1.每一個方程都是一個解，所以很容易得到最小二乘解。
2.span={1,x,x2,...xm},這一組基底，它們不是正交的。
3.對於n個線性無關的向量組，可以通過一定的方法（施密特方法）把它們化成正交的向量組。
注解：
1.把向量正交化的技術用到基函數里面了。
曲線擬合首先要找到一個函數模型，就是M函數類：
注解：
1.φ(x)是要求的擬合函數的函數模型，是關於已知函數的線性組合構成的(結構)，是那一組基底的線性組合，必須是線性組合，其它組合不行。
2.基底的一種：M=span(1,x,x2,...,xm).
注解：
1.給的不是拉格朗日形式的，而是類似牛頓插值的多項式的。
2.基函數為何不取正交的？而是一般的？答：次數沒超過4，不怕出現法方程系數矩陣病態的現象，不需要使用正交的多項式。
3.寫出函數方程，帶入值，再利用matlab對法方程求解得：
BTPB=
注解：
1.函數中基底函數的正交化可以和線性無關的向量組的正交化比對一下。
2.向量組及它們的正交化：
給了n個線性無關的向量相當於給了一套標架，這n個線性無關的向量組叫做一套標架，不是正交的向量組也可以建立坐標系用於描述平面或者空間中的點、圖形等幾何上的東西，但是用不是正交的2個（或者多個）線性無關的向量組描述一個幾何圖形的時候，就 不是我們常見的東西了，比如描述一個平面上的圓的時候，這個圓看起來可能像橢圓，球的話不是球，是橢球。
3.
二維空間還有一種仿射坐標（由不正交的線性無關的向量組構成的）。
施密特正交化，就是先固定一個軸不變（如固定x軸），讓其它的軸與事先被固定的軸垂直。假如有3個線性無關的向量，那第3個軸正交化的手段是讓它和前兩個正交化好的軸垂直。這就是施密特的想法。
函數的正交化不是很好看出來，但是仿照向量組的施密特正交化，可以做出正交化的函數。
注解：
1.函數的施密特正交化，參照了向量組的施密特正交化，原來是向量的東西，現在變成函數了。
2.相鄰的3個正交函數，有這樣的一個關系：
注解：
1.20次的擬合，計算機要做1年的時間。
2.高次擬合的話，才考慮把基底函數正交化的做法。
上述的題目是明確說求個2次曲線擬合，有時候讓求形如。。。形式的曲線。
φ(x)=a+b*x3
這相當於告訴你所要擬合曲線的結構。給了擬合曲線的結構下一步要做的就是找到擬合函數的基底：
φ0=1，φ1=0，φ2=0，φ3=x3，這正確嗎？答：不正確。
φ(x)里面有多少項就有多少個φ(x)。
正確的基底應該是：
φ0(x)=1，φ1(x)=x3
第2例：
所謂線性最小二乘擬合，指的是對基底函數的線性組合。基底函數可以不是線性函數。那有沒有非線性的最小二乘的情況呢？就是說系數a、b不是像上面那樣，對基底函數進行線性組合。答：有。下面的情況就是：
注解：
1.非線性最小二乘擬合比較麻煩，可能需要迭代的方法。
2.對於非線性最小二乘，可以化成線性最小二乘進行解算。
3.ebx,它能作為我的基函數嗎？答：不能。因為參數b不知道，是未知的，基函數都是已知的函數，沒有未知參數的函數。
4.並不是所有非線性模型都是可以轉化的。
例如：
y=a*xb
這個函數不是線性模型，因為xb不是已知的，但是還是可以轉換成線性模型，然后利用最小二乘求解。
這就化成了線性模型了，就可以利用線性最小二乘進行求解了。說明，y=a*xb是可轉化的。此時的基底是：1，In(x)
例如：
y=a*xb-c
這個不是線性模型，因為不是基函數的線性組合，可以轉化嗎？
答：不可以。
這個不好轉的，因為Y里面含有參數。在最小二乘中，Y值能算出來的，這里的Y值是算不出來的。
上面這個也不是線性模型，但是是可以轉化成最小二乘線性模型的。
注解：
1.原來的最小二乘模型是一元的，現在變成了多元了。
2.數據表是這樣的：
每個樣本都有m個特征（自變量）
例如，上式的線性模型是含有2個自變量（x,y）的線性模型。
例題：
注解：
1.葯起作用的原理：
(1)葯在身體里面呆一段時間。
(2)葯可以排出去。
2.假如用插值找這個關系，高次插值，容易出現龍格現象，不穩定。低次插值，是一段一段的，每一段都有一個參數，也不是很好。所以，最好用擬合的方法去找函數關系。擬合的話，公式比較完整，參數比較固定。
3.很奇怪，很多自然中的現象，問題都跟自然底數e有關系。
4.函數擬合模型是一個非線性擬合模型，先轉變為線性擬合模型再求解。
注解：
1.上面這個是最小二乘，是針對的離散的數據進行的最小二乘參數解算，那有沒有連續的情形呢？
2.連續屬於數學的理想化的東西，實際上現實生活中不怎么存在。
3.當最小二乘解決的問題中，點特別稠密的時候，比如1億個，求和就可以用積分表示了。
注解：
1.最佳平方逼近是連續自變量的最小二乘求解問題，只有數學中有用，實際中沒有用處。
2.最佳平方逼近的話，φ(x)是根據圖像猜想的經驗函數，f(x)也必須知道，不然積分積不出來。積分要是能積出來，f(x)必須已知，但是要是f(x)已知的話，那也沒必要進行最小二乘擬合了。
3.說到逼近的問題，一定是知道原始函數的表達式的，或者說知道原始函數的很多（甚至是無限多）數據點的。
注解：
1.在某個區間上擬合函數和原始之間差的最大值達到最小，這個叫做最佳一致逼近。
2.最佳一致逼近，最佳平方逼近，最佳一次逼近，里面的擬合函數φ(x)都是在某個（由一組線性無關的基底函數）組成的函數空間上的。
3.一組線性無關的基底函數，比如：
注解：
1.所有的積分的問題都可以用∑表示出來。
注解：
1.要做最佳平方逼近的話，就要給定3樣東西：區間，原始函數，權。
2.題目要求的是二次平方逼近，那就是說明擬合的函數模型是2次多項式。
3.求的是最佳平方逼近，說明不是最小二乘的曲線擬合，后者針對的是離散的問題，而最佳平方逼近求的是一個連續的擬合函數。但是方法及步驟和最小二乘擬合的方法是一樣的。
4.法方程中所有的內積都要用前面的內積公式算。
5.
6.發現：對於不同的權得到的最佳平方逼近函數不一樣。這個不奇怪，因為...
用的比較多的權函數是：
這個權函數畫出來的話，能看出來在哪個位置對函數影響最大。
注解：
1.30°，45°，60°，角度要首先化成弧度。按照°計算就錯了。
2.在計算階段誤差的時候，ε是位於第一個插值點和最后一個插值點的值。在一次插值的時候，ε的范圍是Π/4到Π/3之間的。
3.在計算插值的誤差的時候，在一點上的誤差和一個區間上的插值誤差分別按照下面兩個式子進行計算：
注解：
(1)沒給函數f(x)具體形式的，就寫f(x)就行了，給了的，就放大后算出來。
(2)這個最大值一般是估計出來的。
注解：
(1)這個最大值始終是可以算出來的。
4.二次插值的誤差的數量級是10的-3次方，比一次插值誤差小很多。
考察下面這個函數用插值函數和余項表示的形式：
注解：
1.只要適當的選擇一些插值點，可以利用這個式子找到f(x)和它的導數之間的關系。因為有了插值點，Ln(x)是可以表示出來的。
下面是例題：
注解：
1.余項中的導數是2階的時候，考慮插值是1次插值（線性插值）。
2.f(x)∈C2[a, b]表示f(x)在[a,b]上有二階連續導數。
3.f(a)=f(b)=0,相當於是給定了一組數據：
有數據表，自然而然就想到了插值。
4.求證的式子的等號左邊是一個區間上的最大值，不是某個點的最大值。
5.(x-a)(x-b)實際上是個拋物線。如果不是拋物線，那怎樣求最大值呢？
答：求駐點（導數值等於0的點），再和端點處的值進行比較。
小結：
1.在求函數和它的導數之間的關系的時候可以考慮首先把函數表示成插值函數和余項的和，然后余項的思想去求。
注解：
1.這個函數的積分是積不出來的。
2.2次插值：需要選擇3個點。
注解：
1.不要算，直接把值帶進去。
對於第2個問題，當x為何值時，積分值是0.5？直接讓上面的1式等於0.5，然后反求x，這樣行嗎？
答：可以是可以，但是很麻煩。相當於是解方程，2次函數還好，但是假如是3次，4次的話，就不太好解了。
那怎么辦？
答：最好用反插值就去做。反插值的做法就是把數據反過來。把x和y的值互換一下。
注解：
1.反插值要求函數的單調的。
注解：
1.函數f[x0,x1,x2,...,xk]是對稱函數，對這種函數中的自變量隨便調整它們的位置，函數是不變的。
比如：f(x,y)=f(y,x)嗎？答：一般來說是不等的。例如，f(x,y)=tan(x/y),x,y調換位置后，f(y,x)=tan(y/x),自變量調換位置后的函數和自變量調換位置前的函數是不相等的。因此，f(x,y)=tan(x/y)不是對稱函數。
f(x,y)=x2+y2這個函數是對稱函數。這是因為：
f(y,x)=y2+x2結果還是不變的。
自變量隨便調換，函數結果是不變的，這樣的函數叫做對稱函數。
對稱函數有很好的性質，如求偏導，只需要對一個自變量求偏導，然后對其它自變量求偏導的話，把求過偏導的自變量替換成其它自變量就行了。
構造一個比較復雜的對稱函數是不太容易的，但是如果利用差商的知識，就會比價容易了。
2.交換等式左邊的自變量次序的時候，相當於等式右邊的和發生了交換，而加法是滿足交換律的。
等式右邊的差商值，只依賴於等式左邊的點的集合，不依賴於點的次序。
下面的差商表來源於：(42條消息) 差商的概念及性質_十年磨一劍-CSDN博客_差商的性質
3.數學歸納法一般用於證明一個已存在的等式。公式已經有了，現在用歸納法去證明。
f[x0]=f(x0)，0階差商，相當於是不做差商，不做差商就是函數值。0階差商不是差商，所有從1階差商開始證明。f[x0,x1,x2,...,xk]代表函數f(x)的k階差商。
4.證明過程參考這個鏈接：42條消息) 差商的概念及性質_十年磨一劍-CSDN博客_差商的性質
5.在證明的過程中，假定有k=n時等式成立，解釋：對於等式而言，假定對於n+1個點的n階差商成立，再證明對於n+2個點的n+1階差商成立就行了。
6.k階差商是數據表中函數值的線性組合。
7.有這個式子，就可以證明差商是對稱函數。
注解：
1.一提到零點立刻就要想到函數的因子。函數一個零點意味着函數多項式有這個因子。
2.a0是最高項的系數，最高項的系數可以寫出來的。
注解：
1.相當於是:求x4關於權ρ(x)=1在[-1,1]上的最佳二次平方逼近。
2.低階差商可以按照定義算出來，但是高階差商的話，用定義算就很慢了。可以利用差商和導數之間的關系進行處理。
f(0,1,2,3,4,5)是5階差商，f(0,1,2,3,4,5)=1/5！分子是f(x)的5階導數。
f(0,1,2,3,4,5,6)=0
所以，數據特別多的話，可能是1或者0.