泛函四大定理：

本文轉載自查看原文 2019-08-26 22:44 1352 ml_notes

開映射定理和閉圖像定理及其應用 - dhchen的文章 - 知乎 https://zhuanlan.zhihu.com/p/28093420

泛函分析隨記（一）Hahn-Banach定理 - 陸藝的文章 - 知乎 https://zhuanlan.zhihu.com/p/53079862

hahn banach延拓定理里的一小步？ - 知乎 https://www.zhihu.com/question/263942231

小完結:Hahn-Banach定理及其應用 - dhchen的文章 - 知乎 https://zhuanlan.zhihu.com/p/28496285

泛函分析在經濟領域有什么應用嗎？ - 知乎 https://www.zhihu.com/question/31913447

泛函分析在經濟學中的作用有以下幾點：
1.價格體系本身是商品空間上的一個線性泛函，利用Hahn-Banach定理我們可以非常容易地證明福利經濟學第二定理。

2.要想嚴格地掌握最優控制，需要泛函分析的基礎。只是單純應用的話倒不必要，但是我還是強烈建議經濟學的博士生應該掌握Banach空間的微分學，這不光是變分法的問題，而且涉及到經濟學很多常用的非線性動力學問題。
對於隨機最優控制問題，我們一般有隨機Pontryagin最大值原理和Hamilton-Jacobi-Bellman方程兩種主要處理方式，HJB方程收斂性需要壓縮映射原理。詳情見盧卡斯《經濟學動態遞歸方法》。

3.金融數學中的資產定價基本定理需要依靠Hahn-Banach定理的幾何形式（凸集分離）以及Riesz表示定理。

4.不動點論證。這一塊嚴格來說屬於拓撲學而非分析學，不過泛函分析中很大一部分都在講拓撲方法。一般均衡理論是這一塊內容的標桿，在更復雜的問題中，當一般的不動點定理都失效的時候，我們需要借助映射度，作為最終的解決手段。
總之，就我了解的前沿現代宏觀經濟學來說，泛函分析與拓撲學的作用日益顯著，一如他們在量子力學和廣義相對論中的那樣。

作者：不變葉層
鏈接：https://www.zhihu.com/question/31913447/answer/112855460
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

補充一個更簡單的，banach不動點定理，也稱作壓縮映射定理。一般宏觀給出一個動態優化問題，然后寫出HJB方程，做value function iteration。只要能證明是壓縮映射，那么值函數收斂，就可以數值逼近了

聽說納什均衡存在性的證明用到了Brouwer不動點定理。

還有角谷靜夫定理在證明經濟學市場中全局平衡的存在性有很大作用。

從共鳴定理談起 - gajet的文章 - 知乎 https://zhuanlan.zhihu.com/p/48490417

從閉圖像定理看算子的有界和連續 - gajet的文章 - 知乎 https://zhuanlan.zhihu.com/p/49276709

什么叫做泛函空間的大數定律？ - 知乎 https://www.zhihu.com/question/27462946

什么叫做泛函空間的大數定律？ - 知乎

這個問題問得很深刻，人們花了很長的時間才領悟到這個問題的答案，所以解釋起來有點費力。我這里嘗試性地做一個解釋。
首先，我們需要搞明白三件事情：什么是一個學習問題、什么是風險最小化、什么是經驗風險最小化歸納原則。

什么是學習問題？
對於一個學習問題而言，給定了訓練樣本 $(x_1,y_1),(x_2,y_2), ... , (x_l,y_l)$ ，而訓練的樣本是根據聯合分布 $F(x,y)=F(x)F(y|x)$ 抽取的 $l$ 個獨立同分布的觀測。學習問題就是從給定的函數集 $f(x,\alpha),\alpha \in \Lambda$ 中選出能夠最好地逼近訓練樣本的函數，換句話說，就是用最優函數估計樣本背后蘊含的統計規律——用 $f(x,\alpha)$ 估計 $y$ 。注意， $\Lambda$ 是參數集合，參數 $\alpha\in\Lambda$ 並不一定必須是向量，可以是任意多抽象參數。

什么是風險最小化？
風險最小化是用損失函數 $L(y,f(x,\alpha))$ 表示輸入的真實響應 $y$ 與預測 $f(x,\alpha)$ 之間的差異，它的期望又被叫做風險泛函： $R(\alpha)=\int_{}^{} L(y,f(x,\alpha))dF(x,y), \alpha \in \Lambda$ 由於我們的概率測度 $F(x,y)$ 未知，所有可用的信息都來自訓練樣本。所以學習，又可以說成是在經驗數據（訓練樣本）的基礎上，最小化風險泛函。

什么是經驗風險最小化歸納原則？
顯然，我們並不知道概率測度，所以風險泛函並不能直接的計算和最小化。
根據大數定理，人們就很自然的想到用算術平均來代替風險泛函，從而又定義了經驗風險泛函 $R_{emp}(\alpha)=\frac{1}{l}\sum_{i=1}^{l}{L(y_i,f(x_i,\alpha))}$ ，用使得經驗風險最小的函數 $f(x,\alpha)$ 逼近使得風險泛函最小的函數 $f(x,\alpha_0)$ 。這個原則就被稱作經驗風險最小化（之后我們簡稱ERM）歸納原則。
對於一個歸納原則，如果任何給定的觀測數據，學習機器都依照這一原則來選擇逼近，則我們就可以說這個歸納原則定義了一個學習過程。

那么關鍵問題來了，為什么需要推廣大數定律？
傳統的概率統計，包括大數定律，研究的都是漸近理論，換句話說就是當樣本數趨向於無窮大時的極限特性。同樣的，傳統的模式識別幾乎所有的方法都是建立在大數定律基礎之上。但是，一個顯然的條件是，對於任何一個實際問題來說，訓練樣本的數量，只能是有限的。這里就隱含了一個命題：在樣本趨於無窮這個假設下得到的結論，當樣本數有限的時候，任然是有效的，或者，至少是一種不錯的近似。
一個很自然的想法，就是利用有限樣本估計分布，從而得到樣本空間的分布規律，這就是傳統模式識別的基本出發點。這種在分布已知或在估計分布的基礎上進行推斷的方式，屬於演繹推理。比如Bayes決策，是基於樣本的概率分布，可以獲得最優結果，保證期望風險最小。
實際上，樣本空間的分布規律如果已知的話，所有的學習問題在理論上都可以迎刃而解了。
所以，這時候人們發展了很多密度估計的方法，比如最大似然估計、最鄰近估計等等，這些對概率分布都是很好的估計方法，是一種很不錯的近似。然而，強的結果需要強的已知條件，Bayes方法、最大似然估計等都需要非常強的先驗知識，在實際問題當中，這是很難滿足的。
而核密度估計等非參數方法，需要的觀測數目又得足夠多，才能保證得到對以來關系較好的逼近，當樣本數量有限時，非參數方法的漸近特性也不再成立。
基於大數定律，先估計密度，然后用估計的密度來構造待求得函數，這種策略在利用有限樣本解決問題時，存在缺陷，傳統的模式識別里面，發展了很多的方法去“直接”尋找待求得函數（比如LDA、NN等）。這種在分布未知並不在估計分布的基礎上進行推斷的方式屬於歸納推理。
通用的方法，都是是建立某一標准判據函數，執行梯度下降（現在的部分Deep Learning有用的是Hinton在這個世紀提出的CD算法），達到判據最優值。
選取不同的判據函數，對於計算和收斂性就會出現不同的優劣，但都是執行相同的歸納原則——隨機逼近原則。這類算法的迭代停止標准，都是當學習過程達到飽和，即對訓練數據中所有元素梯度值都非常小，以至於學習過程無法繼續。
然而，這些的這些，基本思想是都是用ERM代替實際中無法實現的風險泛函最小化。所以，其隱含的命題是，學習過程的一致性是顯然的！也就是說，概率論中的大數定律顯然能夠推出：對於以給定函數序列 $Q(z,\alpha),l=1,2,...$ （其中 $z$ 代表數據對 $(x,y)$ ），ERM收斂到最小可能的風險泛函。這一命題似乎符合人們的直觀認識，但是卻很長時間里沒有被人們注意到，這是沒有被證明的。

所以，實際上傳統的模式識別的統計基礎，實際上是有兩個硬傷的：
（1）並沒有對ERM原則下統計學習的一致性進行分析，不能保證：經驗風險的下確界能夠概率收斂到風險泛函的下確界。
（2）大數定理能夠保證算法的漸進性，但是只考慮了漸近性，解決樣本有限的問題時，描述的僅僅只是一個極限過程，並沒有對收斂速度進行分析，並不一定能夠得到好的近似。

那么人們就迫切的需要解決這么幾個問題：
（1）ERM原則成立的條件是什么；
（2）學習過程收斂速度的界；
（3）小樣本如何進行歸納推理；
（4）如何控制學習過程的推廣能力；

對這些問題的研究，一共構成了學習理論的四個核心部分：
（1）學習過程的一致性。
（2）學習過程收斂速度的非漸近。
（3）控制學習過程的推廣能力。
（4）構造學習算法。

關於泛函空間的大數定律，就包含在第一個部分當中，學習過程的一致性，注意，這就是當下所有統計學習理論的基礎，所以說它是里程碑，不是泛泛而談。

那么，如何保證學習過程的一致性？
只有當滿足一致性條件，才能保證在ERM原則下得到的最優方法當樣本無窮大時趨於使得風險泛函的最優結果，只有滿足一致性條件，才能說明我們的學習方法是有效的。

在看一個關鍵性的定理之前，我們需要確切的描述到底什么才是一致：
對於損失函數集 $Q(z,\alpha),\alpha\in\Lambda$ 的任意非空子集 $\Lambda(c)=\{\alpha|\int_{}^{}Q(z,\alpha)dF(Z)>c,\alpha\in\Lambda \},c\in(-\infty,\infty)$ 都有 $\inf_{\alpha\in\Lambda(c)}R_{emp}(\alpha) \xrightarrow{P} \inf_{\alpha\in\Lambda(c)}R(\alpha),(l\rightarrow\infty)$ 成立，我們就說ERM方法對函數集 $Q(z,\alpha),\alpha\in\Lambda$ 和概率分布函數 $F(z)$ 是一致的。

那么對於這個定理：

設函數集 $Q(z,\alpha ),\alpha \in \Lambda$ 滿足條件 $A\leq \int_{}^{}Q(z,\alpha ) dF(z)\leq B(A\leq R(\alpha)\leq B),$ 那么EMR原則一致性的充分必要條件是：經驗風險 $R_{emp}(\alpha)$ 在函數集 $Q(z,\alpha )\in \Lambda$ 上以如下意義一致收斂於期望風險 $R\left( \alpha \right)$ ： $\lim_{l\rightarrow\infty}P \{ \sup_{\alpha\in\Lambda}(R(\alpha)-R_{emp}(\alpha))>\epsilon \}=0,\forall \epsilon>0$

所達到的效果，就是把ERM方法的一致性問題轉化為一個一致收斂的問題。
因此，如果函數集 $Q\left( z,\alpha \right) , \alpha \in \Lambda$ 中只包含一個元素，由統計學中的大數定律可以立刻得到上述定理的成立。若函數集中包含有限個 $Q(z,\alpha),\alpha\in\Lambda$ 中包含有限數目N個元素，統計學中的大數定律，仍然可以證明出上面的定理。可惜是，當函數集 $Q(z,\alpha),\alpha\in\Lambda$ 中存在無限多個元素時，統計學的大數定律就失效了，無法得到上面的定理。所以我們這才迫切的需要泛函空間的大數定律（在函數 $Q(z,\alpha),\alpha\in\Lambda$ 的空間）。
至於為什么，我想這個答案的篇幅有點長了，簡短的篇幅不足以解釋這些，如果題主感興趣，可以參考最后給出的參考文獻[1]。

綜上所述，統計學習理論的統計基礎（里程碑）是泛函空間的大數定律（在函數 $Q(z,\alpha),\alpha\in\Lambda$ 的空間），而不是傳統概率統計的大數定律（在樣本空間中）。

進一步閱讀的參考文獻
[1] Vladimir N. Vapnik著. 統計學習理論的本質.

用Banach逆定理推導開映射定理的過程實際上可以吸收進Banach空間的基本同構定理。

1.開映射是一個重要的拓撲學概念，先討論容易想到的Banach逆定理，再通過求導算子的例子強調到上條件

2.完備性分別產生第二綱與閉圖像效果，要區分閉算子與閉圖像算子，再討論閉圖像算子與連續算子的關系。

3.由Banach逆定理可導出開映射定理，然后能推論中范數比較定理，最后通過定義圖范數得到閉圖像定理。

完備性使得Banach空間的線性維數不是可數的，請看博文：為什么不存在可數維Banach空間

只要不考慮度量結構，有限維的Banach空間與歐式空間相差無幾，具有很多良好的性質，那么在這個基礎上是不是可以進一步推廣呢？一個自然的想法就是所謂的可數維空間，但實際上可數維Banach空間是不存在的，這是一個多少有點令人驚訝的結論！

有的學生也許會有疑問，我好想聽說過可分Hilbert空間是可數維的，既然Hilbert空間是一種特殊的Banach空間，那么不就是說存在着可數維的Banach空間嗎？其實，這里兩個維數的概念是不同的，在Hilbert空間中我們一般默認的是正交維數，而Banach空間中則是指線性維數。事實上，當正交維數是可數無限的時候，其線性維數是不可數的。其實，對於Hilbert空間，我們有更加簡明的處理方案，詳見Halmos的《Hilbert空間問題集》第一章內關於線性維數的問題。

要說明不存在可數維Banach空間，一般泛函分析書中都用綱（category）來進行討論，這里我准備先做個直觀說明，它實際上就是對綱這一概念的動機闡釋。請注意，下文的討論盡管非常直觀，但在邏輯上並不是很嚴格的，只是算是指指點點而已。

先討論開集的存在性，把開集換成開球（不帶邊界的小球）更加直觀，但並不影響具體的結論。先考慮直線上是否包含開集存在，一般人可能覺得這是顯然的，但我們要發揮一下某小研究生雞蛋里面挑骨頭的精神，問一維直線中有沒有二維的開球，那自然就是找不到的啦！既然二維的都找不到，那么三維、四維乃至無窮維當然更是無從尋覓了。

當然啦，非要裝二維開球的話，至少就需要二維空間，也就是說平面。可某小研究生又要在雞蛋里挑骨頭，非要在二維平面上找三維的開球，那自然還是找不到的，四維、五位就更不用說了。同樣到底，三維空間中也沒有四維開球，四維空間中也沒有五維開球，任何有限維空間中自然不會有無窮維的開球！

不僅低維空間中找不到高維的開球，而且有限個乃至可數個低維空間的並集中也容不下一個高維開球。要想能夠包容高維個球，這個並至少得是不可數並。比如平面就可以看成是不可數個直線的並，若只是可數個直線的並，其中一定會有空隙的地方，因此容不下一個二維開球的。

做完這些准備工作之后，我們可以得到第一個結論，可數維賦范空間不包含開球。假設可數維Bananch空間X存在，則它必有一個Hamel基{ei}，令Xn是由{e1，…，en}張成的有限維空間，則各Xn均不包含無窮維開球，因此X作為它們的可數並也不包含無窮維開球，即便這個開球只是可數維的。

下面我們就要問一個問題，我們的空間是否可以真的不包含開球呢？實際上，只要空間的維數與球相同，那么在理論上是應該存在開球的，如果不存在的話，就說明有某種洞在妨礙着。一個經典例子就是實數R中的有理數Q，任何R的開球內都有無理數，也就是說Q中不包含開球，實際上R\Q中也同樣不包含開球。當然，假若取誘導拓撲的話可以容忍有洞的開球，但這個誘導帶有某種強迫的意味，這里我們討論的是在原先空間中的天然開球。

我們知道Banach空間就是完備的賦范線性空間，這就說明它實際上沒有洞，因此其自身的開球總是存在的，但上文的討論已經說明了可數維Banach空間中確實沒有可數維開球，這就導致了矛盾！

在這樣的動機下，我們可以專門定義綱的概念，本質上就是開球的存在性與與否。先定義閉包不含內點的集為無處稠密集，也就是說補完洞之后還不包含開球，然后再定義第一綱集為無處稠密的可數並，否則就稱為第二綱集。盡管就只有這么兩大類，但確實能夠說明不少問題，對此在Rudin的《泛函分析》中不失幽默的評論說：“這個術語（屬於Baire）是公認的平淡無味和缺少啟發性的，在某些教科書中采用貧乏集和非貧乏集來代替。但是‘綱推理'是這樣牢固地置身於數學文獻之中並且如此著名以致於使堅持要改變它的努力看起來是徒勞的”。

這樣一來，上述討論在泛函分析中就被簡化成了兩句話，可數維賦范空間是第一綱的，而Banach空間作為完備度量空間是第二綱的，因此就不存在可數維Banach空間！

那個綱也是衡量集合大小的一個標准啊！請看博文：漫談集合比較：基數、測度與綱

https://www.zhihu.com/people/gajet/posts

gajet

獲得 244 次贊同

439 次收藏

關注了

關注者

873

關注的話題0 關注的專欄0 關注的問題0 關注的收藏夾0

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 數論四大定理數論篇5——數論四大定理證明：數論四大定理之中國剩余定理數論四大定理——威爾遜定理證明：數論四大定理之歐拉定理與費馬小定理泛函編程（0）－什么是泛函編程 ACM數論之旅5---數論四大定理（你怕不怕(☆ﾟ∀ﾟ)老實告訴我）（二）泛函的極值泛函是個什么概念話說泛函——Hilbert空間

泛函四大定理：

什么叫做泛函空間的大數定律？ - 知乎

gajet

他的文章

從希爾伯特空間的角度看線性變換的一般思想和問題

譜積分以及譜分解的理解

從閉圖像定理看算子的有界和連續

從共鳴定理談起

共軛空間同構的理解

完備空間，致密集，緊集和完全有界集，稠密集等概念辨析

討論Banach空間C[a,b]的基本點列

稠密,可析點集,可析空間和疏朗集等概念的辨析

度量空間的極限點概念的理解

度量空間、賦范線性空間和拓撲空間的辨析

商集和商空間的理解

習題4.2

《實變函數論與泛函分析(下冊)》夏道行版可能的錯誤

習題 3.8

關於廣義測度的理解

習題3.7的練習

習題3.4的解答

三個極限定理的辨析

可測空間，測度空間以及完全測度空間概念辨析

L測度以及L-S測度概念辨析

免責聲明！