泛函四大定理：

本文转载自查看原文 2019-08-26 22:44 1352 ml_notes

开映射定理和闭图像定理及其应用 - dhchen的文章 - 知乎 https://zhuanlan.zhihu.com/p/28093420

泛函分析随记（一）Hahn-Banach定理 - 陆艺的文章 - 知乎 https://zhuanlan.zhihu.com/p/53079862

hahn banach延拓定理里的一小步？ - 知乎 https://www.zhihu.com/question/263942231

小完结:Hahn-Banach定理及其应用 - dhchen的文章 - 知乎 https://zhuanlan.zhihu.com/p/28496285

泛函分析在经济领域有什么应用吗？ - 知乎 https://www.zhihu.com/question/31913447

泛函分析在经济学中的作用有以下几点：
1.价格体系本身是商品空间上的一个线性泛函，利用Hahn-Banach定理我们可以非常容易地证明福利经济学第二定理。

2.要想严格地掌握最优控制，需要泛函分析的基础。只是单纯应用的话倒不必要，但是我还是强烈建议经济学的博士生应该掌握Banach空间的微分学，这不光是变分法的问题，而且涉及到经济学很多常用的非线性动力学问题。
对于随机最优控制问题，我们一般有随机Pontryagin最大值原理和Hamilton-Jacobi-Bellman方程两种主要处理方式，HJB方程收敛性需要压缩映射原理。详情见卢卡斯《经济学动态递归方法》。

3.金融数学中的资产定价基本定理需要依靠Hahn-Banach定理的几何形式（凸集分离）以及Riesz表示定理。

4.不动点论证。这一块严格来说属于拓扑学而非分析学，不过泛函分析中很大一部分都在讲拓扑方法。一般均衡理论是这一块内容的标杆，在更复杂的问题中，当一般的不动点定理都失效的时候，我们需要借助映射度，作为最终的解决手段。
总之，就我了解的前沿现代宏观经济学来说，泛函分析与拓扑学的作用日益显著，一如他们在量子力学和广义相对论中的那样。

作者：不变叶层
链接：https://www.zhihu.com/question/31913447/answer/112855460
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

补充一个更简单的，banach不动点定理，也称作压缩映射定理。一般宏观给出一个动态优化问题，然后写出HJB方程，做value function iteration。只要能证明是压缩映射，那么值函数收敛，就可以数值逼近了

听说纳什均衡存在性的证明用到了Brouwer不动点定理。

还有角谷静夫定理在证明经济学市场中全局平衡的存在性有很大作用。

从共鸣定理谈起 - gajet的文章 - 知乎 https://zhuanlan.zhihu.com/p/48490417

从闭图像定理看算子的有界和连续 - gajet的文章 - 知乎 https://zhuanlan.zhihu.com/p/49276709

什么叫做泛函空间的大数定律？ - 知乎 https://www.zhihu.com/question/27462946

什么叫做泛函空间的大数定律？ - 知乎

这个问题问得很深刻，人们花了很长的时间才领悟到这个问题的答案，所以解释起来有点费力。我这里尝试性地做一个解释。
首先，我们需要搞明白三件事情：什么是一个学习问题、什么是风险最小化、什么是经验风险最小化归纳原则。

什么是学习问题？
对于一个学习问题而言，给定了训练样本 $(x_1,y_1),(x_2,y_2), ... , (x_l,y_l)$ ，而训练的样本是根据联合分布 $F(x,y)=F(x)F(y|x)$ 抽取的 $l$ 个独立同分布的观测。学习问题就是从给定的函数集 $f(x,\alpha),\alpha \in \Lambda$ 中选出能够最好地逼近训练样本的函数，换句话说，就是用最优函数估计样本背后蕴含的统计规律——用 $f(x,\alpha)$ 估计 $y$ 。注意， $\Lambda$ 是参数集合，参数 $\alpha\in\Lambda$ 并不一定必须是向量，可以是任意多抽象参数。

什么是风险最小化？
风险最小化是用损失函数 $L(y,f(x,\alpha))$ 表示输入的真实响应 $y$ 与预测 $f(x,\alpha)$ 之间的差异，它的期望又被叫做风险泛函： $R(\alpha)=\int_{}^{} L(y,f(x,\alpha))dF(x,y), \alpha \in \Lambda$ 由于我们的概率测度 $F(x,y)$ 未知，所有可用的信息都来自训练样本。所以学习，又可以说成是在经验数据（训练样本）的基础上，最小化风险泛函。

什么是经验风险最小化归纳原则？
显然，我们并不知道概率测度，所以风险泛函并不能直接的计算和最小化。
根据大数定理，人们就很自然的想到用算术平均来代替风险泛函，从而又定义了经验风险泛函 $R_{emp}(\alpha)=\frac{1}{l}\sum_{i=1}^{l}{L(y_i,f(x_i,\alpha))}$ ，用使得经验风险最小的函数 $f(x,\alpha)$ 逼近使得风险泛函最小的函数 $f(x,\alpha_0)$ 。这个原则就被称作经验风险最小化（之后我们简称ERM）归纳原则。
对于一个归纳原则，如果任何给定的观测数据，学习机器都依照这一原则来选择逼近，则我们就可以说这个归纳原则定义了一个学习过程。

那么关键问题来了，为什么需要推广大数定律？
传统的概率统计，包括大数定律，研究的都是渐近理论，换句话说就是当样本数趋向于无穷大时的极限特性。同样的，传统的模式识别几乎所有的方法都是建立在大数定律基础之上。但是，一个显然的条件是，对于任何一个实际问题来说，训练样本的数量，只能是有限的。这里就隐含了一个命题：在样本趋于无穷这个假设下得到的结论，当样本数有限的时候，任然是有效的，或者，至少是一种不错的近似。
一个很自然的想法，就是利用有限样本估计分布，从而得到样本空间的分布规律，这就是传统模式识别的基本出发点。这种在分布已知或在估计分布的基础上进行推断的方式，属于演绎推理。比如Bayes决策，是基于样本的概率分布，可以获得最优结果，保证期望风险最小。
实际上，样本空间的分布规律如果已知的话，所有的学习问题在理论上都可以迎刃而解了。
所以，这时候人们发展了很多密度估计的方法，比如最大似然估计、最邻近估计等等，这些对概率分布都是很好的估计方法，是一种很不错的近似。然而，强的结果需要强的已知条件，Bayes方法、最大似然估计等都需要非常强的先验知识，在实际问题当中，这是很难满足的。
而核密度估计等非参数方法，需要的观测数目又得足够多，才能保证得到对以来关系较好的逼近，当样本数量有限时，非参数方法的渐近特性也不再成立。
基于大数定律，先估计密度，然后用估计的密度来构造待求得函数，这种策略在利用有限样本解决问题时，存在缺陷，传统的模式识别里面，发展了很多的方法去“直接”寻找待求得函数（比如LDA、NN等）。这种在分布未知并不在估计分布的基础上进行推断的方式属于归纳推理。
通用的方法，都是是建立某一标准判据函数，执行梯度下降（现在的部分Deep Learning有用的是Hinton在这个世纪提出的CD算法），达到判据最优值。
选取不同的判据函数，对于计算和收敛性就会出现不同的优劣，但都是执行相同的归纳原则——随机逼近原则。这类算法的迭代停止标准，都是当学习过程达到饱和，即对训练数据中所有元素梯度值都非常小，以至于学习过程无法继续。
然而，这些的这些，基本思想是都是用ERM代替实际中无法实现的风险泛函最小化。所以，其隐含的命题是，学习过程的一致性是显然的！也就是说，概率论中的大数定律显然能够推出：对于以给定函数序列 $Q(z,\alpha),l=1,2,...$ （其中 $z$ 代表数据对 $(x,y)$ ），ERM收敛到最小可能的风险泛函。这一命题似乎符合人们的直观认识，但是却很长时间里没有被人们注意到，这是没有被证明的。

所以，实际上传统的模式识别的统计基础，实际上是有两个硬伤的：
（1）并没有对ERM原则下统计学习的一致性进行分析，不能保证：经验风险的下确界能够概率收敛到风险泛函的下确界。
（2）大数定理能够保证算法的渐进性，但是只考虑了渐近性，解决样本有限的问题时，描述的仅仅只是一个极限过程，并没有对收敛速度进行分析，并不一定能够得到好的近似。

那么人们就迫切的需要解决这么几个问题：
（1）ERM原则成立的条件是什么；
（2）学习过程收敛速度的界；
（3）小样本如何进行归纳推理；
（4）如何控制学习过程的推广能力；

对这些问题的研究，一共构成了学习理论的四个核心部分：
（1）学习过程的一致性。
（2）学习过程收敛速度的非渐近。
（3）控制学习过程的推广能力。
（4）构造学习算法。

关于泛函空间的大数定律，就包含在第一个部分当中，学习过程的一致性，注意，这就是当下所有统计学习理论的基础，所以说它是里程碑，不是泛泛而谈。

那么，如何保证学习过程的一致性？
只有当满足一致性条件，才能保证在ERM原则下得到的最优方法当样本无穷大时趋于使得风险泛函的最优结果，只有满足一致性条件，才能说明我们的学习方法是有效的。

在看一个关键性的定理之前，我们需要确切的描述到底什么才是一致：
对于损失函数集 $Q(z,\alpha),\alpha\in\Lambda$ 的任意非空子集 $\Lambda(c)=\{\alpha|\int_{}^{}Q(z,\alpha)dF(Z)>c,\alpha\in\Lambda \},c\in(-\infty,\infty)$ 都有 $\inf_{\alpha\in\Lambda(c)}R_{emp}(\alpha) \xrightarrow{P} \inf_{\alpha\in\Lambda(c)}R(\alpha),(l\rightarrow\infty)$ 成立，我们就说ERM方法对函数集 $Q(z,\alpha),\alpha\in\Lambda$ 和概率分布函数 $F(z)$ 是一致的。

那么对于这个定理：

设函数集 $Q(z,\alpha ),\alpha \in \Lambda$ 满足条件 $A\leq \int_{}^{}Q(z,\alpha ) dF(z)\leq B(A\leq R(\alpha)\leq B),$ 那么EMR原则一致性的充分必要条件是：经验风险 $R_{emp}(\alpha)$ 在函数集 $Q(z,\alpha )\in \Lambda$ 上以如下意义一致收敛于期望风险 $R\left( \alpha \right)$ ： $\lim_{l\rightarrow\infty}P \{ \sup_{\alpha\in\Lambda}(R(\alpha)-R_{emp}(\alpha))>\epsilon \}=0,\forall \epsilon>0$

所达到的效果，就是把ERM方法的一致性问题转化为一个一致收敛的问题。
因此，如果函数集 $Q\left( z,\alpha \right) , \alpha \in \Lambda$ 中只包含一个元素，由统计学中的大数定律可以立刻得到上述定理的成立。若函数集中包含有限个 $Q(z,\alpha),\alpha\in\Lambda$ 中包含有限数目N个元素，统计学中的大数定律，仍然可以证明出上面的定理。可惜是，当函数集 $Q(z,\alpha),\alpha\in\Lambda$ 中存在无限多个元素时，统计学的大数定律就失效了，无法得到上面的定理。所以我们这才迫切的需要泛函空间的大数定律（在函数 $Q(z,\alpha),\alpha\in\Lambda$ 的空间）。
至于为什么，我想这个答案的篇幅有点长了，简短的篇幅不足以解释这些，如果题主感兴趣，可以参考最后给出的参考文献[1]。

综上所述，统计学习理论的统计基础（里程碑）是泛函空间的大数定律（在函数 $Q(z,\alpha),\alpha\in\Lambda$ 的空间），而不是传统概率统计的大数定律（在样本空间中）。

进一步阅读的参考文献
[1] Vladimir N. Vapnik著. 统计学习理论的本质.

用Banach逆定理推导开映射定理的过程实际上可以吸收进Banach空间的基本同构定理。

1.开映射是一个重要的拓扑学概念，先讨论容易想到的Banach逆定理，再通过求导算子的例子强调到上条件

2.完备性分别产生第二纲与闭图像效果，要区分闭算子与闭图像算子，再讨论闭图像算子与连续算子的关系。

3.由Banach逆定理可导出开映射定理，然后能推论中范数比较定理，最后通过定义图范数得到闭图像定理。

完备性使得Banach空间的线性维数不是可数的，请看博文：为什么不存在可数维Banach空间

只要不考虑度量结构，有限维的Banach空间与欧式空间相差无几，具有很多良好的性质，那么在这个基础上是不是可以进一步推广呢？一个自然的想法就是所谓的可数维空间，但实际上可数维Banach空间是不存在的，这是一个多少有点令人惊讶的结论！

有的学生也许会有疑问，我好想听说过可分Hilbert空间是可数维的，既然Hilbert空间是一种特殊的Banach空间，那么不就是说存在着可数维的Banach空间吗？其实，这里两个维数的概念是不同的，在Hilbert空间中我们一般默认的是正交维数，而Banach空间中则是指线性维数。事实上，当正交维数是可数无限的时候，其线性维数是不可数的。其实，对于Hilbert空间，我们有更加简明的处理方案，详见Halmos的《Hilbert空间问题集》第一章内关于线性维数的问题。

要说明不存在可数维Banach空间，一般泛函分析书中都用纲（category）来进行讨论，这里我准备先做个直观说明，它实际上就是对纲这一概念的动机阐释。请注意，下文的讨论尽管非常直观，但在逻辑上并不是很严格的，只是算是指指点点而已。

先讨论开集的存在性，把开集换成开球（不带边界的小球）更加直观，但并不影响具体的结论。先考虑直线上是否包含开集存在，一般人可能觉得这是显然的，但我们要发挥一下某小研究生鸡蛋里面挑骨头的精神，问一维直线中有没有二维的开球，那自然就是找不到的啦！既然二维的都找不到，那么三维、四维乃至无穷维当然更是无从寻觅了。

当然啦，非要装二维开球的话，至少就需要二维空间，也就是说平面。可某小研究生又要在鸡蛋里挑骨头，非要在二维平面上找三维的开球，那自然还是找不到的，四维、五位就更不用说了。同样到底，三维空间中也没有四维开球，四维空间中也没有五维开球，任何有限维空间中自然不会有无穷维的开球！

不仅低维空间中找不到高维的开球，而且有限个乃至可数个低维空间的并集中也容不下一个高维开球。要想能够包容高维个球，这个并至少得是不可数并。比如平面就可以看成是不可数个直线的并，若只是可数个直线的并，其中一定会有空隙的地方，因此容不下一个二维开球的。

做完这些准备工作之后，我们可以得到第一个结论，可数维赋范空间不包含开球。假设可数维Bananch空间X存在，则它必有一个Hamel基{ei}，令Xn是由{e1，…，en}张成的有限维空间，则各Xn均不包含无穷维开球，因此X作为它们的可数并也不包含无穷维开球，即便这个开球只是可数维的。

下面我们就要问一个问题，我们的空间是否可以真的不包含开球呢？实际上，只要空间的维数与球相同，那么在理论上是应该存在开球的，如果不存在的话，就说明有某种洞在妨碍着。一个经典例子就是实数R中的有理数Q，任何R的开球内都有无理数，也就是说Q中不包含开球，实际上R\Q中也同样不包含开球。当然，假若取诱导拓扑的话可以容忍有洞的开球，但这个诱导带有某种强迫的意味，这里我们讨论的是在原先空间中的天然开球。

我们知道Banach空间就是完备的赋范线性空间，这就说明它实际上没有洞，因此其自身的开球总是存在的，但上文的讨论已经说明了可数维Banach空间中确实没有可数维开球，这就导致了矛盾！

在这样的动机下，我们可以专门定义纲的概念，本质上就是开球的存在性与与否。先定义闭包不含内点的集为无处稠密集，也就是说补完洞之后还不包含开球，然后再定义第一纲集为无处稠密的可数并，否则就称为第二纲集。尽管就只有这么两大类，但确实能够说明不少问题，对此在Rudin的《泛函分析》中不失幽默的评论说：“这个术语（属于Baire）是公认的平淡无味和缺少启发性的，在某些教科书中采用贫乏集和非贫乏集来代替。但是‘纲推理'是这样牢固地置身于数学文献之中并且如此著名以致于使坚持要改变它的努力看起来是徒劳的”。

这样一来，上述讨论在泛函分析中就被简化成了两句话，可数维赋范空间是第一纲的，而Banach空间作为完备度量空间是第二纲的，因此就不存在可数维Banach空间！

那个纲也是衡量集合大小的一个标准啊！请看博文：漫谈集合比较：基数、测度与纲

https://www.zhihu.com/people/gajet/posts

gajet

获得 244 次赞同

439 次收藏

关注了

关注者

873

关注的话题0 关注的专栏0 关注的问题0 关注的收藏夹0

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 数论四大定理数论篇5——数论四大定理证明：数论四大定理之中国剩余定理数论四大定理——威尔逊定理证明：数论四大定理之欧拉定理与费马小定理泛函编程（0）－什么是泛函编程 ACM数论之旅5---数论四大定理（你怕不怕(☆ﾟ∀ﾟ)老实告诉我）（二）泛函的极值泛函是个什么概念话说泛函——Hilbert空间

泛函四大定理：

什么叫做泛函空间的大数定律？ - 知乎

gajet

他的文章

从希尔伯特空间的角度看线性变换的一般思想和问题

谱积分以及谱分解的理解

从闭图像定理看算子的有界和连续

从共鸣定理谈起

共轭空间同构的理解

完备空间，致密集，紧集和完全有界集，稠密集等概念辨析

讨论Banach空间C[a,b]的基本点列

稠密,可析点集,可析空间和疏朗集等概念的辨析

度量空间的极限点概念的理解

度量空间、赋范线性空间和拓扑空间的辨析

商集和商空间的理解

习题4.2

《实变函数论与泛函分析(下册)》夏道行版可能的错误

习题 3.8

关于广义测度的理解

习题3.7的练习

习题3.4的解答

三个极限定理的辨析

可测空间，测度空间以及完全测度空间概念辨析

L测度以及L-S测度概念辨析

免责声明！