高等數學學習筆記

Part 1: 極限

• 設函數f(x)在點\(x_0\)的某一去心鄰域內有定義，如果存在常數A，對於任意給定的正數ε（無論它多么小），總存在正數\(δ\)，使得對於$$0<|x-x_0|<δ$$ 均有$$f(x)-A<ε$$

• 那么常數A就叫做函數f(x)當時\(x→x_0\)的極限，記作

\[\lim_{x\to x_0}f(x) = A \]

夾逼定理

在求函數\(f(x)\)的極限時，可以通過兩個函數夾它

舉例：\(\lim_{x\to 0}\frac{sum(x)}x = 1\)

易知\(sin(x) < x < tan(x)\), 得\(cos(x) < \frac{sin(x)}x < 1\)

因為\(\displaystyle\lim_{x\to 0} cos(x) = 1,1=1\), 所以原式得證

Part 2: 導數

• 斜率：對於一次函數\(y=kx+b\)斜率即為k。

• 導數：通俗的說函數在一點的導數為在該處做切線，所得直線的斜率

\[\large{f'(x_0)=\lim_{\delta x \to 0}}\frac{f(x_0+\delta x) - f(x_0)}{\delta x} \]

• 也可記做\(\frac{dy}{dx}\)

• 將原函數y(x)每個點的導數全部算出后形成一個新的函數叫做原函數的導函數\(y'(x)\)

• 高階導記作 \(f^{(n)}\)

可導: 　從左側與右側趨近極限相同時才可定義導數

導數表：

導數與函數單調性

眾所周知, 導數和函數單調性有着不可分割的關系

• 一階導數描述增減, 一階導等於零時, 原函數處於區間最值
• 二階導數描述一階導數增減, 描述原函數的凹凸性

導數公式

四則運算:

\[(u \pm v)' = u' \pm v'\\(uv)'= u'v + v'u\\(\frac uv)'=\frac{(u'v-v'u)}{v^2}\\(C \cdot f(x))'=C \cdot f'(x) \\(f(g(x)))'=f'(g(x)) \cdot g'(x) \]

求導練習題

• \((2x^2-3ln(x))' = 4x-\frac 3x\)
• \(((x^2+1)(x +2))' = (x^2+1)(1)+(2x)(x+2)=3x^2+4x+1\)
• \((sin(3x+2))'=sin'(3x+2)(3x)=3x\cdot cos(3x+2)\)

Part 3: 洛必達法則：

若\(f(x)\)和\(g(x)\)在a點處為零

\[\large{\lim_{x \to a}\frac{f(x)}{g(x)} = lim_{x \to a}\frac{\frac{f(x)-f(a)}{x-a}}{\frac{g(x)-g(a)}{x-a}}=\lim_{x \to a}\frac{f'(x)}{g'(x)}} \]

洛必達法則可以多次使用, 即多次求導

Part4: 自然對數e:

\[\large{e=\lim_{n \to \infty}(1+\frac1n)^n=2.718281828459\cdots} \]

奇妙的性質:

\[f(x) = e^x~~~f'(x) = e^x\\f(x) =ln~x ~~~f'(x)=\frac 1x \]

Part5: 尋找方程的根: 牛頓迭代法

找方程的根首先我們可以隨機兩個點, 使用勘根定理, 如果\(f(a)\cdot f(b) \leq 0\)則在區間\([a, b]\)內二分.

但是我們可能並不能很好的找到根所在的區間, 於是牛頓迭代法應運而生

求解方程\(f(x)=0\), 隨機一個初始點

• 對於當前點x，做切線(求導)，計算與x軸交點作為下一輪迭代的x

• 可得\(x_{next}=x-\frac{f(x)}{f’(x)}\)

• \(f(x)<eps\)時終止，對於大部分函數有效(反例\(y=\frac1x 或~y=\sqrt {|x|}\))

Part6: 定積分

• 求函數 \([a,b]\) 區間里的有向面積，在 x 軸上方為正，x 軸下方為負。

• 極限法：將區域切成無數細長條，每一長條用矩形面積 \(f(x)*dx\) 近似 (update by senpai)

\[S = \int_a^bf(x)dx \\=\lim_{||\pi|| \to 0}\sum_{i=1}^nf(x_i)\Delta x_i \]

例: 求定積分

\[\int_0^cx^2dx= \displaystyle \lim_{n \to \infty}x_k^2dx \]

\[原式=\lim_{n \to \infty}(\frac{ck}n)^2(\frac cn)\\=\lim_{n \to \infty}(\frac{c^3}{n^3})\sum_{0 \leq k<n}k^2\\=\lim_{n \to \infty}\large{(\frac{c^3(2n^3-3n^2+n)}{6n^3})}\\=\frac {c^3}3 \]

一般形式:

\[\displaystyle \int_0^cx^ndx=\frac{c^{n+1}}{n+1} \]

積分與微分

積分與微分可以感性的理解為升維與降維, 所以它們天生有着妙不可言的關系:

\[f'(x)dx=\lim_{n \to \infty}\sum_{0 \leq k < n}f(x_k)'dx\\=\lim_{n \to \infty}\sum_{0 \leq k < n}\large{\frac{f(x_{k+1})-f(x_k)}{(x_{k+1}-x_k)}(x_{k+1}-x_k)}\\=\lim_{n \to \infty}\sum_{0 \leq k < n}f(x_{k+1})-f(x_k)\\=\lim_{n \to \infty}f(x_{n-1})-f(x_0)=f(b)-f(a) \]

積分與無窮向量

對於一個函數\(f(x)\)可以理解為一個無窮維的向量，每個點的函數值是一個維度，那么兩個函數\(f(x)\)和\(g(x)\)的內積就可以理解為\(\int f(x)g(x)dx\)

Part 7: 自適應Simpson積分法

前置:求二次函數區間內的有向面積;

• 見定積分基本內容

二次函數擬合積分法:

\[\int^b_af(x)dx \approx \frac{b-a}6(f(a)+4f(\frac{a+b}2)+f(b) \]

可以使用自適應法控制精度問題

inline double simpson(double a, double b) {
    return (b - a) * (f(a) + f(b) + 4 * (f(((a+b)/2)))) / 6;
}

double eps = 1e-6;
double solve(double l, double r, double A, double eps) {
    double mid = (l + r) / 2;
    double L = simpson(l, mid), R = simpson(mid, r);
    if (fabs(L+R-A) <= 15 * eps) return L + R + (L+R-A) / 15.0;
    return solve(l, mid, L, eps / 2) + solve(mid, r, R, eps / 2);
}

應用: 在求解計算幾何中的面積問題時

可以建立坐標系, 將面積化為一個函數, 求圓等圓滑的圖形, 函數是平滑的, 但積分法無法解決一段函數全為零的情況, 所以提前判斷有值的兩端端點進行積分

Part8:函數最優化

給定多元函數\(f(x) \to R\), 求f(x)最小值

爬山法, 隨機方向, 隨機步長, 只向更優解走

如果函數存在導數, 有更好的方法, 如\(f(x)=sin(x_1)cos(x_2)\)

求偏導 :相當於定住其他變量, 求單一變量的導數

• 對於二元函數\(f(x,y)\)，在\((x_0,y_0)\)處固定y不變切片移動x，可以得到一個單變量函數\(g(x)\)，同理固定x不變可以得到\(h(y)\)，可以定義某一個方向的導數

• 求導時只需將另一個變量當做常數即可。

偏導練習

• \((x^2+1)(y+2)\)
• \(\large{\frac{sin^2(\frac3y)+ln(cos ~xy)}{x^5e^y}}\)

偏導數與梯度

• 梯度：\(\delta f(x,y)= (\frac{\delta f}{\delta x}, \frac{\delta f}{\delta y})\)

• 函數值上升最快的方向？

  \(f(x + dx, y + dy) \approx f(x, y) + \frac{\delta f}{\delta x}dx+\frac{\delta f}{\delta y}dy\)

• 單位圓上尋找\((dx,dy)\)使得其與梯度的內積最大

• 顯然\((dx,dy)\)與梯度共線時增長最快

無約束函數極值

給定多元函數\(f(x)→R\)，其中x是n維向量，尋找使得函數值最小的向量x*。

代入偏導數為0的極值條件解方程：\(\delta f(x)=0\)

如: 求\(min f(x) = (x_1-x_2-2)^2+(x_2-1)^2\)

\[\delta f(x) = \large\left(^{\frac{\delta f}{\delta x_1}}_{\frac{\delta f}{\delta x_2}}\right)= \left( ^{~~~~~~~~2(x_1-x_2-2)}_{-2(x_1-x_2-2)+2(x_2-1)}\right) = \left(^0_0\right) \]

Part 9: 拉格朗日乘數法

設給定多元函數\(ƒ(x)\)和附加條件\(\phi(x)=0\)，x為向量，為尋找z=ƒ(x)在附加條件下的極值點，構造拉格朗日函數\(L(x, \lambda)=f(x)+\lambda\phi(x)\)

此時有：

\[\min_x=\min_x\{\max_{\lambda}L(x, \lambda)\}=\min_x\{\max_{\lambda}f(x)+\lambda\phi(x)\} \]

f(x)為最優的必要條件是拉格朗日函數L梯度為0：

由上述方程組解出x，就是函數z=ƒ(x)在附加條件φ(x)=0下可能的極值點。

例：

求(x,y,z)使得\((x-4)^2+y^2+z^2\)最小，並且\(x+y+z=3, 2x+y+z=4\)

Part10: 泰勒展開

\[f(x) = a_0 + a_1(x - x_0) + a_2(x - x_0)^2 + a_3(x - x_0)^3 + ...\\f(x) \approx f(0) + \frac{f'(0)}{1!}x+\frac{f''(0)}{2!}x^2+\cdots+\frac{f^{(n)}}{n!}x^n \]

n 趨於正無窮時，將幾乎完全擬合，注意有些函數無法完全擬合

證明:

\[f(x) - f(0) = \int_0^{x}f'(x)dx\\f'(x) - f'(0)=\int_0^xf''(x)dx\\f(x) = f(0) + \int_0^{x}f'(x)dx\\= f(0) + \int_0^{x}\left(\int_0^xf''(x)dx + f'(0)\right)dx\\= f(0) + \int_0^{x}\int_0^xf''(x)dx^2 + \int_0^xf'(0)dx\\= f(0) + \int_0^{x}\int_0^xf''(x)dx^2 + \frac{f'(0)}{1!}x \]

將二次導, 三次導等帶入即可用數學歸納法證明

常見泰勒展開

歐拉公式: \(e^{i\theta}=cos(\theta)+isin(\theta)\)

可用泰勒展開證明