Arzela-Ascoli 定理

最近在看分析時讀到了 Arzela-Ascoli 定理的證明，覺得手法還蠻酷的。證明過程用到了一個很潮的對角線選取法來選定收斂列，並很巧妙的用 compact 的定義結合三角不等式推導均勻收斂，某方面來說它把很多塊之前學到的數學定義連結了起來，在學分析時是相當有紀念價值的一個里程碑。

也因為這樣想要發篇文來紀念一下，因為個人覺得理解數學最好的方式是用自己的口語去講出嚴謹的數學論證，所以想藉由打下這篇證明來加深自己對定理的感覺（順便練習 LaTeX，MathJax 這個 JavaScript library 真的神好用）。

以下會把先把一些基本的定義、定理粗略介紹一下，包含 Bolzano–Weierstrass 定理、compact、uniform continuous、函數空間的收斂、完備空間等。接著介紹 dense、uniformly bounded、equicontinuous 這幾個 Arzela-Ascoli 定理敘述裡的重要名詞，最後再開始證明 Arzela-Ascoli 定理。

值得先提的是， Arzela-Ascoli 定理是 Bolzano–Weierstrass 定理在連續函數空間上的推廣，它們的本質源自於緊緻（Compact）的觀念。

$\textbf{Bolzano-Weierstrass Theorem}$

$\mathbb{R}^n$ 裡的任何 $bounded\ sequence$ 必存在收斂 $subsequence$

$\underline{proof\ sketch}$
只要將這組 $bounded$ 數列一直對半切，取剩下無限多元素的那半，每切一次挑一個數列元當新的子列元素。由 $nested\ interval\ postulate$ 可知切了無限次後將所有得到的集合交集的只會有一個元素，也就是收斂到的值。

$\textbf{Compact}$

一個集合的任何開覆蓋（$open\ cover$）都有有限的子覆蓋（$finite\ subcover$）。 

$\textbf{Uniform Continuous}$

$f$ 將 $X$ 映射到 $\mathbb{R}$ 是均勻連續（$Uniform\ Continuous$）$\iff$ 對任意 $\epsilon >0$，存在 $\delta >0$ 使得對任何 $x$、$x'$ 屬於 $X$，當兩者距離小於 $\delta$ 時，映射後 $f(x)$、$f(x')$ 一定距離小於 $\epsilon$ $,i.e.,$ $\delta$ 跟 $x$、$x'$ 選在哪無關。

$\textbf{Convergence of sequence of function}$

$X$ 和 $Y$ 是 $metric\ spaces$，$\{f_n\}$ 是一個由一堆從 $X$ 映射到 $Y$ 的 $maps$ 所構成的 $set$：
$(1)$ 稱 $\{f_n\}$ $pointwise$（逐點）收斂到一個映射 $f$ $\iff$ 對任意 $\epsilon >0$ 和某個任選的 $x$ 屬於 $X$，存在正整數 $N$ 使得當 $n>N$ 時 $d(f_n(x),f(x))<\epsilon$
$(2)$ 稱 $\{f_n\}$ $uniformly$（均勻）收斂到一個映射 $f$ $\iff$ 對任意 $\epsilon >0$，存在正整數 $N$ 使得對任意 $x$ 屬於 $X$，當 $n>N$ 時 $d(f_n(x),f(x))<\epsilon$

$\textbf{Remark}$
$(1)$ 逐點收斂可能會破壞連續性，例如 $f_n(x)=x^n$ 在 $(-1,1]$ 逐點收斂，但在 $1$ 不連續
$(2)$ 均勻收斂會保持連續性

$\textbf{Complete}$

$Metric\ space\ (Y,d)\ is\ complete$ $\iff$ $every\ Cauchy\ sequence\ in\ Y\ converges$
$Complete\ norm\ space\ =\ Banach\ Space$
$Complete\ inner\ product\ space\ =\ Hilbert\ Space$

$\textbf{Remark}$
$(1)$ 有理數的 $Cauchy\ sequence$ 不一定收斂，但實數必會收斂。
$(2)$ $norm$ 可以被 $inner\ product$ 自然生成（自己跟自己的 $inner\ product$ = 自己的$norm$），$metric$ 可以被 $norm$ 自然生成（兩點的 $metric$ = 相減的 $norm$）。

$\textbf{Dense}$

$X$ 是一個 $metric\ space$，$A$ 是 $X$ 的子集，$A\ is\ dense\ in\ X\ \iff\ A$ 的 $closure=X$
$i.e.$ $X$ 中任何一點張開的開球交集 $A$ 必為非空
$i.e.$ $X$ 中任何非空開集 $U$ 與 $A$ 交集必為非空 

$i.e.$ $X$ 這個集合是由所有 $A$ 的 $accumulation\ points$ 所組成

$\textbf{Recall}$

$(1)$ $A$ 的 $closure=$ 所有包含 $A$ 的閉集的交集 $=$ 包含 $A$ 的最小閉集（因為任意閉集的交集還是閉集）

$(2)$ $x$ 是 $S$ 的 $accumulation\ points$ $\iff$ $x$ 屬於 $S$，存在 $S$ 裡的某序列極限為 $x$ $\iff$ 所有包含在 $S$ 裡頭 「包含 $x$ 的 $open\ set$」與 $S$ 之交集必非空

$\textbf{Uniformly bounded}$、$\textbf{Equicontinuous}$

$X$ 和 $Y$ 是 $metric\ spaces$，$F$ 是一個由一堆從 $X$ 映射到 $Y$ 的 $maps$ 所構成的序列
$(1)$ $F\ is\ uniform\ bounded$ $\iff$ 存在 $Y$ 裡的一個 $bounded\ subset\ B$ 使得對所有 $F$ 裡的 $map$ $f$，$f(X)$ 包含在 $B$ 裡頭 （若把 $Y$ 看作 $\mathbb{R}$，則任何 $f(x)$ 都小於某數 $M$）
$(2)$ $F\ is\ equicontinuous\ at\ x_0$ $\iff$ 對所有 $\epsilon >0$ 存在 $delta >0$ 使得當 $x$、$x_0$ 距離小於 $\delta$ 時，$F$ 裡的任意 $map\ f$ 都有 $f(x)$、$f(x_0)$ 距離小於 $\epsilon$（重點在一次對所有的映射都成立）

$\textbf{Remark}$
$(1)$ 若 $X$ $compact$ 且 $F$ $equicontinuous\ everywhere$，則對所有 $\epsilon >0$ 存在 $\delta >0$ 使得當 $x$、$x'$ 距離小於 $\delta$ 時，$F$ 裡的任意 $map\ f$ 都有 $f(x)$、$f(x')$ 距離小於 $\epsilon$（換言之，所有的 $f$ 都會均勻連續）
$(2)$ 若 $X$ $compact$ 且 $F={f_n}$ $equicontinuous\ everywhere$，若 $f_n$ $pointwise$ 收斂到 $f$ 且 $f$ 均勻連續，則 $f_n$ 均勻收斂到 $f$ 

$\textbf{Arzela-Ascoli Theorem}$

$X$ 是 $compact\ metric\ space$ 且具備 $countable\ dense\ subset$，$F$ 是 $C(X,\mathbb{R})$ 內的一個映射子集。若 $F\ equicontinuous\ everywhere$ 且 $uniformly\ bounded$，則對於 $F$ 裡面的任意函數列 $\{f_n\}$ 必存在均勻收斂子列

$\underline{proof}$

$Step\ 1:$ 證明存在收斂子列

選取 $X$ 的 $countable\ dense\ subset\ A,$ $i.e.,\ A$ 的 $closure$ 是 $X$。因為 $\{f_n\}$ $uniformly\ bounded$，所以當我們任意選取 $A$ 上一點 $x_1$ 套進 $\{f_n\}$ 這個序列後，會得到一個 $bounded$ 的實數序列，由 $Bolzano\ Weierstrass$ 定理知道這個實數序列會存在一個收斂的子列，稱其收斂值為 $f(x_1)$。同樣的，將這個子列對應到的函數子列套到 $x_2$ 一樣會得到一個 $bounded$ 的實數序列，再選其某一子列收斂到 $f(x_2)$ … 依此類推。最後選取 $x_1$ 收斂函數子列的第一項、$x_2$ 收斂函數子列的第二項、...、$x_k$ 收斂函數子列的第 $k$ 項、...，可建構出一個函數子列在任何 $x_k$ 都收斂到 $f(x_k)$。這個構造子列的方法稱作對角線選取法。

$Step\ 2:$ 證明收斂子列為均勻收斂 

將收斂子列寫作 $\{g_n\}$，由三角不等式知 $|g_n(x)-g_m(x)|<|g_n(x)-g_n(a)|+|g_n(a)-g_m(a)|+|g_m(a)-g_m(x)|$
因為 $\mathbb{R}\ complete$，故證明均勻收斂等效於證明 $uniformly\ Cauchy$ $\iff$ 證明對任意 $\epsilon >0$，存在正整數 $N$ 使得對任意 $x$ 屬於 $X$，當 $n,m>N$ 時 $|g_n(x)-g_m(x)|<\epsilon$ 

由 $equicontinuous\ everywhere$ 可知，對任意 $\epsilon >0$ 存在 $\delta >0$ 使得當 任意的 $x$、$x’$ 屬於 $X$ 距離小於 $\delta$ 時，$F$ 裡的任意 $map$ $g_i$ 都有 $|g_i(x)-g_i(x’)|$ 小於 $\epsilon/3$。這個結論會在最後用到。

先選取此 $\delta$ 作為開球半徑，對所有 $a$ 屬於 $A$ 張開開球，會形成 $X$ 的一個開覆蓋，因為 $X$ $compact$，此開覆蓋必存在有限子覆蓋，現在將這有限子覆蓋裡面的所有開球圓心 $a$ 收集成一個 $A$ 的子集 $S$（以後 $a$ 就只從 $S$ 裡頭選）。因為 $\{g_n\}$ 收斂，故 $\{g_n\}$ 是 $Cauchy$ 列，故對每一個 $S$ 裡頭的 $a$：對任意 $\epsilon >0$ 必存在正整數 $N_a$ 使得當 $n,m>N_a$ 時 $|g_n(a)-g_m(a)|<\frac{\epsilon}{3}$。因為 $S$ 是 $finite$，故可選取 $N = max_{a\in S}\ N_a$。

由此可知，對任意 $\epsilon>0$：對任意 $S$ 裡頭的 $a$ ，當 $n,m>N$ 時， $|g_n(a)-g_m(a)|<\frac{\epsilon}{3}$ 

因為有限子覆蓋的原因，對任意 $x$ 屬於 $X$，一定存在某個 $S$ 裡面的 $a$ 使得 $x$ 屬於 $a$ 張開之 $\delta$ 開球裡頭 $,i.e.,$ $x$ 和 $a$ 距離小於 $\delta$。故由前面 $equicontinuous$ 所得到的結論可知 $|g_n(x)-g_n(a)|<\frac{\epsilon}{3}$

因此對任意 $\epsilon >0$，選取剛剛得到的 $N$，會發現對任意 $x$ 屬於 $X$，只要選從 $S$ 裡頭選出對的 $a$（也就是開球能包住 $x$ 的），則當 $n,m>N$ 時 $|g_n(x)-g_m(x)|<|g_n(x)-g_n(a)|+|g_n(a)-g_m(a)|+|g_m(a)-g_m(x)|<\frac{\epsilon}{3}+\frac{\epsilon}{3}+\frac{\epsilon}{3}=\epsilon$。 由此可知 ${g_n}$ 為 $uniformly\ Cauchy$，得證。